|
|
课程大纲:
, ~) J. |& w3 B7 @' [0 `学习内容:8 q3 ~9 G* `2 p9 i$ r: {) ^9 S
第一周:Hbase系统搭建与部署,Hbase shell操作;
9 h! h7 y; R9 L客户端API操作,包括put、get、delete方法以及批量处理操作与客户端缓存,HTable类与Bytes类的使用;
1 \; [' i3 L v* ^, a2 J' r8 l$ Q比较过滤器、专用过滤器、附加过滤器、自定义过滤器的使用; j* F9 f6 {2 L# X- S# @1 O- A
计数器的使用,协处理器(coprocessor类、regionobserver类、masterobserver类、endpoint)的使用$ z W" v* u+ a( C4 D& ?
HTablePool类的使用
1 q" X' L* P4 T+ `: D, Z4 d实战:搭建Hbase集群;使用Hbase shell进行表的操作;利用Hbase API编写客户端工具操作Hbase集群
" C% {: G% V3 y4 l收获内容: N: p# M2 Y, \7 _2 U$ _: ~, Z
熟练掌握Hbase集群的搭建,能够利用Hbase shell对数据进行操作与查询;
0 `+ O2 m+ C! G$ m+ s' U) N熟练使用客户端API,了解过滤器、计数器、协处理器以及HTablePool的使用2 z9 X" O# F* {0 A( D7 I
8 u- M3 s, i) n4 {- d* h第二周:客户端API的管理功能、MapReduce系统集成$ K- f( X; I7 k8 \ j1 e& j" g
学习内容:8 j/ {& V8 P6 _6 @
利用HbaseAdmin类进行Hbase表的管理,包括表、属性、列的操作;
m2 ]1 U/ f9 Z" P, QMapReduce集成,编写Mapreduce程序实现对HBase表的select,多表join,聚合操作,sort等功能
' t0 ?; L( v# M实战:通过利用Mapreduce实现数据的查询、聚合、连接等操作
, ]: ]# T: \: @' ]9 K/ A收获内容:/ I0 A- g# i# g2 f( @4 l/ q: b
掌握基于Hbase的Mapreduce程序编写,实现对表的操作1 O6 i# q0 ` b m5 e
+ z! e. d8 @4 h9 m' n第三周:HBase系统架构原理! r6 A, k1 f6 g* R; \
主要介绍:& A0 ~+ M% }3 P4 s, W7 T
Hbase中数据的查找与传输,数据结构B+树、LSM树介绍;
5 Z& @- c7 G% w数据存储格式HFile格式、KeyValue格式;
2 @3 o& ]9 t& P6 V% D* t) _$ {WAL机制,HLog类、HLogKey类、WALEdit类、LogSyncer类、回放与持久性;
* q Z0 n# Q5 b7 fregion、-root-表的查找;9 x( e, J% q7 k0 l
LogEdit的生命周期与内部机制;
1 h4 \. a R; n9 g9 ?Coprocessor实现;4 C% z$ b3 o5 G1 i
二级索引HIndex原理+ p6 q4 \' R/ y- ~: ]- y1 x, ?/ d7 d
实战:自定义Coprocessor的实现;HIndex的使用/ N9 s5 E7 g* l
收获内容:0 X# ?1 R( K6 S6 m4 f$ W% f
了解WAL机制$ o4 m) [# D% L* L) j
Coprocessor的内部实现; d H- ^7 V7 e' K
二级索引HIndex的实现原理 i% x, s" t5 _0 A* z6 G: e/ K' E
k! W+ q. M, W. y% w( X
第四周:HBase高级用法
1 ~1 V8 g+ @ x* h( _6 m主要介绍:* [" r# r7 e, u; g; e
Hbase表的行键设计,高表与宽表、部分键扫描、分页、时间序列、时间顺序关系;! ?1 l+ z5 e% w U' S+ D
高级模式;" M* a1 v% t8 H6 U
辅助索引;& K* h- f/ n& s. u; r+ p& l
搜索集成;
t# b0 w: j& a4 [' R6 b [事务;
# C8 _& h+ c/ Y9 l, I& |BloomFilter布隆过滤器;
7 m, n/ }: t/ R v- u1 n7 W隐式版本控制与自定义版本控制
! y2 ?4 Y. D6 K实战:Hbase表的行健设计
& F9 n: w. O2 i收获内容:
! `* R& O$ X* b6 g1 W& pHbase的高级用法,Hbase行健设计的一般方法与各自的特点7 q) L0 I9 p& s( l; F+ T9 A# V
2 t J$ w- `* f' Y$ Z, _9 L7 }
第五周:HBase系统集成与案例实战
8 I+ W4 o' Q, P9 W o( f5 O2 i/ A+ ~主要介绍:
6 |5 ^0 I$ R. U% M- g5 P7 i( }利用hbase、Solr和Solr-IndexBuilder,设计与实现一个在线Hbase数据存储与实时查询系统,构建基于Hbase的SQL查询系统
$ K8 c' p( q: z+ }# K; C实战:设计与开发一套数据存储与实时查询系统2 K4 a/ ~" N9 x$ c. X9 o
收获内容:
3 `$ l% y I) `* v$ {( k& t从系统设计、开发、集成的角度,掌握Hbase的各项操作与性能优化方案,构建自己的实时查询系统+ `8 M ~' O' p
5 o& X$ Q+ z6 r: d! N" @: s |
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
×
|