|
|
课程大纲:
! j6 C3 D. {' K4 `* v8 l" f& h学习内容:9 Q$ f& J8 I- L/ G5 _
第一周:Hbase系统搭建与部署,Hbase shell操作;) M) t1 [' p u
客户端API操作,包括put、get、delete方法以及批量处理操作与客户端缓存,HTable类与Bytes类的使用;6 |* M6 X% P3 r: g% D/ E
比较过滤器、专用过滤器、附加过滤器、自定义过滤器的使用5 S2 Y x' ~: n/ n
计数器的使用,协处理器(coprocessor类、regionobserver类、masterobserver类、endpoint)的使用. `" I/ A# b! j c
HTablePool类的使用: M, T, P: t" W9 Z7 u# m
实战:搭建Hbase集群;使用Hbase shell进行表的操作;利用Hbase API编写客户端工具操作Hbase集群; R1 f& ~% M! V6 S& @7 ]
收获内容:3 H2 U* F/ O3 R
熟练掌握Hbase集群的搭建,能够利用Hbase shell对数据进行操作与查询;/ N6 E( n1 r; k& @3 K: k
熟练使用客户端API,了解过滤器、计数器、协处理器以及HTablePool的使用; Y! ]& |. y' p1 t4 Y
" `% i; ]0 g: o0 H
第二周:客户端API的管理功能、MapReduce系统集成& F* o; M/ x2 X4 l1 C3 [# h
学习内容:
" c! q5 A( ^6 \$ q; X/ p4 Y利用HbaseAdmin类进行Hbase表的管理,包括表、属性、列的操作;
0 _: m r) L2 U$ a. ]* r. GMapReduce集成,编写Mapreduce程序实现对HBase表的select,多表join,聚合操作,sort等功能
4 o$ V- C& m+ ` m实战:通过利用Mapreduce实现数据的查询、聚合、连接等操作* B' T% a! N; N- R+ j
收获内容:( r# ~6 d$ k( Y
掌握基于Hbase的Mapreduce程序编写,实现对表的操作
6 `* L+ W, q9 J9 Q$ O0 F1 f v7 I9 J
第三周:HBase系统架构原理
$ o& d) r$ ]3 Z! ~主要介绍:5 [3 |1 M. J8 ?% |8 h
Hbase中数据的查找与传输,数据结构B+树、LSM树介绍;
- y% o( h p( i+ Q数据存储格式HFile格式、KeyValue格式;5 b ~% y. f# D$ b7 L% x
WAL机制,HLog类、HLogKey类、WALEdit类、LogSyncer类、回放与持久性;, Z. V9 \) s' m
region、-root-表的查找;% O2 z9 A8 j# p$ l D
LogEdit的生命周期与内部机制;0 I2 A8 R: w/ A" y( S
Coprocessor实现;2 a y+ Y5 H& o. i6 Z
二级索引HIndex原理
1 E' i, k; }3 L( C8 Y实战:自定义Coprocessor的实现;HIndex的使用& T6 B( `( E, N+ k* B! ?2 x
收获内容:
4 q+ |8 N @! E" R. O9 P了解WAL机制4 I( x/ F0 B8 I8 F" S- k |# \
Coprocessor的内部实现
1 A3 x% k* y' l二级索引HIndex的实现原理- J! i; Q. m; T* u: J7 D/ Y
. j) S4 w' U1 D: @, ]$ }. Q
第四周:HBase高级用法+ S1 p$ u; J; v7 E- L
主要介绍:; N3 W$ Y; Q- a% R4 N* x: X8 l
Hbase表的行键设计,高表与宽表、部分键扫描、分页、时间序列、时间顺序关系;' f- Z' y6 q% K# u
高级模式;& J: i1 J: L! A0 o9 k
辅助索引;
% s3 ~, [) W! K6 Z- t4 E搜索集成;
, I% J G& h* d) l' q; l事务;
' L6 G# @* n8 j" d, T" IBloomFilter布隆过滤器;, j' ?) p. J1 z& H
隐式版本控制与自定义版本控制
6 B9 H; O9 p' g L7 I实战:Hbase表的行健设计! |9 w8 f2 `- v- \$ @
收获内容:
2 I* B3 i3 X+ R6 L5 k5 V4 sHbase的高级用法,Hbase行健设计的一般方法与各自的特点9 f) w4 g7 {% o; y2 l ~) A0 t
1 p" I3 E8 j: q* ?$ I N" g6 f
第五周:HBase系统集成与案例实战; o X" d6 E% \- Z: i8 D. Y$ c) y
主要介绍:
+ a+ w+ @; S8 |# g( h" N, b利用hbase、Solr和Solr-IndexBuilder,设计与实现一个在线Hbase数据存储与实时查询系统,构建基于Hbase的SQL查询系统
4 R1 U9 Z5 w9 ^. ~- f3 b( b7 |实战:设计与开发一套数据存储与实时查询系统4 r r5 ^: s( `0 q. b
收获内容:
: f0 P; `: H5 s/ _/ `从系统设计、开发、集成的角度,掌握Hbase的各项操作与性能优化方案,构建自己的实时查询系统$ s7 ^' m7 q7 ?) I/ }. v5 }: q
0 r1 _9 j+ N& o: e8 I- t
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
×
|