Hadoop源码解析与开发实战视频教程

冰点也疯狂

课程介绍：

8 X, M) R. x$ K整套课程从hadoop入门开始，由浅入深，内置“hadoop源码解析与企业应用开发实战”，“Hive开发实战”，“Hbase开发实战”，“Spark，mahout，sqoop，storm诸模块开发实战”。因为这个课程有4个板块组成，所以学员可以按照自己的实际情况选择学习。例如，对于只需要了解hadoop基本编程的人，只需要选择“hadoop源码解析与企业应用开发实战”模块就可以了；对于立志于从事大数据领域的零起点人员，可以选择四个板块依次学习；对于已经有一定基础的hadoop开发人员，你可以根据自己的情况，选择学习模块，而不必4个板块从头开始学。

第一部分内容：

  h( s' C5 t* _" lI. Hadoop的起源与生态系统介绍。要点：
9 F1 l7 d! N/ G4 A了解什么是大数据；
1 i5 _" t+ w5 ~! I3 x7 F- }, c4 `* SGoogle的三篇论文；
围绕Hadoop形成的一系列的生态系统；
# H" r8 Q1 J6 a! C& x8 g5 ?各个子项目简要介绍
4 P) A/ q, r3 a
II. Hadoop集群配置与搭建。要点：
" \3 f6 `) k# Z& c* u6 a* `Hadoop安装与部署；
3 ?' c9 s' ]' n" M+ A3 S! Q如何写配置文件；
# n4 `9 R( P& ]4 M运行简单的wordcount程序；
Hadoop程序结构介绍 实战：
Hadoop系统的安装与部署；
编写配置文件；
2 B3 O3 M: O+ W& A6 c" [编写运行简单的wordcount程序。
  q( {* X+ ?+ Z; ]8 g3 b: P预期收获：
; H8 h+ w6 Q- O: R了解什么是大数据以及大数据和hadoop的关系；
0 U& g7 I' {, A5 D了解hadoop本身；
% w! I$ N7 |$ Z5 Q$ L+ p1 C学会Hadoop系统的安装和部署；
学会配置hadoop系统；
# X, f* ~5 C- p- `8 Y4 _学会编写简单的wordcount程序；
2 @4 w; ?& O, c! i
8 P+ ~# w/ r# S8 ]0 d4 Z. `9 |第二部分内容：
3 g/ M, _$ i* F- ]7 ?; T$ f: E- e
III. Common组件和HDFS组件原理及体系结构介绍。要点：
& a: M0 T$ Y* [! E7 A, xHadoop IO机制；
4 l! [! A4 V1 \, G/ ^序列化；
压缩；
8 x1 ?6 R; p7 b) u' \RPC；
% S0 C8 H0 p7 D/ ZHDFS副本机制；
, g3 Q8 H3 I  [0 nHDFS读写机制；
块选择策略；
预期收获：
) }7 {7 p2 R3 h  n. U5 c: G  D* @掌握common组件和HDFS组件；
了解Hadoop的IO机制；
第三部分内容：
" A7 w5 Q/ N7 Y! S' f" l
IV. MapReduce2.0组件原理及体系架构介绍。要点：
MapReduce工作原理；
类型与格式；
JT内部实现；
" H% S5 H' A/ }5 B8 T* V2 QTT内部实现；
Task运行过程分析；
8 s5 l, Q. c% @" b4 ]
V. MapReduce2.0编程实战。要点：
: r+ G- `0 S8 ]3 b' m, oPipes编程；
Streaming编程；
- g2 g+ b' ~# Q+ a& I& ~动手编写MapReduce程序；
实战：
MapReduce2.0编程（Pipes，Streaming）；
编写MapReduce程序；
预期收获：
8 S2 z9 D# y+ R- N7 |彻底掌握MapReduce这个关键模块；
第四部分内容：
" V: z3 B8 S7 L% j) y3 m
5 y, X5 u! |4 }/ c: q+ P+ b" bVI. Hadoop集群管理与安全机制分析。要点：
Hadoop集群管理机制；
9 k9 v+ C9 [: Q) Q3 LHadoop现有安全机制
3 `* p3 E# G! T/ r, z0 a4 z- Q
3 s' |$ `2 o4 U5 \, cVII. YARN及ResourcManager组件。要点：
! |/ z9 Z( E# f6 n1 p; OYARN/MRv2环境搭建与部署；
3 X: `9 \4 ^. m$ m/ \: x$ UResourceManager组件的分析与实战；
实战：
动手搭建YARN环境
预期收获：
9 L+ q4 G/ k. l6 C& O掌握Hadoop的集群管理机制；
了解Hadoop现有的安全机制；
掌握YARN和ResourceManager组件。

-------------------课程目录-------------------

  课时1 免费试听.doc
  课时2 免费试听二.doc
) M: g7 u" U, T! F3 e' e  课时3 付费学员服务指引.doc
  课时4 课前环境准备.doc
  课时5 参考资料.doc
" k/ E) O  ?. f3 ]& Z2 [9 f" u: f  课时6 Hadoop开源软件及其生态系统.avi
  课时7 HDFS集群的安装与部署.avi
( O  c  ~( I+ ?( F  P  课时8 MapReduce集群的安装与部署.avi
% l1 x7 [1 e" A9 b  v( E) [& E- }  课时9 阅读练习Hadoop 伪分布式集群部署参考文档.pdf
9 H' k5 G+ ~; Z3 b! v  课时9 阅读练习ssh实现Linux无密码访问.pdf
  课时10 第一周练习.doc
& O7 T) S7 {8 t8 b/ v  课时11 Hadoop架构答疑.avi
  课时12 HDFS架构、SNN、副本放置策略.avi
  课时13 HDFS API.avi
4 k: x  d# K* \2 \! _  课时14 练习2：HDFS组件分析1.doc
& O$ [4 W- n  B0 B9 h3 g  h  课时15 本周答疑.avi
  课时16 准备：JNI编程基础.avi
  课时17 Hadoop IO.avi
% L5 g  U. H* J% t" N/ b  课时18 HDFS 压缩.avi
  课时19 HDFS 完整性.avi
  课时20 HDFS 序列化.avi
  课时21 练习3 HDFS 详细分析2.doc
  课时22 HDFS 基于文件的数据结构.avi
0 ^* M2 c  G, |0 d0 Z) O* M4 |  课时23 Hadoop RPC 远程方法调用.avi
  课时24 练习4.doc
7 c9 ^! C& ], b' V) |  课时25 MapReduce API 及工作流程(1).avi
- H) z, i9 w  E' E  @* B  课时25 MapReduce API 及工作流程（2）.avi
' P! X$ b, G, [  Y) y  课时26 MapReduce工作原理（2）：错误处理、作业调度、Shuffle和Sort.avi
  课时27 MapReduce类型与格式(1).avi
  课时27 MapReduce类型与格式(2).avi
  课时28 练习5：MapReduce工作原理、流程.doc
* D3 u. E$ g* d8 |/ b  课时29 MapReduce重要组件_ MapReduce Combiner组件分析.avi
  课时30 MapReduce重要组件_ MapReduce Partitioner组件.avi
, f; _0 c. E  v; E) U1 z  课时31 MapReduce重要组件_ MapReduce Recordreader组件(2).avi
  课时32 练习6：MapReduce重要组件.doc
  课时33 MapReduce计数器.avi
  课时34 MapReduceJoin.avi
  课时35 Map端Join.avi
  课时36 MapReduce Sort.avi
  课时37 Hadoop Pipes_Streaming高级编程.avi
% L( J! m: c- D$ q$ c  课时38 练习7：MapReduce编程.doc
* M. O* a/ `& x! H& ]/ X  课时39 Hadoop 集群管理与安全.avi
+ |2 Y8 d+ I2 ~, ^7 T  课时40 Hbase.avi
5 {3 `+ `) a) K* L  课时41 练习8：HBase.doc
; _$ O1 p0 ?3 @/ J: @% E  课时42 Yarn基础.avi

  课时43 spark讲解.avi

0 ^0 u/ L' V  v7 W9 n6 A+ T, x