小象学院 Spark 1.X 大数据平台V2 视频教程

冰点也疯狂

" q; f1 {- ^, O- q2 }0 n; A
, S" P/ |5 W8 i& P0 B2 D课程介绍：
业界全面深入的，专业的Spark培训课程，将帮助您了解和掌握热的大数据处理技术：Spark，它是UC Berkeley ampLab所开源的内存计算框架，不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。

课程收益：
适合Spark大数据平台开发工程师，机器学习者，数据分析/数据科学工作者。

课程大纲：
第一周 Spark生态系统概述与编程模型
Spark生态系统概述
回顾Hadoop MapReduce
0 v% }5 h1 R; P$ D& xSpark运行模式
RDD
9 a" ]  m1 S$ ^1 E. ZSpark运行时模型简介
7 O% ]7 H8 H- f( t% c& z2 O3 S! w缓存策略介绍
transformation
action
lineage
+ W3 {, t0 |4 w# _容错处理
宽依赖与窄依赖
集群配置

3 O$ G8 E7 `8 a2 D7 Q% t# v# d第二周 深入Spark内核
Spark术语解释
集群概览
核心组件
- B6 d3 s# e8 h+ x7 @: B5 L8 x, J7 R& r数据本地性
常用RDD
任务调度
DAGScheduler
TaskScheduler
! W  W+ ?5 X1 hTask细节
广播变量
. x2 `% ?6 W: U0 R6 x( W. }累加器
性能调优
, [$ W9 l: g4 {
7 y) W3 P$ l$ W第三周 Spark on Yarn & Spark as a service
- r0 }+ {: I7 g, P' Q# |$ O. u, ?( kSpark on Yarn原理
5 S4 D! J" B0 u6 bSpark on Yarn实践
7 N* F! b% {. a/ iJobServer架构
JobServer API介绍
JobServer配置与部署

* T( H0 }/ a. p9 m2 E第四周 Spark Streaming原理与实践
DStream
- e! F! g. j. e9 }" |8 B% x数据源
0 b, X1 ]  N4 J' T+ h: J3 ^/ H$ l  O& [无状态transformation与有状态transformation
checkpoint
容错
( j- S# ?- A5 _# e1 n性能优化
( R7 t8 x/ g+ t% h
  c2 X2 W3 _7 ], w. {6 ~0 k第五周 Shark与Spark SQL
5 _: J! M" H6 d/ ~$ F: nShark数据模型
Shark数据类型
Shark架构
Shark部署
' p& \9 C' j9 `5 J! |$ J0 n- A缓存(分区)表
SharkServer
/ H0 Z: f% E& q' ^) eShark与Spark结合
Spark SQL架构
  S- v4 f4 v+ A" ]Parquet支持
0 D9 m4 c0 @; KDSL
SQL on RDD
Hive支持
& E9 k1 }7 u$ k* L: S# mUDF
( `3 s: ^! p; w4 E( o# tJDBC Server
' J. d1 h1 B" Y2 W
第六周 Machine Learning on Spark
& G6 x1 G$ s6 F4 J$ ]LinearRegression
K-Means
Collaborative Filtering

# m9 g3 P$ Q3 I) f第七周 Spark多语言编程
1 \/ b" g! A# A/ x' OPython简介
PySpark API
使用Python编写Spark程序
' k' i7 X: b4 U$ h, z5 |& RSpark with Java

第八周 图计算GraphX
0 L! c9 ?& R& H% h5 ~% n6 Y7 k* u现存的图计算框架
Table Operators
Graph Operators
$ M1 b8 h! c0 j; p- t3 G) p0 a$ XGraphX设计

第九周 Tachyon原理与实践
Tachyon原理与架构
Tachyon实践

第十周 SparkR
SparkR原理介绍
安装配置与运行

5 D" p6 J* I$ r# S; A课程目录：
    1.Spark生态系统概述与编程模型——Part 1
    2.Spark生态系统概述与编程模型——Part 2
- q+ Y1 i/ Y1 U8 q3 }    3.Spark生态系统概述与编程模型——Part 3
. j; Z- |+ v5 }* ^- \  W    4.Spark生态系统概述与编程模型——Part 4
0 Q; V! a4 O6 A) u    5.深入Spark内核(上)  
, S' w. z7 `# X$ }" u6 ?1 H    6.深入Spark内核(下)  
, X  [  \# }2 e& \    7.Spark on Yarn  
" ?  |5 a, P/ m4 s9 i    8.Spark as a Service  
. |& x+ r4 Y2 _" @) _& R* Y- y" h    9.Spark Streaming(上)  
" ]) _7 [' [; x( O( x' L& d; O    10.Spark Streaming(下)  
5 t& U( U3 ?: \. ?4 w2 x" V0 g/ i    11.Spark Streaming-1.x(变动说明)
    12.Spark SQL(上)  
    13.Spark SQL(下)  
    14.Machine Learning on Spark 之 MLlib
    15.Spark多语言编程
) o$ l% m  o& A: C9 s: d    16.Tachyon-Part 1
    17.Tachyon-Part 2
    18.SparkR-Part 1
    19.SparkR-Part 2
    20.GraphX-Part 1
/ E$ G0 f0 D  v; v! v    21.GraphX-Part 2
% {- ]; |2 Y$ W    22.GraphX-Part 3
) I! a! c7 H. e& R: s6 K% c

游客，如果您要查看本帖隐藏内容请回复