小象学院 Spark 1.X 大数据平台V2 视频教程

冰点也疯狂

2 E6 I, c/ |" o; B! }3 M9 x$ G* J5 x, F课程介绍：
' ?4 l# R# e! M业界全面深入的，专业的Spark培训课程，将帮助您了解和掌握热的大数据处理技术：Spark，它是UC Berkeley ampLab所开源的内存计算框架，不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。
" W6 a/ D+ v/ T3 H, k
% {. Y: P3 P3 E. R# h# L课程收益：
适合Spark大数据平台开发工程师，机器学习者，数据分析/数据科学工作者。

课程大纲：
) V- n1 a$ i' O6 G6 b. Z7 w第一周 Spark生态系统概述与编程模型
Spark生态系统概述
回顾Hadoop MapReduce
, z2 _" f2 q3 ^" lSpark运行模式
RDD
! b. ?# d6 U" h, R0 HSpark运行时模型简介
% e: G- U2 H/ b0 V, `4 |! ]/ \3 z缓存策略介绍
$ w, z$ ?6 F& w) y( A$ ltransformation
action
lineage
容错处理
+ w5 H4 U( c$ O/ R8 U+ Q2 a宽依赖与窄依赖
0 j" j+ I; [, W: P8 \+ _% O集群配置
( D) w) f& z; `. Z& a
第二周 深入Spark内核
1 b! |" {4 h: H+ N+ `  T1 ISpark术语解释
$ r5 k: ~4 K, U; j& x集群概览
核心组件
数据本地性
3 v; X* Z4 P% Z5 t* Z! t常用RDD
任务调度
$ Y9 d0 f) C) e$ x0 T, _DAGScheduler
TaskScheduler
Task细节
广播变量
5 d! _( w6 K  L0 H* J/ X累加器
+ r, G, Y& ?& ^& ^: h性能调优

! g7 }  n6 B: p$ N, _2 p第三周 Spark on Yarn & Spark as a service
Spark on Yarn原理
Spark on Yarn实践
JobServer架构
JobServer API介绍
JobServer配置与部署

4 H& V1 U6 k: \& v- [) f第四周 Spark Streaming原理与实践
DStream
$ ]; g6 o: `, t) n! Y0 y数据源
无状态transformation与有状态transformation
$ ?, Q$ K- ~" wcheckpoint
容错
. G) u/ p& ?, s, K3 _性能优化

第五周 Shark与Spark SQL
  Z  A; U9 p+ CShark数据模型
Shark数据类型
Shark架构
Shark部署
缓存(分区)表
SharkServer
Shark与Spark结合
  A9 t  |$ Q$ w5 z  g0 g% w! z2 gSpark SQL架构
Parquet支持
: y, w4 H/ e# a* G4 a5 E- @DSL
9 K* e& }" s1 e% S7 {SQL on RDD
Hive支持
, x( f- l, }; c4 ^% O# o9 _; pUDF
; S/ T, S! S% JJDBC Server
0 v% D4 l! ^$ W) _8 i
4 |$ K" _. p  S7 ?" g$ C# f第六周 Machine Learning on Spark
) I5 C! n/ ~( CLinearRegression
K-Means
" p3 ?' T. V0 E+ C  j: ?$ gCollaborative Filtering

第七周 Spark多语言编程
Python简介
8 V4 z3 x7 _% dPySpark API
( g$ u% z# m0 ?0 l+ o$ `4 V" w; Y使用Python编写Spark程序
Spark with Java

第八周 图计算GraphX
现存的图计算框架
Table Operators
2 O- T/ s+ M  c7 M3 hGraph Operators
2 h9 z; \8 `8 S1 S* FGraphX设计
" n1 a' A3 ?( v( K7 E. n
第九周 Tachyon原理与实践
Tachyon原理与架构
Tachyon实践

第十周 SparkR
SparkR原理介绍
安装配置与运行

课程目录：
; g1 d8 j& A/ `* l. \, I0 A    1.Spark生态系统概述与编程模型——Part 1
/ O' F# {) Z* ?: T( r0 a. @8 X& ]% `    2.Spark生态系统概述与编程模型——Part 2
) F( `% m7 \& o* Y, O( Y/ o' R' }    3.Spark生态系统概述与编程模型——Part 3
    4.Spark生态系统概述与编程模型——Part 4
: P/ `8 d& W5 V8 l; K* Q    5.深入Spark内核(上)  
+ v9 U5 f7 m1 F0 h    6.深入Spark内核(下)  
; X9 T+ V, a/ O  \7 N( x% _    7.Spark on Yarn  
& w# x1 R3 }# |4 D/ l; E    8.Spark as a Service  
    9.Spark Streaming(上)  
    10.Spark Streaming(下)  
    11.Spark Streaming-1.x(变动说明)
/ J1 ~, T& i- R8 _" }3 E    12.Spark SQL(上)  
    13.Spark SQL(下)  
    14.Machine Learning on Spark 之 MLlib
    15.Spark多语言编程
% B% S7 H; q1 e/ ]4 S    16.Tachyon-Part 1
8 X0 ^6 b) u# g+ F! f9 Z    17.Tachyon-Part 2
* [" u: Q* O& a  Z    18.SparkR-Part 1
% f0 Q+ y4 o1 H# U7 R/ z  P7 A/ X& H' U    19.SparkR-Part 2
# `' K. d* k' H* M    20.GraphX-Part 1
9 V1 e. c, y0 D6 ~. G* i4 I    21.GraphX-Part 2
    22.GraphX-Part 3

游客，如果您要查看本帖隐藏内容请回复