|
|
课程目录:
$ L) t$ d4 L3 W0 }( x) t3 F% z8 k01 Spark介绍
( T% w5 ?7 e+ ?2 l9 [% X001 本系列公开课程说明
: ~5 H% U* h- G002 What is Spark详细讲解(四大特性)9 E; |. W& `/ f6 u
003 MapReduce与Spark异同点和优势比较 a. x4 E& X( Q
004 实时在线答疑交流
+ O1 k( z& _' q- h0 ?, I% ?0 f+ R& m! G; e
02 Spark 1.3 编译# L. R) G3 B9 ]
005 回顾上次课内容和Spark 学习的基础
' E9 A9 J" L' {' r, n. R006 Spark 1.x编译的三种方式和如何使用Make方式编译(注意事项详解)
% e K F7 P) f- I, N007 Spark运行Local模式讲解7 a% V# z! Z* k3 H6 x, B/ N; w
008 课程实时在线答疑交流
' e! x3 P/ H; \9 u4 B" h; Y7 k1 B/ Z9 S, d$ Y# s8 e
03 Spark 环境搭建
' l* x8 P. X) F% a009 Spark 1.x安装前的准备(安装HDFS)
; z' Q! d! N4 f: j7 e7 h) i010 安装部署Spark 1.x Standalone模式集群$ l% m& T8 F8 i1 i) ], m
011 运行Spark Shell进行测试以及对细节进行说明
' j9 R) S. @, a& Q d' b$ u4 y012 使用Spark 编写大数据处理经典案例WordCount程序
: T: K) l. k. f8 v4 H2 W4 e1 h; u: f; u0 [
04 Spark RDD讲解! g9 {# b% J9 e5 ]* S! ~- w
013 深入讲解使用Spark编程WordCount程序
3 \% N& P) j- [6 d$ ~5 v014 Spark RDD详解$ P$ l. w: X- v" b
015 实时在线答疑" f$ X( f5 p4 p' v {5 P' j& E
. A- w6 I! Z+ p# w05 如何使用IDEA开发程序1 D1 h2 G, b4 q6 K5 k% A
016 回顾总结前面内容及如何学习Spark, T7 n$ e- G {( n& w: O! R
017 Spark Cluster与Application中的重要概念以及如何提交应用spark-submit
* g7 O* _, v8 {8 O; D \4 H018 如何安装IDEA、安装Scala插件以及导入Spark 源码5 Z# ~: ^) ?7 ]+ L. A
019 如何使用IDEA创建Scala Project、编写Spark应用及local测试
. X& G: o" C8 n5 ~+ U, `5 Y0 C020 如何使用IDEA对Spark Application进行打包测试- L) s, f' g4 m) z) x' i( O# i( h
; J5 n# N+ `3 Z; V$ J# l/ R06 RDD操作详解: L2 v$ I* ^5 A1 w
21 Spark RDD创建的两种方式一6 ?9 ^8 l0 O) j$ D5 | i
22 Spark RDD创建的两种方式二+ k- I, D) r* \' n! E
23 Spark RDD两种类型的操作(Transformation和action)" p& h' X6 i! d# k q, f+ e
24 Spark RDD操作之Transformation讲解(结合源码分析)
) l9 l0 d( i5 y& I2 w8 j7 a0 F* u* A5 Y25 Spark RDD操作之Action讲解(结合源码分析)$ `8 Q: X0 j- f Z; |
26 Spark RDD缓存persistent讲解(cache、结合源码分析)
7 A* x4 g' X/ Z8 o) e1 P, W; o
$ H) W0 ~1 x6 C9 G/ r07 Spark JobHistory与Spark on YARN
2 X4 d( `0 I4 i27 Spark Application Monitor(应用运行时监控)
2 S. K' | [( p) |; |28 Spark JobHistory(应用完成以后监控)2 H* V) }, Q3 Z% B/ e
29 Hadoop YARN如何进行资源管理和调度应用
* i8 \; Q ?% r, ~+ [30 Spark Application如何运行在YARN上
2 h& i* k6 ^2 l C0 ]3 c31 Spark应用运行时的部署模式client与cluster% b) Y$ t, o9 C; i/ ]1 `. z7 n/ m
32 Spark App运行在YARN上/ e0 x. z! o5 ]- w8 p7 @; C
4 i" t- X& `8 X/ K4 a( k: K5 f7 b& E- ^
08 Spark内核分析
: ]- P4 E1 d* Y9 B+ X33 Spark编程模型SparkContext详解
/ c4 v) k5 B5 P5 E A( k8 i34 通过源码分析SparkConf的作用
: W. p! b6 u- u$ X( n: w35 Spark内核分析之Spark Scheduler讲解(结合WordCoun程序)
1 c2 F( \2 @7 W. d' S36 Spark内核分析之通过代码调试分析SparkContext启动过程一
) R8 H( v- h' l1 ~* }& {37 Spark内核分析之通过代码调试分析SparkContext启动过程二
9 c6 f0 {+ s$ @9 D38 Spark内核分析之跟踪源码分析Spark 如何提交应用
( i+ J% @3 o( W1 H4 ]( x2 p H: E) P" ]1 ^
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
×
|