|
|
课程目录:
9 J1 h; J- ?6 W v F8 B01 Spark介绍
4 \! y& }: h2 F* I5 N) k001 本系列公开课程说明
* S5 L* a( R' Y) D! Q002 What is Spark详细讲解(四大特性)
- s# S9 l+ r! v0 y; d' H; y/ O003 MapReduce与Spark异同点和优势比较1 q3 m1 Z9 @$ _. \) A9 }7 R- ~6 C
004 实时在线答疑交流
) B+ n- _) X& c' g/ u6 z6 f" V6 d) h4 y- M
02 Spark 1.3 编译
( y7 U2 l% F$ E. b( u! a# j7 K' @# n005 回顾上次课内容和Spark 学习的基础( P# t) m( S* W# _7 ~5 w: j4 v/ i
006 Spark 1.x编译的三种方式和如何使用Make方式编译(注意事项详解)
x$ F0 ?0 t; o0 G& @& L/ n( W. ]007 Spark运行Local模式讲解
6 G9 z5 R5 x' D# m# q008 课程实时在线答疑交流. W6 R6 x3 V' N- ]
$ r% @4 `" f) z# D# V- m03 Spark 环境搭建
1 B" J" } j1 I' l g$ U009 Spark 1.x安装前的准备(安装HDFS), a6 }4 P' Q4 s/ u# f U
010 安装部署Spark 1.x Standalone模式集群
( i( J: K/ {, p0 ~9 w011 运行Spark Shell进行测试以及对细节进行说明
* K+ m5 p& g2 E) S7 }( E012 使用Spark 编写大数据处理经典案例WordCount程序( {( L p. Q, B
( }) h& p; j) _1 x# w5 K04 Spark RDD讲解8 j$ D& D3 k! ?6 v2 l8 F
013 深入讲解使用Spark编程WordCount程序
7 o7 G4 \0 I: P, s. s9 W014 Spark RDD详解
# g$ |7 L. d) Q! Y+ F6 M9 r015 实时在线答疑
% }1 {; D0 w/ W8 {5 n
7 v0 i- U' z* d$ g% A w05 如何使用IDEA开发程序
$ Q* S9 I+ T* x+ K0 {5 {0 F* m016 回顾总结前面内容及如何学习Spark& w! n8 }+ t: \: w6 x) a% F- v2 i
017 Spark Cluster与Application中的重要概念以及如何提交应用spark-submit
2 D4 a% A3 A ^, @; s; {018 如何安装IDEA、安装Scala插件以及导入Spark 源码! P8 o" s- T6 h
019 如何使用IDEA创建Scala Project、编写Spark应用及local测试& Y1 T( g. }7 R& i9 [* J! h
020 如何使用IDEA对Spark Application进行打包测试% { K& a$ M: b" \1 W: s
# ?: S" R. m+ ~: P
06 RDD操作详解
. R. f/ @% p& B" n+ g) S21 Spark RDD创建的两种方式一' r6 ]' f. I( @' ~
22 Spark RDD创建的两种方式二
5 k3 {$ v+ n- ~0 @( H4 m23 Spark RDD两种类型的操作(Transformation和action)* E; C, G: \# T& V1 `
24 Spark RDD操作之Transformation讲解(结合源码分析)
* `) i9 C% a5 u25 Spark RDD操作之Action讲解(结合源码分析)( H5 D! p' c/ ?" I0 b8 Q* v1 @
26 Spark RDD缓存persistent讲解(cache、结合源码分析)
\7 L a0 ]& G# @
( g9 `" m. T8 F B7 A, q) ~9 r07 Spark JobHistory与Spark on YARN: K) L3 p+ _$ |9 [1 c+ T4 U) {& U) P% V' U
27 Spark Application Monitor(应用运行时监控)
! j: G1 Q0 ~% F# P28 Spark JobHistory(应用完成以后监控)8 X& }; S# n. i9 t9 y, E
29 Hadoop YARN如何进行资源管理和调度应用( ? |7 ?" d: \; R/ f G+ u
30 Spark Application如何运行在YARN上- K$ }( R5 W) X% W2 s3 M @
31 Spark应用运行时的部署模式client与cluster
$ K a+ ~# U, T32 Spark App运行在YARN上1 m# o3 _2 e' n7 ?+ q9 X E
: N E7 U$ b8 \) X: B08 Spark内核分析
3 A: |; t7 y" _+ d/ H33 Spark编程模型SparkContext详解3 O% h' G( M0 `; }6 [" n
34 通过源码分析SparkConf的作用9 `9 c7 X3 b2 c1 N3 b" E6 [% P
35 Spark内核分析之Spark Scheduler讲解(结合WordCoun程序)
`7 R: S+ z+ W7 p7 B- |9 A) D3 ~36 Spark内核分析之通过代码调试分析SparkContext启动过程一: ]+ \/ k6 E/ I/ q# Y6 w
37 Spark内核分析之通过代码调试分析SparkContext启动过程二
6 K7 \' q5 @& o38 Spark内核分析之跟踪源码分析Spark 如何提交应用0 `- H9 y# L2 m3 M
1 [, V, V; m% s: P6 m# I+ ?! ]0 N |
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
×
|