新一代大数据计算引擎 Flink从入门到实战

冰点也疯狂

第1章 初识Flink
5 U$ D. E0 y: R了解Flink是什么，Flink应用程序运行的多样化，对比业界常用的流处理框架，Flink的发展趋势，Flink生态圈，Flink应用场景及Flink如何进行高效的Flink学习。
  L% l0 c' s/ T3 X  B 1-1 课程导学 试看
! K# D# q6 g" u; |1 ^2 c3 [$ l4 V 1-2 ***学前必读***（助你平稳踩坑，畅学无忧，课程学习与解决问题指南）
1-3 课程目录
0 B, K2 Y/ J0 q, ]0 b1 ?+ Q 1-4 Flink概述 试看
2 |: E( f; V: ?' S4 R' Y 1-5 Flink Layered API
& g$ |& L: g/ Y! N# n 1-6 Flink运行多样化
1-7 业界流处理框架对比
1-8 Flink Use Cases
' D$ F7 ~  ]# `1 i; {* k. t 1-9 Flink发展趋势
. X2 @5 N  W) w5 N* r& V 1-10 如何以正确的姿势来学习Flink

第2章 快速上手开发第一个Flink应用程序
动手搭建Flink的开发环境，快速使用Java和Scala语言开发第一个基于Flink的批处理和流式处理的应用程序。
2-1 课程目录
2-2 开发环境准备之JDK安装
6 {7 ?+ U6 F5 S# G" `3 ] 2-3 开发环境准备之Maven安装
4 I' w) P, P) w3 z5 | 2-4 开发环境准备之IDEA安装
- F( l3 Q5 b. J- [3 S  | 2-5 Flink批处理应用开发之需求描述
2-6 Flink批处理应用Java开发之环境准备
% R# f, L5 T( l/ n: N% Z" C 2-7 Flink批处理应用开发之八股文编程
2-8 Flink批处理应用Java开发之功能实现 试看
- w) G2 c1 s8 C, d* |( P& f/ z 2-9 Flink批处理应用Scala开发之环境准备
2-10 Flink批处理应用Scala开发之功能实现
* v+ ^" d9 K7 q* ~9 q 2-11 使用Java和Scala开发Flink应用程序对比
. S% J; o" E( _" M8 \1 Z3 ? 2-12 Flink实时处理应用Java开发之功能实现
" K% k; a4 u  m* o 2-13 Flink实时处理应用Java开发之代码重构
2-14 Flink实时处理应用Scala开发之代码重构
2-15 开发过程中依赖的注意事项
: m: U& ^4 c8 I' P8 S% x' [: p0 ~. j
4 V6 X+ U) D9 |) w, \第3章 编程模型及核心概念
掌握Flink的核心概念及编程模型，如何在编程中执行key及转换函数，Flink支持的数据类型。
3-1 课程目录
3-2 核心概念概述
3-3 DataSet和DataStream
3-4 Flink编程模型
3-5 延迟执行
" [) i; ]5 X  P+ m# r* h. R9 Z 3-6 指定key之Tuple
3-7 指定key之字段表达式
3-8 指定key之key选择器函数
2 o3 T( _; I7 X% ^! u- x 3-9 指定转换函数
+ U: f: d; p* v" [- N: O  v2 r! | 3-10 Flink支持的数据类型
' E  B! u3 \5 Q0 s& x5 }: x
) m7 V! X7 I3 B5 V$ q7 G9 n& E3 Y/ B第4章 DataSet API编程
; x" q5 h( ~* }+ o& w掌握Flink批处理开发的DataSet API的编程，包括数据源、转换函数、Sink、计数器以及分布式缓存的编程。
4-1 课程目录
. n" f  w/ a5 m; B6 s" p 4-2 DataSet API开发概述
" g$ W, B& A  O( w' I 4-3 Flink综合Java和Scala开发的项目构建creenflow
: w$ U& Y3 g: r1 S7 {! f 4-4 Data Source宏观概述
5 o6 K8 F  {. k. y 4-5 从集合创建DataSet之Scala实现
3 q* g& E2 [. x2 v  g% b& z% l 4-6 从集合创建DataSet之Java实现
' G5 W$ U4 D* z 4-7 从文件或者文件夹创建DataSet之Scala实现
4-8 从文件或者文件夹创建DataSet之Java实现
4-9 从csv文件创建Dataset之Scala实现
: m6 Q$ `; F" D+ p: |/ b" u 4-10 从递归文件夹的内容创建DataSet之Scala实现
4-11 从压缩文件中创建DataSet之Scala实现
4-12 Transformation概述
4-13 Transformation函数map之Scala实现
4-14 Transformation函数map之Java实现
4-15 Transformation函数filter之Scala实现
7 U+ l3 }# H0 D- z: C6 a$ H: F# r 4-16 Transformation函数filter之Java实现
4-17 Transformation函数mapPartition之Scala实现
1 G1 z) N9 g, D  q0 t 4-18 Transformation函数mapPartition之Java实现
; ]/ z5 U- }! a 4-19 Transformation函数first之Scala实现
  i5 ^3 ^+ q1 r5 e0 R2 O4 \2 p 4-20 Transformation函数first之Java实现
) u1 w. W/ d4 O8 q2 ? 4-21 Transformation函数flatMap之Scala实现
4-22 Transformation函数flatMap之Java实现
4-23 Transformation函数distinct之Scala和Java实现
4-24 Transformation函数join之Scala实现
" j- q$ \% H" `& C' V 4-25 Transformation函数outerJoin之Scala实现
4-26 Transformation函数join之Java实现
2 y% J6 z/ _' ~4 g+ h* }# g 4-27 Transformation函数outerJoin之Java实现
& [' b: w- ~: C7 n  `" R* g+ E1 W5 q 4-28 Transformation函数cross之Scala实现
4-29 Transformation函数cross之Java实现
" L% s9 v8 f! U( ` 4-30 Transformation小结
2 h9 ~8 i$ g7 g6 k# \$ i: W! N 4-31 Sink函数Scala实现
9 ^9 b, G2 e9 a4 x6 {8 G 4-32 Sink函数Java实现
. U; p  b4 @4 m. I, q# h$ W: C 4-33 通过案例引入Flink的计数器
$ x' U6 Z! n4 w5 H 4-34 基于Flink编程的计时器之Scala实现
4-35 基于Flink编程的计时器之Java实现
4-36 基于Flink的分布式缓存功能的Scala实现
7 C/ S. U% f, f. J: L% P5 | 4-37 基于Flink的分布式缓存功能的Java实现
4 J6 ?2 X& {# V' ^9 d, O1 ? 4-38 本章节小结及作业
3 k  U0 U# y4 U2 G2 S
$ j& u4 q3 P( I& E) ~7 W+ }第5章 DataStream API编程
掌握Flink流处理开发的DataStream API的编程，包括数据源、转换函数、Sink的用法，以及如何自定义数据源和自定义Sink的实现。
4 ~/ [! T, ]- i- o0 I 5-1 DataStream API编程概述
5-2 从Socket创建DataStream之Java实现
1 `* Y9 ]* L2 h/ g' v# j2 m# \, ` 5-3 从Socket创建DataStream之Scala实现
+ q3 f! \0 [# v* Q- v* ] 5-4 自定义数据源方式SourceFunction之Scala实现
/ P7 v& t9 D& p8 [ 5-5 自定义数据源方式ParallelSourceFunction之Scala实现
5-6 自定义数据源方式RichParallelSourceFunction之Scala实现
) Z" `8 y1 i8 s9 e  a7 z; B" g 5-7 自定义数据源方式之Java实现
- }$ m5 y! [1 f) r0 x 5-8 Transformation函数map和filter之Scala实现
6 v/ n2 C* w# ?  c6 }& v5 q 5-9 Transformation函数map和filter之Java实现
' j3 ~3 \' Z- j$ y3 [ 5-10 Transformation函数union之Scala和Java实现
5-11 Transformation函数split和select之Scala实现
' M- `" u3 {8 c2 [# U" m( \/ L/ a 5-12 Transformation函数split和select之Java实现
5-13 自定义Sink之需求描述及表创建
4 H: A; F/ t- f+ v 5-14 自定义Sink之功能测试
# E: m0 K0 n8 \) V 5-15 DataStream API开发小结

第6章 Flink Table API & SQL编程
了解Flink中统一编程模式的编程Table API以及SQL API的开发及使用。
' V) U2 [9 N* K# R 6-1 课程目录
" Y8 O" O# r- Z: c1 { 6-2 什么是Flink关系型API
6-3 Table API&SQL概述
6-4 使用Scala完成Table API&SQL功能的开发
6-5 使用Java完成Table API&SQL功能的开发
7 r! A4 h- B# @. E% ]0 X 6-6 Table API&SQL其他功能介绍
  ]$ [2 L6 @! }
, v. \- _7 c1 I2 m% K& y/ |第7章 Flink中的Time及Windows的使用
掌握Flink中三种常用的Time处理方式，掌握Flink中滚动窗口以及滑动窗口的使用，了解Flink中的watermark。
7-1 课程目录
1 p+ s' Y# G' i5 P# { 7-2 Processing Time详解
7-3 Event Time详解
7-4 Ingestion Time详解
7-5 如何在Flink中指定Time的类型
5 B' Y3 B$ N: P/ n$ t+ B 7-6 Windows概述
7-7 Window Assigners详解
7-8 基于Time和Count的Windows
$ ^1 a8 L) i8 m0 {6 ` 7-9 Tumbling Windows详解及Scala编程
7-10 Tumbling Windows Java编程
1 ~9 F7 i. _! e: ^) H& E 7-11 Sliding Windows详解及Scala编程
7-12 Window Functions之ReduceFunction的Scala实现
7-13 Window Functions之ReduceFunction的Java实现
7 z+ V' j$ K  j3 J6 ` 7-14 Window Functions之ProcessWindowFunction的Java实现
+ _# m- p- e5 P$ b4 [# R 7-15 作业--Window Functions之ProcessWindowFunction的Scala实现
7-16 Flink watermark概述
9 u' A5 V5 U, u' E6 z/ |' A8 l
第8章 Flink Connectors
了解Flink中常用的Connector有哪些，了解HDFS Connector的用户，掌握Flink和Kafka对接的Connnector用法。
8-1 课程目录
4 p$ W/ U" f( R7 k3 c, [6 w 8-2 Connectors概述
4 {) g$ J7 T* k, |  Q4 Q 8-3 HDFS Connector的使用
0 R* i+ H+ s, o, `9 A 8-4 Kafka Connector概述
8-5 OOTB环境的使用
6 ^# `- {: ?  J: w& P8 t& E 8-6 ZooKeeper部署
8-7 Kafka部署及测试
8-8 Flink对接Kafka作为Source使用
) S9 R  R- h& \  X 8-9 Flink对接Kafka作为Sink使用
$ T  l5 l4 F6 a, z, O3 x 8-10 作业
8-11 Flink整合Kafka的offset管理及EXACTLY_ONCE语义
8-12 Flink整合Kafka的checkpoint常用参数设置梳理
7 Q- {* ~0 M3 d
; g0 O, ]+ z5 }$ T第9章 Flink部署及作业提交
6 I& P7 i- `5 F$ c掌握Flink的local、standalone、yarn模式的部署，如何提交Flink作业进行运行，熟悉Flink中常用的配置参数，掌握Flink cli的用法。
9-1 课程目录
1 m4 o: L8 I, |! v1 q 9-2 Flink部署准备及源码编译
6 i: S, Y, H3 c 9-3 单机模式部署及代码提交测试
+ m0 r% H, v9 a1 G 9-4 Flink Standalone模式部署及参数详解
9-5 Hadoop集群快速搭建
+ P  {. j% }5 T# v5 o! L 9-6 Flink on YARN两种方式
) N7 v: h" M# [4 o1 o 9-7 Flink on YARN第一种模式实操
' g+ P0 c5 P  m9 [  q' \ 9-8 Flink on YARN第二种模式实操
9-9 Flink on YARN作业
9-10 如何查找需要配置的Flink参数及UI对应关系介绍
9-11 Flink Scala Shell的使用
9-12 本章作业

7 ?. A% K& M8 T$ Z* `9 Z7 W第10章 Flink监控及调优
7 e' i( O$ E) C/ a8 i+ ]/ t- L掌握Flink的常用监控方式以及调优策略。
7 |" {! K' k* U/ ? 10-1 课程目录
10-2 HistoryServer概述及配置
" W; ^8 a1 p1 c6 T7 s# @6 P 10-3 HistoryServer的使用
10-4 HistoryServer REST API使用
) O- S0 y. I* Q. \7 f, z 10-5 Monitoring REST API
10-6 Flink Metrics
10-7 Flink常用优化策略

$ t5 w. Z% a8 F' N% P7 h" q第11章 基于Flink的互联网直播平台日志分析项目实战
  ^7 E2 b0 h: x3 v5 F4 e掌握基于Flink的大数据项目的开发流程、处理流程及架构分析，根据需求进行功能的实现，涉及到基于Flink的实时数据清洗、业务统计、可视化展示等流程。
11-1 课程目录
. x* n3 |7 K; r% h. M3 _# z 11-2 项目背景
+ q7 ~; h+ \% O8 ]: S3 g) Z 11-3 项目功能需求描述
11-4 项目架构
11-5 Mock数据之Kafka生产者代码主流程开发
11-6 Mock数据之Kafka生产者代码日志生产开发
( u+ P" Z  m, c% e$ n! N& T8 g+ G* X; _ 11-7 使用Flink消费Kafka生产的数据
- r; @: h- \8 Q0 t7 r4 _ 11-8 使用Flink完成实时日志清洗功能开发
11-9 数据清洗过程中添加业务逻辑条件的过滤
11-10 Flink中Watermark的定义及使用
11-11 WindowFunction业务逻辑的实现
' S8 q0 u" c0 E* F8 r* E; o% C* d 11-12 ES部署
6 Y: `: L7 d6 B 11-13 Kibana部署
11-14 统计分析数据写入ES并通过Kibana展示出来
3 [" j6 O% Y$ r0 K 11-15 通过Kibana图形化展示ES中存储的结果
# g, }. M4 k) D/ y& p" H* | 11-16 第一个功能作业
6 }1 W( V& M- c, b5 V' [ 11-17 功能二需求及数据准备
11-18 自定义MySQL数据源读取
  A, q9 c4 z9 w1 ^ 11-19 完成两个流关联的数据清洗功能
11-20 本章节总结