新一代大数据计算引擎 Flink从入门到实战

冰点也疯狂

第1章 初识Flink
了解Flink是什么，Flink应用程序运行的多样化，对比业界常用的流处理框架，Flink的发展趋势，Flink生态圈，Flink应用场景及Flink如何进行高效的Flink学习。
6 u% w( U6 s0 N5 @7 f. S  Z& I1 G 1-1 课程导学 试看
; K- w7 F+ W9 F, J, r4 t 1-2 ***学前必读***（助你平稳踩坑，畅学无忧，课程学习与解决问题指南）
7 |; O9 w8 c4 ]6 {5 f" \3 I( @5 D/ L: E 1-3 课程目录
1-4 Flink概述 试看
1 Z; j- z" x" a. ^& Z0 W 1-5 Flink Layered API
3 m8 R# X# x1 o7 a 1-6 Flink运行多样化
1-7 业界流处理框架对比
4 D  `; F% Q; W: x& x 1-8 Flink Use Cases
1-9 Flink发展趋势
1-10 如何以正确的姿势来学习Flink
' d. o; z- B- @/ C  a- d2 ?; ?
0 X& N; J  W  O/ H7 L第2章 快速上手开发第一个Flink应用程序
动手搭建Flink的开发环境，快速使用Java和Scala语言开发第一个基于Flink的批处理和流式处理的应用程序。
2-1 课程目录
  F5 n$ }$ {/ ^3 @( H) q 2-2 开发环境准备之JDK安装
2-3 开发环境准备之Maven安装
2-4 开发环境准备之IDEA安装
( Q/ K2 [3 G7 [, w. H( b8 F' } 2-5 Flink批处理应用开发之需求描述
2-6 Flink批处理应用Java开发之环境准备
( m, j& }: X5 w6 p 2-7 Flink批处理应用开发之八股文编程
' L  R$ J3 ?+ e, s7 D" M. U 2-8 Flink批处理应用Java开发之功能实现 试看
! l# Y$ u# w) s! ^. M5 l) i 2-9 Flink批处理应用Scala开发之环境准备
- k; z* L1 x2 F& _& {5 a# U  C 2-10 Flink批处理应用Scala开发之功能实现
5 c5 }# W! ^. }+ y6 Q 2-11 使用Java和Scala开发Flink应用程序对比
2-12 Flink实时处理应用Java开发之功能实现
) Y3 D2 n& Z) E 2-13 Flink实时处理应用Java开发之代码重构
- i4 P% R% q4 x 2-14 Flink实时处理应用Scala开发之代码重构
2 F% n& r. g, H! F2 [5 T) H" ~6 f8 m 2-15 开发过程中依赖的注意事项
) |5 t" n4 j* x6 |8 C4 u
第3章 编程模型及核心概念
2 n* E3 D2 I' y0 P$ q掌握Flink的核心概念及编程模型，如何在编程中执行key及转换函数，Flink支持的数据类型。
3-1 课程目录
/ E  G' ^8 d) Z. @9 s7 `, x- J 3-2 核心概念概述
3-3 DataSet和DataStream
/ E. B  b- P9 F# t- ~( F 3-4 Flink编程模型
3-5 延迟执行
3-6 指定key之Tuple
, l" V" C+ P2 U1 G6 h. F% J 3-7 指定key之字段表达式
$ x4 Y  |0 ^# I3 |( R3 z0 f! f; {' D 3-8 指定key之key选择器函数
( u+ O7 X) K; }, M6 \7 @2 i2 Y: \ 3-9 指定转换函数
3-10 Flink支持的数据类型

! G  _' D; ~# Z$ i: Q第4章 DataSet API编程
掌握Flink批处理开发的DataSet API的编程，包括数据源、转换函数、Sink、计数器以及分布式缓存的编程。
4-1 课程目录
$ B; Z, T% z6 b& b3 | 4-2 DataSet API开发概述
" Z& d1 c) u4 i. x$ |& K 4-3 Flink综合Java和Scala开发的项目构建creenflow
4 X9 g( P; J1 x, Z 4-4 Data Source宏观概述
4-5 从集合创建DataSet之Scala实现
5 c, X; D7 k, w6 u 4-6 从集合创建DataSet之Java实现
4-7 从文件或者文件夹创建DataSet之Scala实现
0 ]. T/ G7 @9 e 4-8 从文件或者文件夹创建DataSet之Java实现
4-9 从csv文件创建Dataset之Scala实现
4-10 从递归文件夹的内容创建DataSet之Scala实现
4-11 从压缩文件中创建DataSet之Scala实现
- A8 `: b" [2 I) p$ U5 [/ ? 4-12 Transformation概述
: M- l# X1 ^3 o 4-13 Transformation函数map之Scala实现
  f. g4 f- t3 m! ~3 }/ N7 n( L' O  V 4-14 Transformation函数map之Java实现
+ W$ m: V2 F5 X  ?1 F 4-15 Transformation函数filter之Scala实现
) J$ \$ Y9 J8 f, T! r 4-16 Transformation函数filter之Java实现
4-17 Transformation函数mapPartition之Scala实现
4-18 Transformation函数mapPartition之Java实现
4-19 Transformation函数first之Scala实现
1 L3 u4 R" Z7 b5 \& h 4-20 Transformation函数first之Java实现
( ]0 y9 e9 w* v' q' Y5 Q+ P9 G% V 4-21 Transformation函数flatMap之Scala实现
4-22 Transformation函数flatMap之Java实现
$ p: Z) |5 E& F" { 4-23 Transformation函数distinct之Scala和Java实现
4-24 Transformation函数join之Scala实现
4-25 Transformation函数outerJoin之Scala实现
! O0 b( H3 F! B: A" r 4-26 Transformation函数join之Java实现
; e; Q$ m3 l+ \- R 4-27 Transformation函数outerJoin之Java实现
4-28 Transformation函数cross之Scala实现
4-29 Transformation函数cross之Java实现
% q' Z  `8 s* z2 ^* T 4-30 Transformation小结
, {+ T7 h- R  `5 W 4-31 Sink函数Scala实现
' _/ [# a9 w( q# B# w 4-32 Sink函数Java实现
. G/ n% q0 f; e% B! n 4-33 通过案例引入Flink的计数器
4-34 基于Flink编程的计时器之Scala实现
# |) }  \2 d* H  k" N, g; } 4-35 基于Flink编程的计时器之Java实现
4-36 基于Flink的分布式缓存功能的Scala实现
4-37 基于Flink的分布式缓存功能的Java实现
4-38 本章节小结及作业

第5章 DataStream API编程
掌握Flink流处理开发的DataStream API的编程，包括数据源、转换函数、Sink的用法，以及如何自定义数据源和自定义Sink的实现。
5-1 DataStream API编程概述
5-2 从Socket创建DataStream之Java实现
) g* D( L" d. @/ U$ m4 ] 5-3 从Socket创建DataStream之Scala实现
; C/ F! X% a) _1 I3 e4 [8 D! ^ 5-4 自定义数据源方式SourceFunction之Scala实现
5-5 自定义数据源方式ParallelSourceFunction之Scala实现
5-6 自定义数据源方式RichParallelSourceFunction之Scala实现
& ?" w) z; d: [/ \ 5-7 自定义数据源方式之Java实现
0 ]; L. S8 k* c8 i1 |1 {( y 5-8 Transformation函数map和filter之Scala实现
* g" L: s4 ?2 J( r3 v 5-9 Transformation函数map和filter之Java实现
; H, ^9 B& s6 E8 k 5-10 Transformation函数union之Scala和Java实现
& x' |. G6 u$ X' @ 5-11 Transformation函数split和select之Scala实现
, ~9 c$ o+ J/ x, T; D5 G( H 5-12 Transformation函数split和select之Java实现
9 Q- e0 d% h( N, _8 p4 _ 5-13 自定义Sink之需求描述及表创建
5-14 自定义Sink之功能测试
3 V, a) Z& _5 o% E1 S: b. S5 f 5-15 DataStream API开发小结

第6章 Flink Table API & SQL编程
了解Flink中统一编程模式的编程Table API以及SQL API的开发及使用。
# J/ u9 t/ l( G9 c( _0 P+ R( H. ?/ G 6-1 课程目录
( f7 K. T  M; V$ d9 @& M 6-2 什么是Flink关系型API
+ V- q% q8 G; ~  q 6-3 Table API&SQL概述
6-4 使用Scala完成Table API&SQL功能的开发
6-5 使用Java完成Table API&SQL功能的开发
7 G2 z. l2 e# ~! k* B; w* x0 a9 P 6-6 Table API&SQL其他功能介绍
' E7 S! c$ r6 ]: o, T
第7章 Flink中的Time及Windows的使用
掌握Flink中三种常用的Time处理方式，掌握Flink中滚动窗口以及滑动窗口的使用，了解Flink中的watermark。
7-1 课程目录
1 x" a' K  q* D6 K* Q% H# y3 B; G 7-2 Processing Time详解
7-3 Event Time详解
7-4 Ingestion Time详解
7-5 如何在Flink中指定Time的类型
$ x8 Q# G2 \1 [# z8 u( k 7-6 Windows概述
; ?" Y! n" [4 T( j; D 7-7 Window Assigners详解
- K0 {1 O/ m$ b" Q1 K7 M 7-8 基于Time和Count的Windows
7-9 Tumbling Windows详解及Scala编程
7-10 Tumbling Windows Java编程
  X4 z* A3 f1 J 7-11 Sliding Windows详解及Scala编程
7 s# ?) ?: h+ D+ h 7-12 Window Functions之ReduceFunction的Scala实现
: C: {# s( H5 [. F5 i2 F! e 7-13 Window Functions之ReduceFunction的Java实现
+ r& Q/ x/ ?+ ^* E" l 7-14 Window Functions之ProcessWindowFunction的Java实现
7-15 作业--Window Functions之ProcessWindowFunction的Scala实现
7-16 Flink watermark概述
7 ?4 B" n! v/ f
第8章 Flink Connectors
了解Flink中常用的Connector有哪些，了解HDFS Connector的用户，掌握Flink和Kafka对接的Connnector用法。
8-1 课程目录
8-2 Connectors概述
# F8 |/ {9 @- Q. V* D6 d 8-3 HDFS Connector的使用
% t# _- J6 f1 W, u 8-4 Kafka Connector概述
8-5 OOTB环境的使用
8 c4 V1 O8 r$ n, x7 A1 Z9 G 8-6 ZooKeeper部署
8-7 Kafka部署及测试
" b) u' Y% Y4 b 8-8 Flink对接Kafka作为Source使用
6 B* ]- T" x( |) o& P: y* s 8-9 Flink对接Kafka作为Sink使用
8-10 作业
  f4 l3 i/ m/ u+ ?0 [" |6 P 8-11 Flink整合Kafka的offset管理及EXACTLY_ONCE语义
8-12 Flink整合Kafka的checkpoint常用参数设置梳理
1 S: L8 G- S6 r2 S; y* f
第9章 Flink部署及作业提交
( M$ r4 H  \% D掌握Flink的local、standalone、yarn模式的部署，如何提交Flink作业进行运行，熟悉Flink中常用的配置参数，掌握Flink cli的用法。
$ B2 H: G2 H7 p; i# Z4 W" t 9-1 课程目录
9-2 Flink部署准备及源码编译
9-3 单机模式部署及代码提交测试
9-4 Flink Standalone模式部署及参数详解
9-5 Hadoop集群快速搭建
9-6 Flink on YARN两种方式
9-7 Flink on YARN第一种模式实操
4 ]  ]5 p7 @6 p0 D' k: I 9-8 Flink on YARN第二种模式实操
9-9 Flink on YARN作业
9-10 如何查找需要配置的Flink参数及UI对应关系介绍
9-11 Flink Scala Shell的使用
: |9 D6 G* O; Y1 i  _ 9-12 本章作业
# W7 P1 C6 Q( B+ o& v
第10章 Flink监控及调优
6 ~$ i" A" c# {- P# B. ?- b掌握Flink的常用监控方式以及调优策略。
10-1 课程目录
! P4 k' `* X; A' Q3 F 10-2 HistoryServer概述及配置
% B) R# L- V1 v+ Z0 ^5 X/ ^ 10-3 HistoryServer的使用
10-4 HistoryServer REST API使用
10-5 Monitoring REST API
/ [& k& x3 P6 y, V& P: Y 10-6 Flink Metrics
7 ^  F+ }. r& {9 J- G8 ]8 C 10-7 Flink常用优化策略
4 a& M9 m6 p+ |" i! |
第11章 基于Flink的互联网直播平台日志分析项目实战
3 C& G8 c2 Y$ f# q3 j/ a2 j' E# \; A+ N掌握基于Flink的大数据项目的开发流程、处理流程及架构分析，根据需求进行功能的实现，涉及到基于Flink的实时数据清洗、业务统计、可视化展示等流程。
7 F5 i9 r3 u4 Y4 Z3 w4 H0 R3 U 11-1 课程目录
11-2 项目背景
1 E9 A" v* ^7 u; W+ }2 S) a 11-3 项目功能需求描述
11-4 项目架构
11-5 Mock数据之Kafka生产者代码主流程开发
11-6 Mock数据之Kafka生产者代码日志生产开发
2 \) ~* U. I( s3 a" S9 J- ~ 11-7 使用Flink消费Kafka生产的数据
3 k7 [0 a1 q' M  |5 t% F 11-8 使用Flink完成实时日志清洗功能开发
11-9 数据清洗过程中添加业务逻辑条件的过滤
11-10 Flink中Watermark的定义及使用
0 ~3 B0 ]/ o0 j5 C7 w: q) Q3 p5 | 11-11 WindowFunction业务逻辑的实现
11-12 ES部署
11-13 Kibana部署
11-14 统计分析数据写入ES并通过Kibana展示出来
11-15 通过Kibana图形化展示ES中存储的结果
! g, y7 U# G( g 11-16 第一个功能作业
4 L/ Z3 {- ?3 ?; u' ^* X1 \6 _ 11-17 功能二需求及数据准备
0 `( D% }8 ]9 }7 D, | 11-18 自定义MySQL数据源读取
0 S. i2 K3 g0 T6 J! R 11-19 完成两个流关联的数据清洗功能
/ ^  }, l3 Y: g) a- M) j- V 11-20 本章节总结
  h0 N- |. \/ g0 A* {
4 o! g9 H4 m) {