大数据真实案例分析《HadoopSpark企业应用实战》

冰点也疯狂

课程介绍：
; ^* M. Z1 M/ \: r; Q7 k本课程会介绍 Hadoop / Spark 各组件的架构，但不会涉及任何安装的内容，安装的教程、录像视频什么的网上到处都是，讲安装太浪费时间~ Hadoop/Spark环境的安装请大家自行解决，建议用Cloudera CDH或者Hortonworks HDP

+ y) A: z7 n( L课程目录：
6 G  N2 o% `- u# E9 C# l+ t给大家分享一些在网上不能随便就搜到的内容和窍门，展示企业线上生产系统中应用 Hadoop、Spark 的成功案例，以及与现有企业BI平台整合的方案。
" r6 g+ y2 v( D1 R+ T3 H0 f
' I* R: B! L3 b4 o* l  E课程目录：
9 V, V2 O8 N/ P! l3 Q4 e! x+ r# B第一周：企业级Hadoop/Spark应用概述，Hadoop/Spark生态系统与现有企业级应用的整合
# P; S" K, {7 n6 k2 J% \8 Y9 G4 h企业级集群部署、数据管理、任务调度、集群监控
5 _) V9 s* J" O- u! F% t' R) m+ aHadoop架构介绍、Spark / Shark 介绍
Spark与Hadoop的关系
1 U- T+ u4 [# N+ k现有Hadoop架构的种种问题和限制，HA
( O7 R5 ?$ ~  p& X企业数据仓库的选型，Hadoop世界与EDW世界中的TPC（TPC DS与TPC H）
2 B0 M; k5 `: |8 C: c3 e# k! h9 sHadoop世界中的DBA
' K/ G% a/ `  ^) y成本考量 —— 人？物？物是人非……
7 h% O6 y" V) j5 i$ \
% V6 o% \! c; X. ^第二周：Hadoop Eco System 进阶应用基础知识
HDFS / MapReduce / Yarn / Hive / Impala / Oozie 进阶应用、资源分配及调优
玩转Hive ETL高级应用：权限管理、external table、partition、中文支持、HiveServer2 JDBC接口
Hive的Windowing and Analytics Functions
0 }( \5 Y4 }. g8 A/ P. s: ZHive 0.13的新功能
Impala与Hive对比，各种Hints：Hive的Map Join，Impala的SHUFFLE Join（partitioned join）

% O0 y2 a  F1 Z第三周：进阶应用实例 — 物流/广告/电商/零售/互联网行业Hadoop大数据应用
企业级应用实例1：物流行业 — 订单跟踪
—〉 Hive通过external table、partition、动态partition与NFS结合使用创建数据表，避免LOAD DATA
—〉 Hive和Impala的Join优化Hints，MapJoin、Shuffle Join 实例
& R% O* P7 s9 D9 X企业级应用实例2：广告行业 — 基于用户行为分析的用户归类标签 (客户画像)
—〉 Hive复合数据类型array
. E. m% B# j/ g2 h( k—〉 array与collect_set、collect_list、array_contains、sort_array
—〉 impala的group_concat
) z1 s5 d& M8 A) ^6 |8 Z—〉 array与lateral view、LATERAL VIEW OUTER
企业级应用实例3：电商/零售行业 — 简单的推荐系统 Recommender System 实现 (基于用户标签/客户画像)
) r  F6 ?' ~  o—〉 Hive复合数据类型map、str_to_map、map_keys、map_values，map与lateral view
& f* m( d! C- i: P, F—〉 通过Hive、Impala转换函数进行数据保护，确保企业应用信息安全（通过translate进行简单数据脱敏Data Masking）
—〉 HiveServer2 JDBC接口实例应用、中文支持Bug纠错
—〉 Hive的窗口和分析函数入门（row_number、rank、dense_rank等）
企业级应用实例4：互联网行业 — 访问量业绩报表
—〉 Hive的窗口和分析函数进阶（NTILE、CUME_DIST、PERCENT_RANK、LEAD、LAG、FIRST_VALUE、LAST_VALUE等）
) d/ q0 ^' M* }/ \$ L/ K' m( Q—〉 ROWS BETWEEN ... AND ... （CURRENT ROW，rows PRECEDING，rows FOLLOWING）
本周总结 —— 物流/广告/电商/零售/互联网行业Hadoop企业级大数据应用方案经验教训总结
8 }/ Z9 Q1 H! i1 U
8 B9 q9 d2 r3 N; o* @& v第四周：Hadoop & Spark / Shark 进阶应用基础知识
HBase / ZooKeeper / Sqoop / Graphite / Ganglia 进阶应用及调优，Spark / Spark SQL / Shark 简介
6 S( X& g$ U4 K' c2 h+ p# c% L1 A3 }* pHBase Shell 与 HBase REST API 应用
8 i- O, s) A- c( ^- }HBase的Region进阶应用Compact、Split与Merge
HBase进阶脚本应用：jruby script
HBase与Hive的整合高级应用：binary(byte) value，lateral view explode
Hive 0.13：posexplode
# Y9 s5 C$ a* N( Q" z. |0 rSpark / Spark SQL / Shark 架构介绍、Spark Scala / Python 开发介绍
1 b- }! j/ n0 }2 F8 ]" c
( z0 L, j* k  b9 c7 W, ?+ c, A第五周：进阶应用实例 — Hadoop/Spark平台企业级开发框架
6 ?/ j, J% y/ m" n& h! B# ]+ K1 QHadoop生态系统中为企业级开发提供的测试框架应用实例
Spark实现“物流行业 — 订单跟踪 SLA”的实例，Scala语言及Python语言实现，Spark SQL + Parquet文件实现，Spark Scala Maven项目实例
0 y. D' x: i- V- a$ DHBase开发实例：REST API使用、JRuby脚本编写、Region进阶应用
与Continuous Integration系统整合的可能
3 t: L5 R) r% q, c% Y—— 软件/互联网行业Hadoop企业级开发框架
* d. E) G. g5 G3 z/ W
第六周：Hadoop & Spark / Shark 企业级应用整合
HBase与Hive整合的大坑
HBase Python 客户端 happybase 使用介绍、编程实例
0 S2 x5 |; }0 LHBase Coprocessor与HBase + Hive 特征特点比较、分别适用的场景
2 f& d0 @% d- S' d$ |0 F  E/ e企业中应用 HBase，Hive，Impala，Spark / Shark 的注意事项，资源分配方案
Hadoop与现有企业级BI平台的整合
Pentaho PDI / Kettle
Oracle or In-Memory Database
MicroStrategy / Tableau
2 \$ A5 ^( `0 U* a+ w
9 r# C/ o7 q3 X2 x! K) g  Z1 I第七周：进阶应用实例 — Hadoop / Spark 企业级大数据BI应用整合
5 [# n# Y" n6 }" s* r: h, z$ T0 p互联网行业时间序列(time series data)数据处理实例 —— 整合 HBase 与 Hive：增量数据与全量数据，冷数据与热数据分治
4 m: P( R3 j1 I) d9 w互联网行业时间序列(time series data)数据处理实例 —— 整合 Spark 与 HBase
Spark 访问 HBase 数据实例：通过 Spark 对 HBase 表进行 scan，Scala语言处理 HBase 返回值 Result 类中 KeyValue 对象的 ByteBuffer / ByteArray
! r0 r+ X7 i& d) O" `8 g% P6 L通过 Kettle / Spoon 工具整合Hadoop与现有RDBMS的企业级BI解决方案
其它整合Hadoop与RDBMS构建企业级BI应用平台的可能（如使用PostgreSQL FDW，使用Presto的JDBC connector等）
" w0 T$ w  Y+ _. w" C—— 互联网行业Hadoop企业级大数据BI应用整合方案

) `7 {8 m/ |+ O/ E5 o第八周：总结与展望
企业级大数据应用总结
构建企业大数据团队探讨
Hadoop方面工作面试秘籍：应用开发方向、数据分析方向、技术架构方向、团队带头人
' Q0 c2 P% J8 d+ \$ I现有几大Hadoop平台比较：Cloudera CDH，Hortonworks HDP，MapR
Hadoop大数据还能干什么？通过Spark整合Streaming与Batch processing？
金融 / 工业 / 能源 / 智慧城市 / 医疗行业 / Smart Data
) t& P- Z/ s. ^, y! U7 q德国汽车、新能源行业的大数据创新项目分享
德国医疗行业大数据应用现状
Hadoop大数据企业应用面临的问题
, i* b! d" @' L8 s  ]0 d2 T
, ]1 z* O# V) Q+ }* p1 D