大数据真实案例分析《HadoopSpark企业应用实战》

冰点也疯狂

课程介绍：
7 X) e' M2 t& d) m9 ?本课程会介绍 Hadoop / Spark 各组件的架构，但不会涉及任何安装的内容，安装的教程、录像视频什么的网上到处都是，讲安装太浪费时间~ Hadoop/Spark环境的安装请大家自行解决，建议用Cloudera CDH或者Hortonworks HDP
7 R: z* k7 T/ Q1 J# Q+ {& u
课程目录：
2 a0 o: j: @% T2 `: b- h给大家分享一些在网上不能随便就搜到的内容和窍门，展示企业线上生产系统中应用 Hadoop、Spark 的成功案例，以及与现有企业BI平台整合的方案。

课程目录：
( G) P7 P% q2 u2 f5 @4 E第一周：企业级Hadoop/Spark应用概述，Hadoop/Spark生态系统与现有企业级应用的整合
: R( o$ i" {+ l$ N6 U% N8 C企业级集群部署、数据管理、任务调度、集群监控
0 O4 h! [7 S0 t) f  s0 RHadoop架构介绍、Spark / Shark 介绍
" m" K  w+ E$ j. H6 [Spark与Hadoop的关系
% Z; I( E# Q) S现有Hadoop架构的种种问题和限制，HA
企业数据仓库的选型，Hadoop世界与EDW世界中的TPC（TPC DS与TPC H）
Hadoop世界中的DBA
5 g- N& t. F9 }- u成本考量 —— 人？物？物是人非……

第二周：Hadoop Eco System 进阶应用基础知识
+ a% Q# L. K  I8 J+ G# v% W  i# L, rHDFS / MapReduce / Yarn / Hive / Impala / Oozie 进阶应用、资源分配及调优
. ]8 D! T3 ~( H+ {3 i2 H" }# x玩转Hive ETL高级应用：权限管理、external table、partition、中文支持、HiveServer2 JDBC接口
Hive的Windowing and Analytics Functions
Hive 0.13的新功能
Impala与Hive对比，各种Hints：Hive的Map Join，Impala的SHUFFLE Join（partitioned join）
8 i% h% }6 l* f, V7 T- w6 E
2 N+ L$ W  b+ e8 I第三周：进阶应用实例 — 物流/广告/电商/零售/互联网行业Hadoop大数据应用
企业级应用实例1：物流行业 — 订单跟踪
—〉 Hive通过external table、partition、动态partition与NFS结合使用创建数据表，避免LOAD DATA
—〉 Hive和Impala的Join优化Hints，MapJoin、Shuffle Join 实例
企业级应用实例2：广告行业 — 基于用户行为分析的用户归类标签 (客户画像)
; D6 g% K+ R5 o- W* T0 ]—〉 Hive复合数据类型array
—〉 array与collect_set、collect_list、array_contains、sort_array
—〉 impala的group_concat
5 O7 D. z) `- d, F0 p—〉 array与lateral view、LATERAL VIEW OUTER
0 z1 ?# H+ p1 \. [# F6 e企业级应用实例3：电商/零售行业 — 简单的推荐系统 Recommender System 实现 (基于用户标签/客户画像)
—〉 Hive复合数据类型map、str_to_map、map_keys、map_values，map与lateral view
* M; [: N7 v7 u—〉 通过Hive、Impala转换函数进行数据保护，确保企业应用信息安全（通过translate进行简单数据脱敏Data Masking）
—〉 HiveServer2 JDBC接口实例应用、中文支持Bug纠错
—〉 Hive的窗口和分析函数入门（row_number、rank、dense_rank等）
% L0 j" I( M. b" i/ n企业级应用实例4：互联网行业 — 访问量业绩报表
—〉 Hive的窗口和分析函数进阶（NTILE、CUME_DIST、PERCENT_RANK、LEAD、LAG、FIRST_VALUE、LAST_VALUE等）
; E% |0 b. k1 `* ^% o—〉 ROWS BETWEEN ... AND ... （CURRENT ROW，rows PRECEDING，rows FOLLOWING）
本周总结 —— 物流/广告/电商/零售/互联网行业Hadoop企业级大数据应用方案经验教训总结
7 ?" A- R" `/ E( }0 G/ [$ j. t8 Z
7 m: ?3 ]& E5 p. I- L第四周：Hadoop & Spark / Shark 进阶应用基础知识
) `2 x- Z, D* ^3 p- Y* X2 g, jHBase / ZooKeeper / Sqoop / Graphite / Ganglia 进阶应用及调优，Spark / Spark SQL / Shark 简介
2 p$ q7 X$ D6 E! cHBase Shell 与 HBase REST API 应用
2 {8 V, x2 b( O8 LHBase的Region进阶应用Compact、Split与Merge
HBase进阶脚本应用：jruby script
: n& e) q: e/ dHBase与Hive的整合高级应用：binary(byte) value，lateral view explode
2 ]+ O, Z) F% T2 t: zHive 0.13：posexplode
2 s0 D7 A. x6 a# z9 B, xSpark / Spark SQL / Shark 架构介绍、Spark Scala / Python 开发介绍

第五周：进阶应用实例 — Hadoop/Spark平台企业级开发框架
; r+ V4 A5 l5 h' B. XHadoop生态系统中为企业级开发提供的测试框架应用实例
; Z; y$ c1 ~) Q* `3 H  Y" W0 T$ ASpark实现“物流行业 — 订单跟踪 SLA”的实例，Scala语言及Python语言实现，Spark SQL + Parquet文件实现，Spark Scala Maven项目实例
% \4 T* a- L0 l: y7 g' Y5 eHBase开发实例：REST API使用、JRuby脚本编写、Region进阶应用
与Continuous Integration系统整合的可能
—— 软件/互联网行业Hadoop企业级开发框架
. z2 N1 e- O1 m7 q! \* o
第六周：Hadoop & Spark / Shark 企业级应用整合
HBase与Hive整合的大坑
5 v9 h$ _$ ?' Q+ p% FHBase Python 客户端 happybase 使用介绍、编程实例
( g) u+ S0 q/ f' d+ ?) a1 {HBase Coprocessor与HBase + Hive 特征特点比较、分别适用的场景
3 v8 c( p+ J0 r" s+ v/ a" [企业中应用 HBase，Hive，Impala，Spark / Shark 的注意事项，资源分配方案
8 l' i; P. g: V6 R, L0 kHadoop与现有企业级BI平台的整合
Pentaho PDI / Kettle
. ]* j7 Z9 B6 Q. v! gOracle or In-Memory Database
MicroStrategy / Tableau

第七周：进阶应用实例 — Hadoop / Spark 企业级大数据BI应用整合
4 S$ `! U! Q7 a" u( W6 L互联网行业时间序列(time series data)数据处理实例 —— 整合 HBase 与 Hive：增量数据与全量数据，冷数据与热数据分治
# Y. K. v9 e6 |4 o$ e4 w互联网行业时间序列(time series data)数据处理实例 —— 整合 Spark 与 HBase
Spark 访问 HBase 数据实例：通过 Spark 对 HBase 表进行 scan，Scala语言处理 HBase 返回值 Result 类中 KeyValue 对象的 ByteBuffer / ByteArray
通过 Kettle / Spoon 工具整合Hadoop与现有RDBMS的企业级BI解决方案
其它整合Hadoop与RDBMS构建企业级BI应用平台的可能（如使用PostgreSQL FDW，使用Presto的JDBC connector等）
; D# b5 f8 |0 n! K- X—— 互联网行业Hadoop企业级大数据BI应用整合方案
+ C* }" G1 @" {; Q+ {" y6 X
第八周：总结与展望
7 p- V1 s. z& ]0 R. M! k1 ~企业级大数据应用总结
% d& h$ b, t6 N( f$ e6 R) j$ `0 k构建企业大数据团队探讨
' a7 H: A1 W6 x9 q+ a' f5 A; e9 zHadoop方面工作面试秘籍：应用开发方向、数据分析方向、技术架构方向、团队带头人
现有几大Hadoop平台比较：Cloudera CDH，Hortonworks HDP，MapR
% G4 r4 G. {6 UHadoop大数据还能干什么？通过Spark整合Streaming与Batch processing？
金融 / 工业 / 能源 / 智慧城市 / 医疗行业 / Smart Data
, ?& A# b4 `. `( f+ z/ R德国汽车、新能源行业的大数据创新项目分享
德国医疗行业大数据应用现状
Hadoop大数据企业应用面临的问题