新手入门大数据 Hadoop基础与电商行为日志分析

冰点也疯狂

第1章 大数据概述
1 g* l2 N! h- H, ?% r, q本章将从故事说起，让大家明白大数据是与我们的生活息息相关的，并不是遥不可及的，还会介绍大数据的特性，以及大数据对我们带来的技术变革，大数据处理过程中涉及到的技术以及大数据典型应用。
. e% J; s3 {* C& x! E 1-1 课程导学
; [" ~& g& _, M7 r; w) W, I3 x 1-2 学前必读（助你平稳踩坑，畅学无忧，课程学习与解决问题指南）
" B% q. V8 S1 c7 d 1-3 课程目录
1-4 从一个案例说起
1-5 什么是大数据以及大数据的4V特征 试看
1-6 大数据带来的技术变革
1-7 大数据现存的模式
1-8 大数据的技术概念
1-9 大数据带来的挑战
7 n; a7 @0 g9 X- b/ [. ]" t4 d 1-10 如何对大数据进行存储和分析
8 m1 p3 y- Z8 b2 w$ \ 1-11 大数据典型应用

* o: Q+ @0 B) A  N$ u2 S第2章 初识Hadoop
: C  l3 c  B, ?" \; f1 `% J# d本章节将带领大家认识Hadoop以及Hadoop生态系统、Hadoop的发展史、Hadoop的优势、Hadoop的三个核心组件、Hadoop发行版的选择，为后续深入讲解Hadoop打下坚实的基础。
& k7 V+ X; V+ Q9 w- q 2-1 课程目录
7 Q: r- ]* l5 E/ k# x. [4 O 2-2 Hadoop概述
, v; N+ q/ N  k: P0 H, v 2-3 Hadoop核心组件之HDFS概述
' g: y# v7 P3 {8 E 2-4 Hadoop核心组件之MapReduce
  o1 e. g8 |6 w 2-5 Hadoop核心组件之YARN
2-6 Hadoop优势
. C. H6 A4 V' i/ ~3 s 2-7 Hadoop发展史
  Z6 |7 c( i: [9 f+ V 2-8 Hadoop生态圈
2-9 Hadoop发行版选型
2-10 OOTB环境的使用

第3章 分布式文件系统HDFS
8 o" }) j& W8 Y: H/ y0 ^本章将从Hadoop的设计目标、架构及文件系统命令空间出发，快速搭建单节点伪分布式HDFS的实验环境，通过讲解使用hdfs shell以及Java API的方式操作HDFS文件系统，详细分析HDFS文件的读写流程，并通过HDFS API来实现词频统计案例，使得大家对Hadoop分布式文件系统HDFS有深刻的认识以及实战。 ...
3-1 HDFS概述
3-2 HDFS设计目标
$ p' U' T# L3 a2 A2 I. M6 s8 h; ` 3-3 HDFS架构详解
3-4 文件系统NameSpace详解
3-5 HDFS副本机制
8 I7 j$ h& ^1 E 3-6 本课程使用的Linux环境介绍
% E% Y0 `( C$ }5 I7 m/ y- K$ Y$ o 3-7 Hadoop部署前置介绍
+ k5 W1 k  c. Q, h3 ~* l 3-8 JDK1.8部署详解
3-9 ssh无密码登陆部署详解
( ~( w, h2 [( ?  g9 M$ y 3-10 Hadoop安装目录详解及hadoop-env配置
3-11 HDFS格式化以及启动详解
( Y& {1 o  h9 H4 j5 u  l8 G: W 3-12 HDFS常见文件之防火墙干扰
3-13 Hadoop停止集群以及如何单个进程启动
' ?% [( ~6 H: \; ` 3-14 Hadoop命令行操作详解
! b% N5 p* Y( e" r 3-15 深度剖析Hadoop文件的存储机制
3-16 HDFS API编程之开发环境搭建
& _  L; [! g- h- W 3-17 HDFS API编程之第一个应用程序的开发
3-18 HDFS API编程之jUnit封装
3-19 HDFS API编程之查看HDFS文件内容
3-20 HDFS API编程之创建文件并写入内容
3-21 HDFS API编程之副本系数深度剖析
$ d3 H" P5 _* @: p& u 3-22 HDFS API编程之重命名
3-23 HDFS API编程之copyFromLocalFile
3-24 HDFS API编程之带进度的上传大文件
3-25 HDFS API编程之下载文件
3-26 HDFS API编程之列出文件夹下的所有内容
3-27 HDFS API编程之递归列出文件夹下的所有文件
2 w6 F6 u; y# B2 y6 e 3-28 HDFS API编程之查看文件块信息
3-29 HDFS API编程之删除文件
* X* c. P: G  r# t3 h) I# Y 3-30 HDFS项目实战之需求分析
3-31 HDFS项目实战之代码框架编写
9 X2 a6 T; ]0 g 3-32 HDFS项目实战之自定义上下文
3-33 HDFS项目实战之自定义处理类实现
3-34 HDFS项目实战之功能实现
3 Y( z# {$ \" z( V$ P( Z1 z 3-35 HDFS项目实战之使用自定义配置文件重构代码
' g8 W3 U' O9 |/ \7 ` 3-36 HDFS项目实战之使用反射创建自定义Mapper对象
2 {' `3 p/ }  p$ j% n# Q6 h, M6 z3 P 3-37 HDFS项目实战之可插拔的业务逻辑处理
) ^% r& J* g* P5 J 3-38 HDFS Replica Placement Policy
9 ?& [8 B. G4 r# L( s4 G 3-39 HDFS写数据流程图解
! e' B6 u5 ]$ H! s 3-40 HDFS读数据流程图解
3-41 HDFS Checkpoint详解
3-42 HDFS SaveMode

) `. Y- z9 t" {8 ]) t第4章 分布式计算框架MapReduce
本章将从架构、编程模型等角度带大家认识Hadoop的分布式计算框架MapReduce，掌握MapReduce各个核心组件编程，并通过两个案例让大家深入掌握MapReduce编程的方方面面。
* f  ?  `; ?$ P) H  ? 4-1 课程目录
. l8 x) j5 v) J- Q* j& t 4-2 MapReduce概述
( r1 {7 @0 L* p# g0 H7 n$ T 4-3 MapReduce编程模型详解
& K9 M. ~$ U2 p 4-4 MapReduce编程模型核心概念详解
4-5 词频统计之自定义Mapper实现
4-6 词频统计之自定义Reducer实现
4-7 词频统计之自定义Driver类实现
4-8 词频统计之本地方式运行
& |; h' s+ U7 V: ? 4-9 词频统计之通过Debug方式进一步了解偏移量以及重构代码
" U/ Z9 m% K5 z% P, q' T, A 4-10 词频统计升级之Combiner操作 试看
# U) ]0 i/ k) S7 q( k* J 4-11 流量统计实战之需求
/ l2 \3 C; ]7 e/ G* s- L& S 4-12 流量统计实战之自定义复杂数据类型
) c6 J2 p8 X# @ 4-13 流量统计实战之自定义Mapper类
4-14 流量统计实战之自定义Reducer实现
% g/ E2 p7 |, ^2 v6 } 4-15 流量统计实战之Driver开发
: W6 F2 A# R5 Z6 J. x 4-16 流量统计实战之代码重构及NullWritable的使用
, g& A4 O, i. m: \ 4-17 流量统计实战升级之自定义Partitioner

3 j' N; b* L+ X: c8 d* m第5章 资源调度框架YARN
* [9 C5 w" f% v- v( Z本章将从YARN的产生背景、YARN的架构及执行流程的角度带大家认知Hadoop的资源调度框架YARN，快速搭建单节点伪分布式YARN的实验环境并掌握如何提交MapReduce作业提交到YARN上运行。
! w4 u; x# \& Q 5-1 课程目录
5-2 YARN产生背景
5-3 YARN概述
5-4 YARN架构详解
$ \# l8 U9 t$ K; O1 g/ F! A3 f 5-5 YARN执行流程
5-6 YARN环境部署
; K# T  S6 s: ]+ h7 U 5-7 提交example案例到YARN上运行
5-8 提交流量统计案例到YARN上运行
, M0 ]$ a2 H5 s. V/ z& z( ]
3 T- H) g8 L1 A" a第6章 电商项目实战Hadoop实现
/ ^- C, _/ O' R& M6 p- V  t/ o. Y本章将通过电商用户行为日志分析的项目实战，来将前面几个章节讲解的知识点串联起来，综合使用Hadoop的技术进行离线统计分析。
1 e  n2 U4 ~6 R; q 6-1 课程目录
- ?8 i" y+ f+ _8 K 6-2 用户行为日志概述
& Q" f! _1 W0 U) B- J 6-3 为什么要记录用户行为日志
  g  E+ H. l9 h9 O) n 6-4 日志内容介绍
- E1 V  T/ d* C* B8 o. w# [ 6-5 用户行为日志分析的意义所在
0 n5 m, Z( m- ?% b; M6 K9 b* y7 q 6-6 电商常用术语
6-7 项目需求描述
6-8 数据处理流程及技术架构
  W5 B( ]3 u! d 6-9 浏览量统计功能实现
. Q6 K6 l3 a$ B% g 6-10 省份浏览量统计之IP库解析
  n. n2 a, X$ y& o3 P 6-11 省份浏览量统计之日志解析
6-12 省份浏览量统计之功能实现
6-13 页面浏览量统计之页面编号获取
6-14 页面浏览量统计之功能实现
  I& q4 F( E6 U7 b# e& r 6-15 数据处理过程中ETL的重要性
6-16 原始日志ETL操作
6-17 浏览量统计功能升级
6-18 省份浏览量统计功能升级
0 \) L1 P0 c* r) v# K+ c/ l7 `2 H 6-19 页面浏览量统计功能升级思路
6-20 打包到服务器上运行
6-21 项目扩展
  _6 g9 x; x! q2 F
第7章 数据仓库Hive
本章将从Hive的产生背景、体系架构、Hive部署、DDL以及DML来掌握Hive使用的方方面面。
! K& E7 l+ v9 Y" L  l, C- P 7-1 课程目录
7-2 Hive产生背景
5 c2 v4 I/ H6 J 7-3 Hive是什么
7 y  V! L" }7 h 7-4 为什么要使用Hive
. O, ^9 ?4 E1 f. F! H3 V 7-5 Hive在Hadoop生态圈中的位置
* Z; j8 u+ h( b5 \- c" A 7-6 Hive体系架构
* S0 r$ u2 |$ r# m$ S4 z. p! n. W 7-7 Hive部署架构
7-8 Hive与RDBMS的区别
7-9 Hive部署
7-10 Hive快速入门
7-11 Hive DDL之数据库操作
" o7 B, E( |# f! m, {% | 7-12 Hive DDL之表操作
" U/ D5 a+ _$ |% }0 V) }; b 7-13 Hive DML之加载和导出数据
7-14 Hive QL基本统计
7-15 Hive QL之聚合函数
7-16 Hive QL之分组函数
/ Z0 g1 i3 l% L- M 7-17 Hive QL之join的使用
7-18 Hive QL执行计划

第8章 电商项目实战Hive实现
# C0 Y8 P" d1 P! j; }6 g; t8 r本章将使用Hive对电商用户行为日志分析进行重新实现，让大家对MapReduce编程和Hive实现的方式进行对比，体会Hive在生产上使用的便捷性。
8-1 课程目录
0 y. }, T( v7 M 8-2 外部表在Hive中的使用
) n8 r' A4 ?' S# n6 t+ J 8-3 track_info分区表的创建
8-4 将ETL的数据加载到Hive表
* P% k9 F% |, M# `5 J/ P 8-5 使用Hive完成统计分析功能
8-6 Hive实现项目的方便性体现

第9章 Hadoop分布式集群搭建
本章将带领大家搭建一个三个节点的分布式Hadoop集群环境，让大家对于Hadoop集群的安装有更深入的认识，并将项目实战案例运行在分布式集群环境中。
9-1 课程目录
9-2 Hadoop集群规划
: ^/ t( e' G6 b& d 9-3 前置条件安装
9-4 JDK安装
9-5 Hadoop集群部署
9-6 提交作业到Hadoop集群上运行
$ q. v0 [! j- e* p 9-7 课程总结
' Z+ i* s( K9 d' w: K& u, t