找回密码
 立即注册
查看: 897|回复: 0

北风网 大数据协作框架视频教程 数据转换 框架Flume 框架Oozie

[复制链接]
累计签到:85 天
连续签到:1 天
发表于 2019-4-30 10:15:05 | 显示全部楼层 |阅读模式
本帖最后由 冰点也疯狂 于 2020-2-26 19:18 编辑
1 H; O: o, n3 Q# b$ l; {3 [; @4 n3 O1 _9 F  s0 P. P7 _0 c. Y* z
课程目录:
* G0 @. o! S! H1 g( e7 }! S第1章 数据转换工具Sqoop* F5 f0 ^. J' ?! m0 j1 u* ~2 \
01 大数据Hadoop 2.x协作.框架的功能 2 `: K9 C/ q; ?  g8 e# F' P8 o
02 Sqoop 功能概述和版本、架构讲解
( W! t6 S2 v5 T; B03 Sqoop 使用要点(核心)及企业版本讲解
3 v' G; T$ h' ?% {! c4 [04 使用CDH 5.3.6版本快速搭建Hadoop 2.x和Hive伪分布式环境 7 @4 W  @/ B1 T7 l6 n8 s
05 Sqoop 1安装及基本使用讲解 1 T7 [, S2 J- U, W$ d' x. V. f8 ?
06 使用Sqoop导入数据到HDFS及本质分析
  \9 J3 Q# Z9 b07 Sqoop导入数据设置数据存储格式parquet
/ j4 ^/ i, v8 B8 ^$ }08 Sqoop导入数据使用query讲解
1 ^0 r4 `( N; D09 Sqoop导入数据设置数据压缩为sanppy
; Y+ C6 F  A" e- z* B% A1 R  C3 @10 对snappy压缩数据结合Hive进行数据的导入与分析
9 {' f3 A' k) |$ H7 d4 Y11 Sqoop导入数据时两种增量方式导入$ U  P6 V3 ?5 A# r0 D, q" b  b+ n
12 Sqoop导入数据direct使用讲解
- v: f% d, W, e13 Sqoop导出数据Export使用讲解
* C: l: N8 [3 E14 Sqoop如何将RDBMS表中的数据导入到Hive表中
' g4 H) U8 P; F; y* _( r15 Sqoop如何导出Hive表中数据到RDBMS中 # H( N6 `9 L) r) u  y# e! H
16 Sqoop使用--options-file进行运行任务讲解
, {" ]% W& o. z; U5 {17 回顾复习Sqoop的使用及布置作业(oracle与hadoop数据的import)
2 X3 a) R" |+ L! w0 w7 c第2章 文件收集框架Flume& p6 F. Q- X8 x1 V* s
01 Flume功能概述讲解
: |0 m1 n- ~# _& m  ]' M02 Flume架构设计讲解 7 i1 ~" X1 ~0 z! `
03 Flume Agent编程及flume-ng命令使用讲解
. F1 k# w# f5 y2 H, j5 N( l2 ?04 Flume第一个Agent应用编写(实时读取数据)
  I; Q) R" \, X$ a, E05 Flume Agent三大组件Source、Channe、Sink常用类型讲解 , s2 c# _& W. }5 v, U) r* _
06 Flume第二个Agent应用讲解(实时监控读取日志数据,存储hdfs文件系统)
4 I* {* g3 D$ j+ h: G% V07 Flume收集数据存储hdfs上的一些高级配置
9 q: b! c) S8 `  j. h% s- h08 Flume在企业大数据仓库中数据收集架构 0 j: q  J  Y$ V" i& j" I
09 Flume收集数据存储hdfs上的企业需求讲解 * |5 Y1 V+ }# O1 F" C; C4 F
10 Flume实在案例讲解(监控日志目录日志数据,实时抽取之hdfs系统上) " R3 u4 z$ f$ `% F
第3章 任务调度框架Oozie
3 k2 A  b3 U& x. m01 工作流调度框架Oozie功能初步认识
0 X7 Z! S6 F5 k+ ]% a5 z02 Linux Crontab调度讲解
+ v$ A9 B# c  V  U' Y3 |; r03 大数据Hadoop常用三种调度框架讲解 5 n3 A$ A, z5 ^: @. O
04 Oozie 功能架构及三大Server讲解
% @2 I3 L+ {: H6 d$ }* H0 h5 O1 R; a05 Oozie安装部署讲解一 $ a: r# _( H/ ]
06 Oozie安装部署讲解二 ( g( T+ p6 i) l( F
07 Oozie案例运行MapReduce Wordflow讲解 ' C9 u' [+ j, _
08 如何定义Ooozie Workflow讲解
: p4 H; E& r- W09 Oozie Workflow中MapReduce Action定义讲解
3 |7 K+ v2 s4 N$ V  s10 如何编写新API中MapReduce Action讲解 7 K. T; R! h) {0 @/ s
11 编写Oozie Workflow的MapReduce Action并运行 . }% ]4 {! Q/ }( B  g. e+ K  F
12 回顾复习Oozie Workflow编程要点及MapReduce Action的使用 $ d# G" w) Y  ^: P- v
13 Oozie WorkFlow中Hive Action使用案例讲解一 & O- G9 R# Z# _! E8 E" d
14 Oozie WorkFlow中Hive Action使用案例讲解二 ; j% ~- I4 R7 n* V; P
15 Oozie WorkFlow中Sqoop Action使用案例讲解一
# [4 j3 I) ?- y3 n8 Z' S' a! D" M16 Oozie WorkFlow中Sqoop Action使用案例讲解二
) }4 f9 F; D& r6 L' e17 Oozie WorkFlow中Shell Action使用案例讲解 4 H3 @# B" ^$ M
18 Oozie WorkFlow作业布置 $ A, p( u' S( A0 @
19 Oozie Coordinator调度讲解及系统时区配置与定时触发两种配置方式 ! I, j  Y& p1 L8 I
20 Oozie Coordinator配置定时触发案例演示
1 I. W( c8 W' _21 Oozie Coordinator·配置调度MapReduce· WordCount程序 6 W! N/ l8 k: e: ?
22 Oozie企业使用案例(Hive Action、Sqoop Actoion及定时调度)讲解一
+ O. m0 @6 K0 Q1 n23 Oozie企业使用案例(Hive Action、Sqoop Actoion及定时调度)讲解二
; @+ K& @6 W" s3 Q0 y% r2 E24 Oozie企业使用案例(Hive Action、Sqoop Actoion及定时调度)讲解三 / N0 I& L/ f! [1 I
25 Oozie中Coordinator中的数据可用性及Bundle讲解(1) 2 |$ c  F0 P0 |: p  v
26 Oozie中Coordinator中的数据可用性及Bundle讲解(2)
2 z: h& i  r9 l4 R第4章 大数据WEB工具Hue2 j6 V' ]# t  R! Z$ M
4.02_02_04_01 Hue架构功能讲解 . z/ Y$ d  E9 L* ]: e5 f. ^' b+ p1 c
4.02_02_04_02 Hue编译安装讲解 & K& C& }. j- Y* p/ T
4.02_02_04_03 Hue集成HDFS、YARN配置功能演示讲解 2 F5 L% O6 u7 F# e' V9 B2 X
4.02_02_04_04 Hue集成Hive配置讲解(HiveServer2及MetaStore) 4 W8 R2 a+ y0 }  c, U2 m# D
4.02_02_04_05 Hue集成RDBMS配置讲解 ; n9 T3 @: n$ P6 m' l, S
4.02_02_04_06 Hue集成Oozie配置讲解及作业布置
游客,如果您要查看本帖隐藏内容请回复
* x$ Q5 P9 X  z
: i! p( }% O$ [- w1 t
$ e; h) {2 b7 l* n; P
6 F, _# }  j7 Q  f4 w/ g3 D/ w. B

2 j" P- D2 {8 G  ~0 B0 H5 }7 H* v8 @4 Q8 p" B- I8 P6 i6 R& j

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

点击这里给我发消息

QQ|小黑屋|Archiver|手机版|一路学IT论坛 专业视频教程网站

GMT+8, 2026-10-28 04:20

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表