大数据-基于Spark的机器学习-智能客户系统项目实战

冰点也疯狂

项目背景：
1、现在很多平台客户关系管理系统都是使用传统的CRM，所有的信息全靠手工录入，用户寻找上下游企业或者信息只能靠手工去查找并且标注。
2、大数据时代的到来，人工智能，云计算，先进的分析，用机器去替代人工的部分，从 2016 年趋势看，机器学习和人工智能 (AI) 将在未来几年内将会彻底改变 CRM。
; g1 Y& X3 V# }! \; F% P
! z% b; y. S, `: E$ M, F( Y0 Y& h因此我们对CRM进行了改造，主要有如下部分：
1、企业信息、商品信息来自互联网，机器学习去自动统计分析并且分类。
8 ^1 m! x4 x- f( ]% D2、用户录入的商品信息和新从互联网爬来的商品信息全部通过机器学习计算的模型去分类。
$ Q! k3 y/ e/ y2 L0 x1 C" v3、机器学习自动计算企业和供求信息上下游。
4、机器学习每隔一段时间自动去优化计算模型。
3 E0 B! W* v4 H/ e  o
& s- o- `' w& L4 x; ^% f根据图识，项目将分为三个部分。整个项目基本思路是如何通过爬虫爬取大量数据放到Hbase，然后通过ETL工具初步转化筛选将数据存到mongodb，抽取mongodb的数据进行清洗处理算出模型放到hdfs。后续进来数据通过模型运算出数据的类型。项目系统主要包括前端+后端+机器学习，前端采用React Native，Native，后端采用Dubbo+Spring+java，机器学习采用Spark进行实现，本项目机器学习-spark代码运行在mesos上。
: s) U1 I& y7 |, ?
6 X/ H9 R) _- f) u+ d本课程我们只针对以上图示的浅蓝色部分内容（即与机器学习相关的内容），通过用真实的智能客户项目系统作为案例（案例附带源码，可以直接做二次开发），主要根据项目实例穿讲机器学习以及相关知识，包括有：数据提取，数据清洗以及分词，数据特征值提取、机器学习模型计算、数据分类等等，进行详细讲解。

本课程所需掌握的技术：java、scala、IK、Hdfs、Spark ml、Spark Streaming、Spark SQL、Kafka、Zookeeper、Mongodb、Spring-Data-Mongodb，由于每个技术需要掌握的程度不一样，对于我们用到的一些开源技术，课程中将会是简单介绍如何使用，不会着重讲解。课程重点讲解spark ml、spark Streaming，以及如何使用这些技术进行项目的实战，贯穿项目系统并且最后串联所有技术。spark基于2.0.1版本讲解

5 k; T; q: N( q: f$ r, g7 D1 W4 c
. K$ k5 A" b4 ?( V, T课程目录：
第01节 项目介绍以及在本课程中能学到什么东西、如何应用到实际项目中
第02节 scala和IDE的安装以及使用以及maven插件的安装
6 c; L# m  s& K8 j第03节 Centos环境准备（java环境、hosts配置、防火墙关闭）
1 j7 }7 S$ C" h0 B' W第04节 scala基础知识讲解-1
第05节 scala基础知识讲解-函数和闭包-2
第06节 scala基础知识讲解-数组和集合-3.1
: i, S* C0 U/ V8 G第07节 scala基础知识讲解-数组和集合-3.2
第08节 scala基础知识讲解-类和对象-4
2 R5 Q# {% l1 L' j# _& d# x第09节 scala基础知识讲解-特征和模式匹配-5
; X5 b% `4 P6 M3 `3 m) p第10节 scala基础知识讲解-正则表达式和异常处理-6
第11节 scala基础知识讲解-知识回顾
第12节 nosql数据库mongodb安装
第13节 spring data for mongodb-简单连接mongodb
第14节 spring data for mongodb-spring配置+CRUD操作(不实现repo，默认操作)
第15节 spring data for mongodb-实现repo接口+mongoTemplate+CRUD操作
0 I& k3 f5 ~' Z第16节 spring data for mongodb-分页查询
第17节 zookeeper集群安装
第18节 zookeeper基本介绍-1
* S" _5 r2 ~5 l7 y- R第19节 zookeeper工作原理-选举流程（basic paxos算法）-2
第20节 zookeeper工作原理-选举流程（fast paxos算法）-3
第21节 kafka-背景及架构介绍
第22节 kafka集群安装以及测试
第23节 kafka数据发送与接收实现-java
第24节 hdfs单机安装部署
6 E' h4 }+ R& R第25节 连接hdfs查询存储-java
第26节 机器学习基本线性代数介绍
第27节 IKAnalyzer中文分词工具介绍
第28节 IKAnalyzer中文分词工具结合java应用
" H3 l8 y/ a# L0 r6 p第29节 Spark以及生态圈介绍
第30节 Spark运行架构介绍及原理之job，stage，task
4 H4 ^6 R8 O4 Z5 I# b. o1 h第31节 Spark编程模型RDD设计以及运行原理
第32节 纯手写第一个Spark应用程序：WordCount
2 C; x9 G8 E7 T5 r- Q1 A0 v- I第33节 RDD常用函数介绍
第34节 Spark Sql介绍、DataFrame创建以及使用、RDD DataFrame DataSet相互转化
" V& t8 e% H' ?. {% }第35节 Spark Streaming介绍
第36节 Spark Streaming+Kafka集成操作
第37节 avro结合maven使用,实现序列化和反序列化
第38节 Spark ML（机器学习）介绍（监督学习、半监督学习、无监督学习）
第39节 特征抽取：TF-IDF原理介绍
第40节 特征提取：TF-IDF代码实现计算
* \7 H! n" f5 A0 ^) x8 j3 {7 Z第41节 聚类算法：KMEANS原理介绍
7 {! f: F  o7 w. {7 ]第42节 聚类算法：KMEANS代码实现计算
8 ^& M6 A) y& L' W/ y5 ^! U. `第43节 其它Spark ML算法简单介绍
第44节 Spark连接Mongodb代码实现
9 u* T* Q: g$ F) a0 n9 V第45节 Mesos总体架构介绍
- _, Z0 `0 c3 @* V' U6 E第46节 Mesos安装部署
1 V5 N' t1 ~* {+ [( `! z第47节 Spark on Mesos安装部署
第48节 系统整体架构再次介绍+技术串联介绍（将学习的技术全部整合到项目中）
9 U9 c1 H+ K/ F* I; |: W第49节 项目代码：父类工程，管理各个jar的版本
第50节 项目代码：avro序列化jar，用于客户端和机器学学习实现序列化和反序列化
第51节 项目代码：kafka发送数据jar，给app调用并实现切词并发送数据到kafka
第52节 项目代码：工具类jar，实现操作hdfs、切词以及操作mongodb
5 ~7 u& P9 o) ^; r' ]# W+ \/ B" ^第53节 项目代码：操作类jar，调用工具类具体进行切词以及数据清洗并且存储到Hdfs
第54节 项目代码：机器学习集合jar，主要用来存放record
第55节 项目代码：机器学习算法jar，主要进行tf-idf以及kmeans计算，主要实现企业上下游、供求上下游模型计算
) c' i% q2 T1 m( K1 a. R5 b第56节 项目代码：流式计算jar，主要是接受客户端发送到kafka的数据加载模型进行计算
第57节 项目代码：测试模拟jar，主要模拟实现用户加载avro序列化jar写数据到kafka
; s9 [8 t  a/ ?; Z第58节 Spark on Mesos部署提交参数介绍
第59节 Spark代码提交到Mesos运行（Spark-submit）
. I% i& }) w% a4 }: F第60节 项目整体流程跑通，结果展示
. m5 }! b6 y: G/ D3 }第61节 Spark调优介绍
第62节 基于Spark的机器学习项目-智能客户系统实战课程总结
' ?4 m8 H/ [5 p- V第63节 实际工作及面试注意问题

游客，如果您要查看本帖隐藏内容请回复

; V6 |% J. ~% {& T5 S  t
% `8 P* n$ f( \- ^
7 l( z/ l; d: i5 U* m% K9 N  o