|
|
课程介绍： Z4 A3 p/ \' A
这是一门培养专业爬虫工程师的课程。本课程以大数据业务需求为导向，旨在掌握分布式爬虫的原理、理解互联网技术和各类数据分析挖掘的应用技巧。
, N" `. V% _* o' E5 V- a2 ?1.围绕微博的抓取、存储、提取和文本分析来展开" Z6 V, d4 ^ A: y* r* v
2.增强了计算机架构与分布式系统的设计，例如负载均衡和任务队列的大篇幅介绍. p9 B' L; Y4 c! W. n! Z: y
3.增加了对于数据库性能及优化的关键方法和原理的介绍，例如深翻页、查询优化、索引优化，Redis 队列原理及优化等7 b ^! n% A/ O' B4 S7 Z/ A
4.在第一期使用简单Socket实现消息队列的基础上，增加了对成熟分布式架构（ZooKeeper）、消息队列（RabbitMQ）等的介绍，便于学员根据系统复杂度的提高而升级
8 N3 U3 J; x8 d. c! N% E* Q7 K* [' I* z/ [9 Z W
课程目录：
8 O, b9 m% x u' w, Q; l00.讲义与源码
9 M& ^4 `: W; V01.静态网页爬虫：爬虫的基础技术; S1 }% B8 e( q/ r- H8 R
02.登录及动态网页的抓取3 i) B7 ^, l1 e
03.微博的抓取+ n1 B# L% i( `" v
04.多线程与多进程的爬虫' T9 j1 i* I" @1 g
05.微博数据的存储：分布式数据库及应用, ^% |0 C3 R9 p% ^/ J% {
06.多机并行的微博抓取：分布式系统设计2 \7 s2 L F1 J: ?( R! g
07.应对反爬虫的策略
" _ [, B( C2 Q: v8 m8 z08.分布式系统的高可用与高并发处理' J) W4 r1 i2 U6 I( _9 g
09.日志系统、以及基于Page Rank的顺序调整
7 K% J8 Q- R/ f: G7 b10.日志、守护线程以及验证码处理
5 L* Y& |3 J( }2 J7 P0 }! B11.分布式数据库架构分析、优化及要点
/ x- l/ E7 |% ^) o( e12.自动摘要及正文抽取# D0 ~% {* J" W Y
13.网页分类与针对文本的机器学习应用, J# Y5 x2 [/ O7 U1 ~+ l
14.信息检索_搜索引擎原理及应用8 b! h( L. e5 V/ t+ W. V4 O
15.Scrapy录播视频$ O/ I, P [! B6 Y/ h! d
16.Scrapy进阶录播视频. L& e& P K$ {" j% r4 k% p
0 l& w7 ~* Q7 ]# `4 y |
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？立即注册
×
|
/1 
|小黑屋|Archiver|手机版|一路学IT论坛 专业视频教程网站
窥视卡
雷达卡
发表于 2019-4-19 14:57:16
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡
发表于 2019-7-20 03:48:51