大数据实战课程第一季Python基础和网络爬虫数据分析

天亮说晚安

课程研发环境   
, W0 d9 ~, [, r( D& [& T开发环境:Python 2.7、MySQL、MongoDB、Scrapy
IDE：PyCharm 5
, M: l6 W3 L0 C9 n) ?
内容简介
3 t1 _% a; E' e& o# S6 l本课程面向从未接触过Python的学员，从最基础的语法开始讲起，逐步进入到目前各种流行的应用。整个课程分为基础和实战两个单元。
- p% D- P1 Q3 R基础部分包括Python语法和面向对象、函数式编程两种编程范式，基础部分会介绍Python语言中的各种特色数据结构，如何使用包和函数，帮助同学快速通过语法关。
! s2 ~2 r9 v+ W# n在实战部分选择了网络爬虫、数据库开发、Web网站3种最基础的应用类型，详细介绍其思想原理，并通过案例讲解Python中的实现方案，让学员真正达到融会贯通、举一反三的效果。并应用到自己的工作环境中。
6 p. s0 z1 L& s7 h  G
课程内容
! C# V9 n9 q2 D' L1.Python语言开发要点详解
( T/ F" c% _! q, i/ k  Y01、模块的概念.主模块和非主模块的区别.pycharm中定义代码模版
  i" S+ E2 o9 I! N3 K/ B; S9 s2 N02、安装pip 多个虚拟python环境
# p' y: O7 p) {+ G3 ^, y1 j03、语法.变量.内置类型.运算符
04、if.for.while.else
: ^' f* y( u: _: ~7 o1 W% F05、数据结构.列表.元组.字典.集合
# i  J) T( R! U3 y5 X' C06、函数.类.异常
; T2 i' X, _1 m5 m1 `
( R- `: y6 }1 E! O3 `2 L2.Python数据类型
07、列表和列表解析
) [, ^0 C( F5 k* Q. u08、filter和map
09、生成器表达是
10、元组
11、字符串
9 t) N7 T: Z& b4 @: K12、字符串之中文处理
5 L* s+ H6 P* o& j" k7 P13、字典
5 H1 l2 D% A2 Q, w/ p14、集合
* \" u6 o1 I% F& a$ f$ v) S/ N
; K% W* ?2 Q7 f2 l) [3.函数和函数式编程
15、函数参数和变长参数列表
3 y% K: k, o4 J5 X16、函数返回值.变量作用域.和函数__doc__属性
17、函数的嵌套定义和闭包和装饰器介绍
18、装饰器例子（日志装饰器和身份认证装饰器）
19、迭代器和生成器1
20、生成器例子

4.面向对象编程
21、认识经典类和新式类
22、公有属性和私有属性属性
23、访问属性.属性装饰器.描述符
24、描述符
1 m* n1 M6 p; i( B1 n/ T- z25、方法.实例方法.静态方法.类方法
) _, v; }- o! M9 X8 U* v/ j26、特殊方法.运算符重载
27、继承.多重继承.super
2 Q; t& Q8 @% f% f; @
2 h, b: e- m/ J9 ^9 x7 R/ u: d/ E$ l5.网页爬虫(单线程,保存到文本文件)
28、爬虫介绍
+ B! h, K% a( B% D29、工具包介绍
1 D$ I! R; X& t30、request使用演示
* m' n6 H& y7 z31、xpath介绍
( c+ U8 H" m9 J6 }) \2 M4 Q32、xpath使用演示
. N9 [2 R& A# n! t0 y  o  v7 T33、新闻爬虫
34、分页栏爬虫
. ?; }5 j: {5 P6 ?7 P35、豆瓣爬虫

6 w7 z5 A( C. Z6.mysql数据库
, y1 |* e1 X# Y36、概述.sql数据库和nosql数据库的区别
; R7 L0 h. f2 q' H3 {8 r37、环境准备.驱动包介绍
# V0 d3 S. p& Z5 N9 u: b! |  p38、mysqlconnector的使用
# W* F/ @- P) o" {2 Z39、mysqldb使用
40、sqlalchemy介绍.ORM的优点介绍
41、sqlalchemy开发流程
42、sqlalchemy代码演示.1
43、sqlalchemy代码演示2
  q( R0 x6 q* t! ~$ `$ s3 \
/ V9 V& Q' i2 Y5 z$ i7.mongodb数据库
44、mongodb介绍
45、安装.命令行.mongovue演示
, i( S/ \) a4 M2 g3 f46、python中插入记录
47、python中查询记录
48、python中更新记录
49、python中删除记录
50、聚合操作

8.多线程和多进程
3 }- L2 x% p' @4 E51、概述
52、多线程编程
: r" [& x/ F0 A( U# {. T. S+ W53、多进程编程
54、综合案例-网络爬虫3

* k5 z4 l3 D( w/ }4 g; @9.scrapy实战
5 @2 o7 n8 L& c3 A. f55、scrapy介绍和安装
* I! M; ^; F; @* v; @0 j% [56、scrapy项目框架
3 h2 a5 M' x0 @4 C/ E) a+ ?0 |57、scrapy框架和案例需求分析
58、实战

10.django实战
8 p+ r, [% }! G3 q58、django架构介绍
9 w+ }: |, e, B1 |: W$ n* {/ _60、阶段1.安装.创建项目.创建应用.初始配置
61、阶段1.配置URL映射.视图函数
62、阶段2.定义ORM并注册到后台管理模块
63、阶段3.模版的继承.表单的使用.数据的展示
0 g. n1 C0 b9 y64、阶段4.多应用URL配置.数据的DML操作
3 a1 I' ~/ U& \. W$ p) o65、部署知识介绍
% ]' f, F2 G$ C7 _7 G
0 T+ N. _1 A8 J  {# B6 |! s& O