(微信同号)【课程背景】
Python语言是当前最火的语言之一，易于使用，学习曲线低。Python具备丰富成熟的网络库和数据处理库，可以快速的进行网络信息爬取、数据初步处理，并可以应对复杂的网络环境、网站环境。 本课程系统讲述Python的网页内容获取库、网页结构和相关协议、HTML内容解析、异步处理以及复杂网络环境数据获取工具。通过本课程，可以初步掌握使用Python进行网络信息爬取的能力。课程结合案例和练习，注重知识的掌握和使用，重点培养学员的实操能力。
【课程收益】
培训完结后，学员能够：
² 了解网页结构和相关协议
² 掌握Python网页内容获取库
² 掌握Python网页内容解析方法
² 掌握常用爬虫库
【课程对象】想学习Python爬虫编程，并具备Python基础编程能力人员
【课程时长】3天 (6小时/天）
【课程大纲】
单元 | 大纲 | 内容 |
单元一 | 绪论 | 1. 爬虫介绍 2. 爬虫应用 3. 爬虫技术介绍 |
单元二 | Python简单爬虫开发 | 1. 使用Python获取网页源代码 2. 多线程爬虫 3. 爬虫常见搜索算法 4. 阶段练习：百度页面爬取 |
单元三 | 高性能html解析 | 1. HTML介绍 2. 正则表达式介绍 3. 通过正则表达式获取页面数据 4. XPATH介绍 5. 通过XPATH快速获取数据 6. Beautiful Soup4介绍和使用 7. 阶段练习：招聘信息爬取 |
单元四 | 异步加载和请求 | 1. HTTP协议简介 2. 网页结构简介 3. Ajax简介 4. 异步加载 5. 伪造请求头 6. 阶段练习：获取视频网站评论 |
单元五 | 模拟登陆与验证码 | 1. 网站登录原理介绍 2. 模拟登陆 3. 验证码机制 4. 验证码处理 5. 阶段练习：模拟网站登录操作 |
单元六 | Scrapy爬虫框架 | 1. Scrapy介绍与安装 2. Scrapy的使用 3. Scrapy与数据库 4. Scrapy与Redis 5. Scrapy中间件 6. Scrapy爬虫部署 |
单元七 | 整体练习 | 根据实际情况设定一个实验课题 |
