学习费用：面议
课时安排：1天/6小时
主讲老师：郭振杰
课程简介：互联网，作为全球性的互联网络，自1969年诞生以来，已经深刻改变了人类社会的方方面面。以下是关于互联网的200字描述： 互联网，是连接全球计算机网络的巨大网络，通过通用协议将各种网络串联在一起。截至2024年，中国互联网用户已超过10亿，普及率居世界前列。互联网具有传递性、自由性、实时性等特点，极大地促进了信息传播、经济发展、社交交流和文化传承。电子商务、在线教育等新兴产业蓬勃发展，为人们提供了更加便捷、快速和多样化的服务。同时，互联网也面临着网络安全、隐私保护等挑战，需要不断加强监管和自律。
【课程背景】
Python语言是当前最火的语言之一，易于使用，学习曲线低。Python具备丰富成熟的网络库和数据处理库，可以快速的进行网络信息爬取、数据初步处理，并可以应对复杂的网络环境、网站环境。 本课程系统讲述Python的网页内容获取库、网页结构和相关协议、HTML内容解析、异步处理以及复杂网络环境数据获取工具。通过本课程，可以初步掌握使用Python进行网络信息爬取的能力。课程结合案例和练习，注重知识的掌握和使用，重点培养学员的实操能力。
【课程收益】
培训完结后，学员能够：
² 了解网页结构和相关协议
² 掌握Python网页内容获取库
² 掌握Python网页内容解析方法
² 掌握常用爬虫库
【课程对象】想学习Python爬虫编程，并具备Python基础编程能力人员
【课程时长】3天 (6小时/天）
【课程大纲】
单元 | 大纲 | 内容 |
单元一 | 绪论 | 1. 爬虫介绍 2. 爬虫应用 3. 爬虫技术介绍 |
单元二 | Python简单爬虫开发 | 1. 使用Python获取网页源代码 2. 多线程爬虫 3. 爬虫常见搜索算法 4. 阶段练习：百度页面爬取 |
单元三 | 高性能html解析 | 1. HTML介绍 2. 正则表达式介绍 3. 通过正则表达式获取页面数据 4. XPATH介绍 5. 通过XPATH快速获取数据 6. Beautiful Soup4介绍和使用 7. 阶段练习：招聘信息爬取 |
单元四 | 异步加载和请求 | 1. HTTP协议简介 2. 网页结构简介 3. Ajax简介 4. 异步加载 5. 伪造请求头 6. 阶段练习：获取视频网站评论 |
单元五 | 模拟登陆与验证码 | 1. 网站登录原理介绍 2. 模拟登陆 3. 验证码机制 4. 验证码处理 5. 阶段练习：模拟网站登录操作 |
单元六 | Scrapy爬虫框架 | 1. Scrapy介绍与安装 2. Scrapy的使用 3. Scrapy与数据库 4. Scrapy与Redis 5. Scrapy中间件 6. Scrapy爬虫部署 |
单元七 | 整体练习 | 根据实际情况设定一个实验课题 |
