01
网络编程基础
TCP/IP协议栈、Socket通信原理、客户端与服务器模型
TCP/IPSocket
02
HTTP协议详解
请求方法、状态码、请求头与响应头、Cookie与Session
HTTP状态码
03
Python Socket编程
创建Socket、绑定端口、监听连接、收发数据
SocketPython
04
TCP服务器实现
多线程服务器、线程池、异步IO模型
多线程异步IO
05
UDP编程
UDP特点、UDP Socket、广播与组播
UDP广播
06
HTTP客户端编程
urllib库、requests库、Session管理
requestsurllib
07
Web服务器框架
Flask基础、路由、请求处理、响应生成
Flask路由
08
RESTful API设计
资源定义、HTTP方法映射、状态码使用、版本控制
RESTAPI
09
JSON与XML数据格式
序列化与反序列化、Schema验证、性能对比
JSONXML
10
数据采集入门
爬虫原理、Robots协议、User-Agent伪装、请求频率控制
爬虫Robots
11
静态网页抓取
BeautifulSoup解析、XPath定位、CSS选择器
BeautifulSoupXPath
12
动态网页抓取
Selenium基础、等待策略、元素交互、截图
Selenium动态
13
Ajax数据抓取
抓包分析、模拟Ajax请求、解析JSON响应
Ajax抓包
14
登录与认证
Basic Auth、Token认证、OAuth2.0流程、Session维持
OAuth2Token
15
反爬虫对抗
IP封禁、验证码、指纹检测、请求头校验
反爬验证码
16
代理IP池
代理协议、代理获取、代理验证、轮换策略
代理IP池
17
数据存储
CSV、Excel、MySQL、MongoDB、Redis
MySQLMongoDB
18
Scrapy框架入门
项目结构、Spider编写、Item Pipeline、中间件
ScrapySpider
19
Scrapy高级特性
CrawlSpider、Rule、Request调度、去重机制
CrawlSpider去重
20
分布式爬虫
Scrapy-Redis、任务队列、去重共享、数据汇总
分布式Redis
21
数据清洗
缺失值处理、异常值检测、格式标准化、去重
清洗标准化
22
数据转换
类型转换、编码转换、时间格式化、字段映射
转换编码
23
数据质量监控
完整性检查、一致性校验、准确性验证、及时性监控
质量监控
24
WebSocket编程
握手协议、双向通信、实时数据推送
WebSocket实时
25
gRPC编程
Protocol Buffers、服务定义、客户端与服务端实现
gRPCProtobuf
26
消息队列
RabbitMQ基础、生产者消费者模型、任务分发
RabbitMQMQ
27
异步编程
asyncio库、协程、事件循环、异步HTTP请求
asyncio协程
28
网络安全
HTTPS、SSL/TLS、证书验证、加密传输
HTTPSSSL
29
性能优化
连接池、缓存策略、批量操作、并发控制
优化并发
30
项目实战
构建一个完整的分布式数据采集系统
实战分布式