首页
›
编程基础与工程化
›
008-Socket网络编程
›
《网络编程实战:数据采集与解析》
VIP20
本课程属于:008-Socket网络编程
编程基础与工程化 · 共 20 门相关课程,组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录
咨询 / 购买
《网络编程实战:数据采集与解析》
共 30 章,建议从课程导读开始学习。
进入课程导读
01
网络编程基础
1、网络编程基础:TCP/IP协议栈、Socket通信原理、客户端与服务器模型。
02
HTTP协议详解
2、HTTP协议详解:请求方法、状态码、请求头与响应头、Cookie与Session。
03
Python Socket编程
3、Python Socket编程:创建Socket、绑定端口、监听连接、收发数据。
04
TCP服务器实现
4、TCP服务器实现:多线程服务器、线程池、异步IO模型。
05
UDP编程
5、UDP编程:UDP特点、UDP Socket、广播与组播。
06
HTTP客户端编程
6、HTTP客户端编程:urllib库、requests库、Session管理。
07
Web服务器框架
7、Web服务器框架:Flask基础、路由、请求处理、响应生成。
08
RESTful API设计
8、RESTful API设计:资源定义、HTTP方法映射、状态码使用、版本控制。
09
JSON与XML数据格式
9、JSON与XML数据格式:序列化与反序列化、Schema验证、性能对比。
10
数据采集入门
10、数据采集入门:爬虫原理、Robots协议、User-Agent伪装、请求频率控制。
11
静态网页抓取
11、静态网页抓取:BeautifulSoup解析、XPath定位、CSS选择器。
12
动态网页抓取
12、动态网页抓取:Selenium基础、等待策略、元素交互、截图。
13
Ajax数据抓取
13、Ajax数据抓取:抓包分析、模拟Ajax请求、解析JSON响应。
14
登录与认证
14、登录与认证:Basic Auth、Token认证、OAuth2.0流程、Session维持。
15
反爬虫对抗
15、反爬虫对抗:IP封禁、验证码、指纹检测、请求头校验。
16
代理IP池
16、代理IP池:代理协议、代理获取、代理验证、轮换策略。
17
数据存储
17、数据存储:CSV、Excel、MySQL、MongoDB、Redis。
18
Scrapy框架入门
18、Scrapy框架入门:项目结构、Spider编写、Item Pipeline、中间件。
19
Scrapy高级特性
19、Scrapy高级特性:CrawlSpider、Rule、Request调度、去重机制。
20
分布式爬虫
20、分布式爬虫:Scrapy-Redis、任务队列、去重共享、数据汇总。
21
数据清洗
21、数据清洗:缺失值处理、异常值检测、格式标准化、去重。
22
数据转换
22、数据转换:类型转换、编码转换、时间格式化、字段映射。
23
数据质量监控
23、数据质量监控:完整性检查、一致性校验、准确性验证、及时性监控。
24
WebSocket编程
24、WebSocket编程:握手协议、双向通信、实时数据推送。
25
gRPC编程
25、gRPC编程:Protocol Buffers、服务定义、客户端与服务端实现。
26
消息队列
26、消息队列:RabbitMQ基础、生产者消费者模型、任务分发。
27
异步编程
27、异步编程:asyncio库、协程、事件循环、异步HTTP请求。
28
网络安全
28、网络安全:HTTPS、SSL/TLS、证书验证、加密传输。
29
性能优化
29、性能优化:连接池、缓存策略、批量操作、并发控制。
30
项目实战
30、项目实战:构建一个完整的分布式数据采集系统。
所属VIP或分类
同VIP:Linux系统编程与网络实战
同VIP:Qt界面布局与网络通信实战
同VIP:Qt网络编程实战