VIP20
本课程属于:008-Socket网络编程 编程基础与工程化 · 共 20 门相关课程,组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

《网络编程实战:数据采集与解析》

共 30 章,建议从课程导读开始学习。

进入课程导读

01网络编程基础1、网络编程基础:TCP/IP协议栈、Socket通信原理、客户端与服务器模型。02HTTP协议详解2、HTTP协议详解:请求方法、状态码、请求头与响应头、Cookie与Session。03Python Socket编程3、Python Socket编程:创建Socket、绑定端口、监听连接、收发数据。04TCP服务器实现4、TCP服务器实现:多线程服务器、线程池、异步IO模型。05UDP编程5、UDP编程:UDP特点、UDP Socket、广播与组播。06HTTP客户端编程6、HTTP客户端编程:urllib库、requests库、Session管理。07Web服务器框架7、Web服务器框架:Flask基础、路由、请求处理、响应生成。08RESTful API设计8、RESTful API设计:资源定义、HTTP方法映射、状态码使用、版本控制。09JSON与XML数据格式9、JSON与XML数据格式:序列化与反序列化、Schema验证、性能对比。10数据采集入门10、数据采集入门:爬虫原理、Robots协议、User-Agent伪装、请求频率控制。11静态网页抓取11、静态网页抓取:BeautifulSoup解析、XPath定位、CSS选择器。12动态网页抓取12、动态网页抓取:Selenium基础、等待策略、元素交互、截图。13Ajax数据抓取13、Ajax数据抓取:抓包分析、模拟Ajax请求、解析JSON响应。14登录与认证14、登录与认证:Basic Auth、Token认证、OAuth2.0流程、Session维持。15反爬虫对抗15、反爬虫对抗:IP封禁、验证码、指纹检测、请求头校验。16代理IP池16、代理IP池:代理协议、代理获取、代理验证、轮换策略。17数据存储17、数据存储:CSV、Excel、MySQL、MongoDB、Redis。18Scrapy框架入门18、Scrapy框架入门:项目结构、Spider编写、Item Pipeline、中间件。19Scrapy高级特性19、Scrapy高级特性:CrawlSpider、Rule、Request调度、去重机制。20分布式爬虫20、分布式爬虫:Scrapy-Redis、任务队列、去重共享、数据汇总。21数据清洗21、数据清洗:缺失值处理、异常值检测、格式标准化、去重。22数据转换22、数据转换:类型转换、编码转换、时间格式化、字段映射。23数据质量监控23、数据质量监控:完整性检查、一致性校验、准确性验证、及时性监控。24WebSocket编程24、WebSocket编程:握手协议、双向通信、实时数据推送。25gRPC编程25、gRPC编程:Protocol Buffers、服务定义、客户端与服务端实现。26消息队列26、消息队列:RabbitMQ基础、生产者消费者模型、任务分发。27异步编程27、异步编程:asyncio库、协程、事件循环、异步HTTP请求。28网络安全28、网络安全:HTTPS、SSL/TLS、证书验证、加密传输。29性能优化29、性能优化:连接池、缓存策略、批量操作、并发控制。30项目实战30、项目实战:构建一个完整的分布式数据采集系统。