VIP20
本课程属于:008-Socket网络编程 编程基础与工程化 · 共 20 门相关课程,组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

《网络数据采集与处理实战》

共 30 章,建议从课程导读开始学习。

进入课程导读

01Python入门1、Python入门:Python发展史、Python应用场景、Python开发环境搭建。02PyCharm2、PyCharm:PyCharm的安装、设置字体、设置快捷键、PyCharm常用设置、调试。03Python基础知识3、Python基础知识:注释、变量以及数据类型、标识符和关键字、输入函数、输出函数、运算符、程序类型转换。04分支和循环4、分支和循环:if判断语句、运算符、if-else语句、while循环、for循环、break、continue。05字符串和列表5、字符串和列表:字符串输入、字符串输出、下标和切片、字符串常见函数、列表(list)、列表的循环遍历、列表的增删改查、列表的嵌套、列表的切片。06元组和字典6、元组和字典:元组(tuple)的定义与操作、字典(dict)的创建与访问、字典的增删改查、字典的遍历。07集合和函数7、集合和函数:集合(set)的创建与运算、函数的定义与调用、参数传递(位置参数、默认参数、可变参数)、返回值。08文件操作8、文件操作:文件的打开与关闭、文件的读写(文本文件与CSV文件)、with语句、文件路径处理。09异常处理9、异常处理:异常的概念、try-except语句、多个异常处理、finally子句、自定义异常。10模块和包10、模块和包:模块的导入方式、自定义模块、包的概念与创建、常用标准库(os、sys、math、random)。11面向对象编程(上)11、面向对象编程(上):类与对象的概念、类的定义与实例化、属性与方法、构造函数__init__。12面向对象编程(下)12、面向对象编程(下):继承与多态、封装与私有属性、类方法与静态方法、特殊方法(__str__、__repr__)。13网络基础与HTTP协议13、网络基础与HTTP协议:网络通信原理、IP地址与端口、HTTP请求与响应、状态码、请求头与响应头。14requests库入门14、requests库入门:requests库的安装、GET请求与POST请求、响应对象、参数传递、请求头设置。15requests库进阶15、requests库进阶:会话维持(Session)、代理设置、SSL证书验证、超时与重试、文件上传与下载。16BeautifulSoup解析库16、BeautifulSoup解析库:BeautifulSoup的安装与使用、标签选择器、find与find_all方法、CSS选择器、获取文本与属性。17XPath与lxml库17、XPath与lxml库:XPath语法基础、lxml库的安装与使用、XPath路径表达式、常用函数、与BeautifulSoup对比。18正则表达式18、正则表达式:正则表达式语法、re模块常用函数(match、search、findall、sub)、贪婪与非贪婪模式、实战应用。19数据存储(JSON与CSV)19、数据存储(JSON与CSV):JSON格式与Python的转换、CSV文件的读写、数据清洗基础、Pandas入门。20数据存储(数据库)20、数据存储(数据库):SQLite数据库基础、Python操作SQLite、MySQL数据库连接(pymysql)、ORM框架SQLAlchemy入门。21动态网页与Selenium21、动态网页与Selenium:动态网页的概念、Selenium的安装与配置、浏览器驱动、元素定位与操作、页面等待。22Selenium进阶22、Selenium进阶:窗口切换与弹窗处理、执行JavaScript、Cookie操作、无头浏览器模式、反爬虫应对策略。23Scrapy框架入门23、Scrapy框架入门:Scrapy框架架构、项目创建与目录结构、Spider编写、Item与Pipeline、选择器使用。24Scrapy框架进阶24、Scrapy框架进阶:中间件(Downloader Middleware、Spider Middleware)、CrawlSpider、Item Loader、设置与配置。25反爬虫与应对策略25、反爬虫与应对策略:User-Agent伪装、IP代理池、请求频率控制、验证码识别(OCR)、JavaScript渲染。26数据清洗与预处理26、数据清洗与预处理:缺失值处理、重复值处理、数据类型转换、文本清洗(去除HTML标签、特殊字符)、正则清洗。27数据分析基础(NumPy)27、数据分析基础(NumPy):NumPy数组创建与操作、数组运算、索引与切片、统计函数、线性代数基础。28数据分析进阶(Pandas)28、数据分析进阶(Pandas):Series与DataFrame、数据读取与写入、数据筛选与排序、分组聚合、合并与连接。29数据可视化(Matplotlib与Seaborn)29、数据可视化(Matplotlib与Seaborn):Matplotlib基础绘图(折线图、柱状图、散点图)、Seaborn高级图表、图表美化。30综合实战项目30、综合实战项目:项目需求分析、爬虫设计、数据采集与存储、数据清洗与分析、可视化展示、总结与优化。