VIP20
本课程属于：044-半导体设备通信标准SECSGEM协议详解 半导体工艺与制造设备 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

数据采集模型搭建与调优

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
数据采集概述
数据采集的定义 · 数据采集的流程 · 数据采集的应用场景
数据采集概述数据采集的定义
02
数据源探索
结构化数据源（关系型数据库） · 半结构化数据源（JSON · XML）
数据源探索结构化数据源
03
HTTP协议与网络请求
HTTP协议基础 · 请求与响应结构 · 状态码详解
HTTP协议
04
Python网络请求库
urllib库基础使用 · requests库安装与使用 · Session与会话管理
Python网络请求库
05
网页解析基础
HTML结构解析 · XPath语法与lxml库 · CSS选择器与BeautifulSo…
网页解析基础HTML
06
动态内容采集
AJAX请求分析 · 浏览器开发者工具使用 · Selenium库入门
动态内容采集AJAX
07
反爬虫机制与应对
User-Agent伪装 · IP代理池构建 · Cookie与Session维持
反爬虫机制应对
08
数据清洗与预处理
缺失值处理 · 重复值处理 · 异常值检测
数据清洗预处理
09
数据存储技术
CSV文件存储 · JSON文件存储 · MySQL数据库存储
数据存储技术CSV
10
数据采集框架Scrapy入门
Scrapy架构与组件 · Scrapy项目创建 · Spider编写
Scrapy数据采集框架
11
Scrapy高级应用
CrawlSpider使用 · 中间件编写 · 分布式爬虫原理
Scrapy高级应用
12
API数据采集
RESTful API调用 · API认证机制（ · OAuth）
API数据采集
13
日志采集与分析
日志文件格式解析 · ELK技术栈入门 · 日志采集工具（Filebeat
日志采集分析
14
传感器数据采集
物联网数据采集架构 · MQTT协议基础 · 传感器数据读取与解析
传感器数据采集物联网数据采集架…
15
数据采集调度与监控
定时任务调度（Cron · Airflow） · 采集任务监控
数据采集调度监控
16
数据质量评估
数据完整性检查 · 数据一致性校验 · 数据准确性验证
数据质量评估数据完整性检查
17
特征工程基础
特征提取 · 特征选择 · 特征构造
特征工程基础特征提取
18
数据标注与增强
数据标注工具介绍 · 标注质量控制 · 数据增强方法（图像
数据标注增强
19
数据版本管理
DVC工具使用 · 数据仓库设计 · 数据血缘追踪
数据版本管理DVC
20
数据安全与隐私
数据脱敏技术 · 加密传输（HTTPS · TLS）
数据安全隐私
21
模型搭建基础
机器学习模型分类 · 模型选择原则 · 训练集/验证集/测试集划分
模型搭建基础机器学习模型分类
22
线性回归模型
一元线性回归 · 多元线性回归 · 正则化（L1
线性回归模型一元线性回归
23
分类模型
逻辑回归 · 决策树 · 随机森林
分类模型逻辑回归
24
聚类模型
K-Means聚类 · 层次聚类 · DBSCAN聚类
聚类模型K-Means
25
时间序列模型
时间序列分解 · ARIMA模型 · Prophet模型
时间序列模型时间序列分解
26
深度学习模型基础
神经网络原理 · 激活函数 · 损失函数
深度学习模型基础神经网络原理
27
模型训练与调优
超参数调优（网格搜索 · 随机搜索） · 学习率调度
模型训练调优
28
模型评估与验证
混淆矩阵 · ROC曲线与AUC · 学习曲线分析
模型评估验证
29
模型部署与服务
模型序列化（Pickle · ONNX） · Flask API搭建
模型部署服务
30
端到端数据采集与建模项目实战
需求分析 · 数据采集方案设计 · 数据清洗与特征工程
端到端数据采集建模项目实战