VIP20
本课程属于：044-半导体设备通信标准SECSGEM协议详解 半导体工艺与制造设备 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

数据采集建模与工程开发与部署实践

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
数据采集概述
数据采集的定义与重要性 · 数据采集的流程（采集-清洗-存储-建… · 常见数据源（数据库
数据采集概述数据采集的定义
02
Python环境与工具链
Anaconda安装与配置 · Jupyter Notebook与V… · 虚拟环境管理（conda/venv）
Python环境
03
HTTP协议与网络请求
HTTP/HTTPS协议基础 · Requests库的GET与POST… · 处理Cookies与Session
HTTP协议
04
静态网页抓取实战
使用Requests+Beautif… · CSS选择器与XPath定位元素 · 处理分页与翻页逻辑
静态网页抓取实战Requests+Bea…
05
动态网页抓取与Selenium
Selenium WebDriver… · 处理JavaScript渲染的页面 · 等待机制（显式/隐式等待）
Selenium动态网页抓取
06
Scrapy框架入门
Scrapy架构（Engine · Scheduler · Downloader
Scrapy框架入门
07
Scrapy进阶与中间件
Downloader Middlew… · 自定义User-Agent池与IP代… · 处理反爬机制（验证码
Scrapy进阶
08
数据清洗基础
Pandas入门（Series与Da… · 处理缺失值（dropna/filln… · 处理重复值与异常值
数据清洗基础Pandas
09
数据清洗进阶
数据类型转换 · 字符串处理（正则表达式） · 时间序列数据处理
数据清洗进阶数据类型转换
10
数据存储之关系型数据库
MySQL/PgSQL连接（pymy… · 建表与CRUD操作 · 事务管理与批量插入优化
数据存储之关系型…MySQL/PgSQL
11
数据存储之非关系型数据库
MongoDB连接与基本操作（pym… · 文档的增删改查 · 索引优化与聚合管道
数据存储之非关系…MongoDB
12
数据存储之文件系统
CSV/Excel/JSON文件的读… · Parquet与Avro格式介绍 · 大数据量下的分块读写
数据存储之文件系…CSV/Excel/JS…
13
数据建模基础
什么是数据模型 · 实体关系模型（ER图） · 维度建模（星型模型与雪花模型）
数据建模基础什么是数据模型
14
特征工程入门
特征缩放（标准化/归一化） · 编码分类变量（One-Hot/Lab… · 特征选择（过滤法/包裹法）
特征工程入门特征缩放
15
数据建模实战
使用Scikit-learn构建线性… · 模型评估（MSE/R²） · 过拟合与欠拟合的处理
数据建模实战Scikit-learn
16
分类模型实战
逻辑回归与决策树 · 混淆矩阵与ROC曲线 · K折交叉验证
分类模型实战逻辑回归
17
聚类模型实战
K-Means聚类 · 肘部法则确定K值 · 聚类结果的可视化
聚类模型实战K-Means
18
时间序列建模
时间序列分解（趋势/季节/残差） · ARIMA模型简介 · 使用Prophet进行预测
时间序列建模时间序列分解
19
数据可视化之Matplotlib
折线图 · 柱状图 · 散点图
Matplotlib数据可视化之
20
数据可视化之Seaborn
统计图表（箱线图/小提琴图/热力图） · 分类数据可视化 · 多变量关系探索
Seaborn数据可视化之
21
数据可视化之交互式图表
Plotly Express基础 · 交互式仪表盘（Dash）入门
数据可视化之交互…Plotly
22
ETL流程设计与调度
ETL vs ELT · 使用Apache Airflow定义… · 任务依赖与定时调度
ETL流程设计
23
数据管道与批处理
使用Pandas进行批量ETL · 增量采集策略（基于时间戳/基于偏移量… · 错误处理与重试机制
数据管道批处理
24
实时数据采集
Kafka基础概念（Producer… · 使用Python操作Kafka · 流式数据处理（Spark Strea…
实时数据采集Kafka
25
API设计与数据服务
使用Flask/FastAPI构建数… · RESTful API设计规范 · API文档自动生成（Swagger）
API设计
26
数据质量监控
数据质量维度（完整性/一致性/准确性… · 编写数据质量检查脚本 · 告警机制（邮件/钉钉/企业微信）
数据质量监控数据质量维度
27
项目实战一
电商评论采集与分析：目标网站分析 · 评论数据采集 · 情感分析（基于SnowNLP）
项目实战一电商评论采集
28
项目实战二
股票数据建模与预测 · 技术指标计算（MA/MACD/RSI… · LSTM模型预测股价
项目实战二股票数据建模
29
项目实战三
用户行为日志采集与分析：埋点方案设计 · 日志采集（Flume/Filebea… · 用户行为路径分析
项目实战三用户行为日志采集
30
课程总结与工程落地最佳实践
项目架构设计文档编写 · 代码规范与版本控制（Git） · 模型部署（Flask/Docker）
课程总结工程落地最佳实践