VIP20

本课程属于：031-设备隐私与数据最小化 物联网安全与设备身份认证 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

IoT设备数据分类采集删除合规

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据采集入门

数据来源分类、采集工具介绍、爬虫伦理与法律边界。

来源工具法律

HTTP协议基础

请求与响应、状态码详解、User-Agent伪装。

请求状态码UA

静态网页抓取

Requests库入门、GET与POST请求、响应内容解析。

RequestsGETPOST

数据解析之正则

re模块基础、常用匹配模式、实战提取邮箱与电话。

数据解析之XPath

lxml库安装、XPath语法、节点选取与属性获取。

lxmlXPath节点

数据解析之BeautifulSoup

安装与入门、find/find_all、CSS选择器。

BeautifulSoupfindCSS

动态页面抓取

Selenium入门、浏览器驱动配置、元素定位与交互。

Selenium驱动交互

数据清洗基础

Pandas入门、DataFrame创建、缺失值处理。

PandasDataFrame缺失值

数据清洗进阶

重复值处理、异常值检测、数据类型转换。

重复值异常值类型转换

数据标准化

字符串处理、正则替换、日期格式统一。

字符串正则日期

数据分类之规则引擎

if-else逻辑、决策树手动实现、业务规则编码。

规则决策树编码

数据分类之KNN算法

距离度量、K值选择、Scikit-learn实现。

KNN距离Scikit-learn

数据分类之朴素贝叶斯

贝叶斯定理、文本分类实战、拉普拉斯平滑。

贝叶斯文本平滑

数据分类之逻辑回归

Sigmoid函数、损失函数、模型训练与评估。

Sigmoid损失评估

数据分类之决策树

信息增益、ID3算法、树的可视化。

信息增益ID3可视化

数据分类之随机森林

集成学习思想、Bagging策略、特征重要性。

集成Bagging重要性

数据分类之SVM

最大间隔超平面、核函数、软间隔与惩罚参数。

SVM核函数软间隔

模型评估指标

准确率、精确率、召回率、F1分数、混淆矩阵。

准确率召回率F1

交叉验证与调参

K折交叉验证、网格搜索、随机搜索。

交叉验证网格搜索随机搜索

特征工程基础

特征选择、特征提取、PCA降维。

特征选择提取PCA

文本数据分类

Jieba分词、TF-IDF向量化、文本分类实战。

JiebaTF-IDF文本

图像数据分类

OpenCV基础、图像特征提取、CNN入门概念。

OpenCV特征CNN

时间序列数据分类

滑动窗口、特征构建、LSTM入门概念。

滑动窗口LSTM时序

数据存储之CSV与Excel

Pandas读写、编码问题、大文件分块处理。

数据存储之数据库

SQLite入门、SQLAlchemy ORM、批量插入优化。

SQLiteORM批量

数据存储之HDF5与Parquet

高效存储格式、压缩策略、读写性能对比。

HDF5Parquet压缩

数据归档与备份

文件压缩、增量备份、云存储策略。

压缩增量云存储

数据删除策略

软删除与硬删除、数据脱敏、GDPR合规。

软删除脱敏GDPR

数据生命周期管理

数据分级、保留策略、自动化清理脚本。

分级保留自动化

综合实战：从采集到删除的完整Pipeline构建

整合全流程技能，构建端到端数据分类与治理管线。

Pipeline实战综合