VIP20
本课程属于：006-数据质量工程 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

企业主数据去重与实体识别系统开发

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
数据去重概述
为什么需要数据去重？数据重复的代价与风险，去重的基本概念与挑战。
代价风险基础
02
重复数据分类
完全重复与部分重复，精确匹配与模糊匹配，单字段与多字段重复。
分类匹配字段
03
哈希去重原理
哈希函数基础，MD5/SHA-1/SHA-256对比，哈希碰撞与解决方案。
哈希MD5碰撞
04
布隆过滤器
布隆过滤器原理，误判率计算，Python实现布隆过滤器。
概率误判实现
05
SimHash算法
SimHash原理，文本特征提取，海明距离计算，大规模文本去重。
指纹海明大规模
06
MinHash与LSH
MinHash签名生成，局部敏感哈希(LSH)原理，近似去重实现。
签名LSH近似
07
编辑距离算法
Levenshtein距离，编辑距离计算优化，模糊匹配去重应用。
Levenshtein优化模糊
08
Jaccard相似度
Jaccard系数计算，集合相似度比较，文本去重实战。
集合系数文本
09
余弦相似度
TF-IDF向量化，余弦相似度计算，文档级去重。
TF-IDF向量文档
10
数据库唯一约束
主键约束、唯一索引、联合唯一索引，数据库层面去重。
主键索引约束
11
SQL去重实战
DISTINCT、GROUP BY、窗口函数ROW_NUMBER()，复杂SQL去重。
DISTINCT窗口复杂
12
Pandas数据去重
duplicated()、drop_duplicates()，多列去重策略，保留规则。
Pandas多列保留
13
Spark数据去重
distinct()、dropDuplicates()，大规模分布式去重。
Spark分布式大规模
14
实时去重方案
Redis Set去重，HyperLogLog基数估计，实时流去重架构。
RedisHyperLogLog实时
15
数据仓库去重
数仓分层去重策略，缓慢变化维(SCD)处理，拉链表去重。
数仓SCD拉链表
16
ETL去重实践
数据抽取去重，转换阶段去重，加载前去重检查。
ETL抽取检查
17
日志去重实战
日志重复原因分析，时间窗口去重，指纹去重方案。
日志窗口指纹
18
用户数据去重
用户ID去重，设备指纹去重，多源用户合并。
用户设备合并
19
商品数据去重
商品标题去重，SKU去重，图片去重方案。
商品SKU图片
20
文本去重系统
大规模文本去重架构，去重服务设计，性能优化。
架构服务优化
21
图片去重技术
感知哈希(pHash)，差异哈希(dHash)，图片相似度比较。
pHashdHash相似
22
音频去重技术
音频指纹提取，频谱分析，音频相似度匹配。
指纹频谱匹配
23
视频去重技术
关键帧提取，视频哈希，内容指纹去重。
关键帧哈希指纹
24
去重性能优化
内存优化，并行计算，分片策略，缓存加速。
内存并行缓存
25
去重质量评估
准确率、召回率、F1值，去重效果评估方法。
准确率召回率F1
26
去重系统监控
去重指标监控，告警策略，数据质量看板。
监控告警看板
27
去重与数据治理
数据标准制定，元数据管理，数据质量体系。
标准元数据质量
28
去重法律合规
数据保护法规(GDPR等)，隐私去重，合规去重方案。
GDPR隐私合规
29
去重架构设计
Lambda架构去重，Kappa架构去重，湖仓一体去重。
LambdaKappa湖仓
30
去重项目实战
完整去重项目流程，需求分析，方案选型，落地实施。
项目流程落地
专注课程资料整理