VIP20

本课程属于：038-AI数据底座 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

AI数据非结构化数据管理

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

非结构化数据概述

定义、特点（无固定模式、格式多样）、与结构化数据的对比、典型应用场景（日志、文档、多媒体）。

数据采集与接入

常见数据源（文件系统、API、消息队列、数据库CDC）、采集策略（全量、增量、实时）、数据管道设计。

数据存储技术选型

对象存储（S3/MinIO）、分布式文件系统（HDFS）、NoSQL数据库（MongoDB、Elasticsearch）、数据湖架构。

数据预处理与清洗

文本清洗（正则、去噪）、图像预处理（缩放、归一化）、音频/视频预处理、数据质量评估。

清洗预处理

数据格式与序列化

JSON、XML、Avro、Parquet、ORC、Protocol Buffers 的对比与选型、Schema 管理。

格式序列化

元数据管理

元数据定义与分类（技术元数据、业务元数据）、元数据采集、元数据存储（Apache Atlas、DataHub）、血缘分析。

元数据治理

数据目录与发现

数据目录的作用、Apache Atlas 实践、数据资产盘点、数据搜索与发现。

数据标注与增强

标注工具（Label Studio、CVAT）、标注策略（主动学习、半自动标注）、数据增强技术（图像翻转、文本回译）。

数据版本控制

数据版本化概念、DVC（Data Version Control）实践、数据回滚与追溯、与Git的协同。

数据安全与隐私

数据加密（静态、传输）、访问控制（RBAC、ABAC）、数据脱敏、GDPR/个人信息保护合规。

数据生命周期管理

数据分级（热、温、冷）、数据归档策略、数据过期与删除、存储成本优化。

生命周期成本

数据质量监控

质量维度（完整性、一致性、准确性、时效性）、监控工具（Great Expectations）、异常检测与告警。

数据管道编排

工作流引擎（Apache Airflow、Prefect）、任务依赖管理、重试与失败处理、调度策略。

编排工作流

实时数据处理

流处理框架（Apache Kafka、Flink、Spark Streaming）、事件时间与处理时间、窗口操作、状态管理。

实时流处理

批量数据处理

批处理框架（Apache Spark、Hive、Presto）、ETL vs ELT、分区与分桶、数据倾斜处理。

数据湖与数据仓库

数据湖定义与架构（Delta Lake、Apache Iceberg、Apache Hudi）、数据仓库（ClickHouse、Doris）、湖仓一体。

数据湖仓库

全文搜索与检索

Elasticsearch 核心概念（倒排索引、分词、映射）、搜索语法（Query DSL）、聚合分析、集群管理。

图数据处理

图数据库（Neo4j、JanusGraph）、图模型（属性图、RDF）、图查询语言（Cypher、Gremlin）、图分析算法。

文档数据库（MongoDB）核心概念（文档、集合、索引）、CRUD操作、聚合管道、分片集群。

多媒体数据管理

图像存储与处理（OpenCV、Pillow）、视频转码与切片（FFmpeg）、音频特征提取、CDN分发。

多媒体音视频

日志与事件管理

日志采集（Filebeat、Fluentd）、日志存储（ELK Stack）、日志分析、事件驱动架构。

数据集成与互操作

数据集成模式（ETL、ELT、CDC）、数据虚拟化（Presto、Dremio）、API网关与数据服务。

集成互操作

数据治理框架

治理组织与角色、数据标准制定、数据质量度量、治理工具选型（Collibra、Alation）。

数据备份与恢复

备份策略（全量、增量、差异）、备份工具（Velero、Barman）、灾难恢复计划、RPO/RTO。

迁移策略（停机迁移、双写迁移）、迁移工具（AWS DMS、Debezium）、迁移验证与回滚。

数据可视化与报表

可视化工具（Grafana、Superset）、图表类型选择、仪表盘设计、数据故事化。

可视化报表

数据API设计

RESTful API 设计原则、GraphQL 入门、API 版本管理、API 文档（Swagger/OpenAPI）。

数据合规与审计

审计日志、数据访问审计、合规报告生成、数据主权与跨境传输。

AI/ML 数据管道

特征存储（Feast）、训练数据管理、模型评估数据、MLflow 数据追踪。

未来趋势与总结

数据网格（Data Mesh）、数据编织（Data Fabric）、AI驱动的数据管理、课程总结与最佳实践。