VIP11

本课程属于：017-Kafka、CDC与数据集成工程 后端、数据与云原生工程 · 共 11 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Kafka数据平台Connect连接器

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Kafka Connect 概述

什么是Kafka Connect、为什么需要Kafka Connect、Kafka Connect的应用场景。

Kafka Connect 架构

Worker、Connector、Task、Converter、Transforms 核心组件详解。

Kafka Connect 单机模式

单机模式配置、启动与停止、日志查看、常见问题排查。

Kafka Connect 分布式模式

分布式模式配置、集群部署、Rebalance机制、故障转移。

集群高可用

Kafka Connect REST API

REST API概览、创建/查看/暂停/恢复/删除Connector、API调试技巧。

Source Connector 原理

Source Connector工作流程、Offset管理、Exactly-Once语义。

Sink Connector 原理

Sink Connector工作流程、幂等写入、错误处理与重试策略。

FileStream Connector 实战

FileStream Source和Sink的配置与使用、文件监控场景。

JDBC Source Connector

JDBC Source配置、增量抽取模式、时间戳与自增主键模式。

数据库增量

JDBC Sink Connector

JDBC Sink配置、表自动创建、主键冲突处理、批量写入优化。

数据库写入

Elasticsearch Sink Connector

ES Sink配置、索引映射、数据格式转换、性能调优。

MongoDB Connector

MongoDB Source与Sink配置、Change Streams、文档模型适配。

HDFS Sink Connector

HDFS Sink配置、文件格式选择、分区策略、滚动关闭策略。

S3 Sink Connector

S3 Sink配置、存储格式、压缩策略、生命周期管理。

Confluent Hub 与插件管理

Confluent Hub使用、插件安装路径、自定义插件加载。

Connector 配置详解

name、connector.class、tasks.max、key.converter、value.converter等核心配置。

Converter 与 Serialization

Avro Converter、JSON Converter、String Converter、Schema Registry集成。

序列化Schema

Single Message Transform (SMT)

SMT概念、常用SMT（Cast、Rename、Filter、Mask等）、SMT链式调用。

自定义 SMT 开发

SMT接口实现、配置定义、打包部署、单元测试。

开发自定义

Dead Letter Queue (DLQ)

DLQ概念、配置启用、错误消息格式、DLQ消费与重处理。

错误处理DLQ

Offset 管理机制

Offset存储、Consumer Group Offset、Connect Offset Topic、手动重置Offset。

Connector 监控与指标

JMX指标、Prometheus集成、Grafana看板、关键指标解读。

Connector 日志与调试

日志级别调整、日志格式、调试技巧、常见错误码解析。

Connector 性能调优

tasks.max调整、batch.size、linger.ms、吞吐量与延迟平衡。

Connector 安全配置

SSL/TLS加密、SASL认证、ACL权限控制、加密配置最佳实践。

多数据中心部署

跨DC复制、延迟优化、网络分区处理、灾备方案。

Connector 版本升级

兼容性检查、滚动升级策略、回滚方案、数据一致性保障。

自定义 Connector 开发（Source）

SourceConnector接口实现、SourceTask实现、配置验证。

自定义 Connector 开发（Sink）

SinkConnector接口实现、SinkTask实现、Exactly-Once保证。

Kafka Connect 最佳实践

架构设计原则、运维规范、容量规划、常见坑与避坑指南。

最佳实践总结