1. 课程导入与全景认知

在多数使用 Elasticsearch 的组织里,数据往往不是“没有”,而是“散落在不同团队、不同集群、不同权限边界里”。日志团队有日志索引,安全团队有告警索引,业务团队有订单与用户画像索引,数据平台团队则维护着跨系统的汇总层。真正影响效率的,通常不是单点查询性能,而是数据能不能被正确地共享出去,并且让别的团队以可治理、可追溯、可控制的方式使用。这正是本课程要解决的核心问题。

所谓 Elastic 数据共享,指的是在 Elasticsearch 及其生态(Kibana、Elasticsearch SQL、跨集群搜索 CCS、跨集群复制 CCR、可搜索快照、快照与恢复、索引生命周期管理等)之上,把一份数据从“生产者”安全、可控地交付给“消费者”的过程。跨团队协作则是围绕这份数据形成的角色分工、权限约定、接口规范与责任边界。二者合在一起,构成一条从数据产生、加工、发布、订阅、消费到回收的完整链路。

核心判断:数据共享不是“把索引权限开大一点”,而是同时解决四件事——可见性(谁能看到哪些字段)、可达性(通过什么方式访问)、一致性(口径与时效是否统一)、可治理性(谁负责、如何审计、如何下线)。

为了建立全景认知,先看一张整体关系图。它把生产者、共享通道、消费者与治理面放在同一张图上,帮助你在后续章节中始终知道“当前学的是链路中的哪一段”。

Elastic 数据共享与跨团队协作全景 生产者 → 共享通道 → 消费者,治理面贯穿全链路 数据生产者 日志 / 指标 / 追踪 应用与基础设施团队 业务主数据 / 画像 业务与数据平台团队 安全告警 / 审计 安全与合规团队 索引模板 / ILM 策略 平台工程团队 共享通道(技术手段) 跨集群搜索 CCS(远程只读) 适合:查询联邦、口径统一 跨集群复制 CCR(主动复制) 适合:灾备、就近读取 可搜索快照 / 快照恢复 适合:冷数据、低成本共享 别名 / 数据流 / 视图 适合:稳定接口、屏蔽底层变更 API Key / 角色 / 文档级安全 适合:最小权限、字段脱敏 数据消费者 Kibana 仪表盘 运营 / 管理层 应用查询接口 业务系统 / 微服务 告警与自动化 SRE / 安全运营 数据科学 / 分析 建模与探索 治理面:贯穿全链路的协作约定 数据契约(字段与口径) · 权限与最小可见 · 生命周期与保留 · 审计与追溯 · 责任人与下线机制 共享通道决定“怎么给”,治理面决定“给得对不对、能不能长期给”

从图中可以看到,共享通道只是中间一段。真正决定协作能否持续的,是上下两端的约定:生产者要明确“我发布的是什么、字段含义是什么、多久更新、保留多久”,消费者要明确“我用它做什么、需要哪些字段、能接受多大延迟”。当这些约定缺失时,最常见的现象是:索引能查到,但没人敢用;或者用了之后口径对不上,最终又回到“各自建一份数据”的老路。

核心价值:为什么值得专门学

第一,降低重复建设成本。同一份订单数据,如果每个团队都从源头重新采集、清洗、建模,不仅浪费存储与计算,还会产生多个互相矛盾的口径。通过共享通道发布一份“权威数据源”,消费者按需订阅,可以显著减少重复链路。

第二,提升跨团队响应速度。当共享接口稳定(例如通过别名或数据流暴露),生产者可以在底层滚动重建索引、调整分片,而消费者查询语句不变。这种“接口与实现解耦”是跨团队协作能长期运转的关键。

第三,把安全与合规前置。跨团队共享天然涉及权限边界。通过角色、API Key、文档级安全与字段级安全,可以做到“同一份索引,不同团队看到不同字段”。例如安全团队可见完整 IP 与用户标识,业务分析团队只能看到脱敏后的地区与设备类型。

第四,支撑灾备与就近访问。CCR 可以把关键索引复制到另一个集群,既用于故障切换,也用于让异地团队就近读取,降低跨地域查询延迟。

典型场景与选型直觉

下面这张对照表给出常见场景与优先考虑的共享方式,便于在实际讨论中快速形成共识。表中参数为示例性建议,具体数值需结合集群规模与 SLA 评估。

典型场景 优先方式 关键考量 示例参数
总部与分部都要查同一批日志 CCS 跨集群搜索 网络连通、远程集群只读、查询下推 远程集群 2 个,skip_unavailable=true
核心交易索引需要异地灾备 CCR 跨集群复制 复制延迟、主从写入隔离、故障切换演练 复制间隔 10s,保留 7 天
历史冷数据供分析团队低频查询 可搜索快照 对象存储成本、查询延迟可接受度 快照仓库 S3,保留 180 天
业务系统需要稳定查询接口 别名 / 数据流 + API Key 接口稳定性、最小权限、字段脱敏 别名 orders_read,仅 read 权限
同一索引不同团队可见字段不同 文档级 / 字段级安全 角色映射、脱敏规则、审计 角色 analyst,屏蔽 phone 字段

整体学习路径

本课程后续内容会沿着“认知 → 通道 → 治理 → 实战”的路径展开。你可以把它理解为一条从“知道有什么手段”到“能落地一套可维护共享方案”的进阶路线:

  • 基础认知层:理解共享与协作的边界、角色与责任,建立统一术语。
  • 通道能力层:掌握 CCS、CCR、可搜索快照、别名与数据流等具体手段的适用条件与限制。
  • 安全治理层:掌握角色、API Key、文档级与字段级安全、审计日志的配置思路。
  • 协作机制层:建立数据契约、发布流程、变更通知与下线机制。
  • 实战与排障层:通过跨集群查询、复制延迟、权限报错等真实问题,形成可复用的排查路径。
学习建议:每学完一种共享通道,都问自己三个问题——它解决的是“可见性、可达性、一致性、可治理性”中的哪一项?它的失败模式是什么?如果不用它,替代方案是什么?这三个问题能帮你把零散知识串成可决策的能力。

最后需要强调:Elastic 数据共享的难点很少在“能不能连上”,而在于“连上之后能不能长期稳定地被信任”。因此本课程不会只讲命令与配置,而会持续关注口径、权限、时效与责任边界。当你能够为一份数据说清楚“谁生产、谁消费、通过什么通道、受什么约束、出问题找谁”,你就已经具备了跨团队协作中最稀缺的能力。