📚 课程目录第1章课程导入

1. 课程导入

欢迎进入《Trino金融湖仓查询与联邦分析实战》课程。在金融行业的数据架构演进中，湖仓一体与联邦分析已成为支撑风控、反欺诈、监管报送、客户画像等高价值场景的关键能力。Trino作为一款高性能、分布式的SQL查询引擎，凭借其“不搬数据、直接查询”的联邦特性，正在成为金融数据平台中连接数据湖、数据仓库与外部数据源的核心枢纽。本章将帮助您建立对Trino的整体认知，明确学习路径，并完成实战环境的准备。

一、核心原理：Trino为何适合金融湖仓与联邦分析

Trino的核心设计理念是“计算与存储分离”与“联邦查询”。它不存储数据，而是通过连接器（Connector）将查询下推到各类数据源，并在内存中进行分布式并行计算。对于金融场景而言，这意味着：

统一SQL入口： 用同一套SQL语法查询Hive、Iceberg、Hudi、MySQL、Kafka、Elasticsearch等多种数据源，避免数据重复搬迁。
湖仓直查： 直接读取数据湖中的开放表格式（如Iceberg、Delta Lake），支持ACID事务与时间旅行，满足金融数据审计与回溯需求。
高性能MPP架构： 基于内存的流水线执行与动态过滤，在TB级数据上仍能保持亚秒级到秒级响应。
弹性扩展： 计算节点可独立扩缩容，适应金融业务潮汐性的查询负载。

下图展示了Trino在金融湖仓与联邦分析中的典型定位：它位于数据消费层与数据存储层之间，向上对接BI、Ad-hoc查询与API服务，向下通过连接器联邦访问各类数据源。

二、学习目标与整体课程框架

本课程共30章，围绕“金融湖仓查询”与“联邦分析”两条主线展开。完成本课程后，您将能够：

理解Trino的架构原理与执行模型，掌握Coordinator与Worker的协作机制。
独立部署与配置Trino集群，并针对金融场景进行性能调优。
使用Trino连接Iceberg、Hive、MySQL、Kafka等数据源，构建联邦查询。
编写高效的SQL，利用分区裁剪、动态过滤、下推优化提升查询性能。
掌握Trino在风控、反欺诈、监管报送等金融场景中的实战应用。
具备排查常见故障与性能瓶颈的能力，保障生产环境稳定运行。

课程整体分为六个模块：基础入门、架构与部署、连接器与联邦查询、SQL优化与性能调优、金融场景实战、运维与排障。本章作为开篇，重点解决“为什么学”与“怎么准备”两个问题。

三、实战环境准备

为了跟随后续章节的实操，建议提前准备以下环境。您可以选择本地Docker环境或云上虚拟机，推荐配置不低于4核16GB内存。

组件	版本建议	用途	备注
Docker / Docker Compose	24.x 及以上	快速搭建Trino集群与依赖服务	推荐使用Compose编排
Trino	450+	核心查询引擎	单节点或集群模式
Hive Metastore	3.x	元数据管理	配合Iceberg使用
MinIO	最新版	对象存储模拟S3	替代HDFS
MySQL	8.0	关系型数据源与元数据存储	联邦查询示例
Kafka	3.x	流数据源	实时联邦查询

以下是一个最小化的Docker Compose片段，用于启动Trino与MySQL：

version: '3.8'
services:
  trino:
    image: trinodb/trino:450
    ports:
      - "8080:8080"
    volumes:
      - ./etc/catalog:/etc/trino/catalog
    environment:
      - TRINO_ENV=production
  mysql:
    image: mysql:8.0
    ports:
      - "3306:3306"
    environment:
      MYSQL_ROOT_PASSWORD: root123
      MYSQL_DATABASE: finance_demo

启动后，访问 http://localhost:8080 即可打开Trino Web UI，使用默认用户admin（无密码）登录。您也可以通过Trino CLI连接：

docker exec -it trino trino --catalog mysql --schema finance_demo
SHOW TABLES;
SELECT * FROM customer LIMIT 10;

提示： 金融生产环境中，Trino通常启用HTTPS、LDAP/Kerberos认证与细粒度访问控制。本课程为教学方便，默认使用简化配置，后续章节会专门讲解安全加固。

四、常见误区与复盘

初学者在接触Trino时容易陷入以下误区，提前了解可以少走弯路：

误区一：把Trino当数据库用。 Trino不存储数据，也不支持INSERT INTO ... VALUES的高频写入。它定位是查询引擎，写入应通过Iceberg等表格式的MERGE或批量导入完成。
误区二：认为联邦查询一定慢。 联邦查询的性能取决于下推能力。如果连接器支持谓词下推与投影下推，Trino只拉取必要数据，性能可以接近本地查询。反之，全表扫描再过滤才会慢。
误区三：忽略内存管理。 Trino对内存敏感，大表JOIN或GROUP BY容易触发OOM。需要合理设置query.max-memory-per-node与query.max-total-memory-per-node。
误区四：不关注数据分区。 金融数据量大，若Iceberg表未按日期分区，查询会扫描全量文件。分区裁剪是性能优化的第一手段。

注意： 在生产环境部署Trino前，务必进行容量规划与压测。金融业务对查询延迟与稳定性要求极高，建议从只读副本或非核心业务开始试点，逐步迁移。

本章作为课程导入，帮助您建立了Trino在金融湖仓与联邦分析中的整体定位，明确了学习目标与课程框架，并完成了实战环境的初步准备。接下来，我们将深入Trino的架构原理，揭开其高性能查询背后的执行机制。