AI 时代,实时入湖正在告别 ETL:从 Kafka 到 Iceberg 的架构减法

阿里妹导读


文章内容基于作者个人技术实践与独立思考,旨在分享经验,仅代表个人观点。

摘要

在 AI 驱动的数据应用场景中,企业越来越需要一套同时支撑实时消费、历史沉淀与多引擎复用的数据底座。Kafka、Iceberg 开放表格式与对象存储的组合,正成为流数据入湖的重要方向。但传统依赖 Flink、Spark 等外部 ETL 作业的方式,也带来了链路长、系统边界多、运维复杂等问题。本文围绕“零 ETL”这一趋势,讨论流数据入湖为什么需要做架构减法,并结合 Kafka × Table Bucket 的实践,分析一种将通用入湖能力前移到消息与表存储链路中的方案,如何在降低复杂度的同时,兼顾实时性、一致性、Schema 演进、CDC 语义与开放生态兼容。

一、AI 时代,实时入湖为什么要做架构减法

实时与历史的双重诉求,

正在重塑数据底座

过去几年,企业数据体系的演进路径已逐渐清晰:从传统离线数仓走向实时数仓,再从“流批并立”走向统一的数据湖与开放表格式。进入 AI 时代后,这一趋势进一步加快——越来越多的数据场景同时提出实时处理与历史分析的双重要求。

无论是模型训练、特征工程、在线推理,还是经营分析、用户洞察、风控审计,企业都需要一套既能承接实时数据、又能沉淀长期数据资产的数据底座。前者强调低延迟与持续处理能力,后者强调低成本、可治理与多引擎复用能力。当两类能力被要求在同一份数据上同时实现,数据就必须在更短的链路上完成接入、沉淀和复用。

在这一背景下,Kafka + Iceberg(开放表格式)+ 对象存储已成为一类常见的架构组合:Kafka 承接持续变化的数据流,Iceberg 将数据组织为可治理、可查询、可演进的表,对象存储承载海量历史数据并提供低成本、可扩展的存储底座。自 2024 年 AWS 推出 S3 Tables 之后,围绕“流式接入 + 开放表格式 + 对象存储”的架构方向也变得更加明确。

图 1:流式接入、开放表格式与对象存储正在形成新的数据底座组合

实时入湖演进中的几个趋势

随着 Lakehouse 架构成为大数据领域的主流范式,将流式数据实时或近实时地写入开放表格式(Iceberg / Delta Lake / Hudi)已成为刚需。Kafka 作为主流的流数据总线,其与数据湖的集成能力直接影响架构选型。从近两年的产品演进和用户需求看,实时入湖领域大致呈现出四个趋势:

  • 开放格式优先:Iceberg 凭借其开放的元数据标准、多引擎兼容及良好的 Schema 演进能力,在跨云数据湖与开放生态场景中的采用率持续提升,已成为开放表格式中的核心选项之一。

  • 零 ETL 诉求:越来越多的用户倾向于减少数据搬运环节,希望消息系统更直接地将数据持久化为开放表格式,以降低架构复杂度与延迟。

  • 存算分离深化:无论是 Kafka 存储层还是数据湖存储层,存算分离已成为降本增效的核心架构演进方向。

  • Serverless 化:流处理与消息服务的 Serverless 化降低了运维门槛,按需计费模式成为不少中小企业与新业务的首选。

Kafka 入湖的三大阵营

从竞争格局来看,当前 Kafka 入湖市场可划分为三大阵营,技术路径与商业取向差异明显:

阵营

代表产品

核心思路

价值

限制

原生集成

Confluent Tableflow、Redpanda Iceberg Topics

Broker 层直接将 Topic 数据物化为 Iceberg 表

架构简洁、零 ETL、延迟低

Vendor lock-in 风险高,需额外支付存储与管理费用

Connector / ETL

AWS MSK Connect + Iceberg Sink、开源 Kafka Connect Iceberg Sink

通过 Connector 从 Kafka 消费数据并写入 Iceberg

灵活可控、开源生态丰富

运维复杂度高,延迟相对偏高,exactly-once 语义保障困难

生态平台

Databricks、Snowflake

借助平台自身集成能力将 Kafka 数据摄入 Lakehouse

与分析引擎深度集成

通常锁定在特定格式(如 Delta Lake)或特定平台,开放度不足

从架构理念看,原生集成阵营更贴近“零 ETL”的思路——将通用入湖能力前移到更靠近消息主链路的位置。但这也对开放性与中立性提出了更高要求:既要像 Connector 阵营一样兼容开放生态,又要避免像生态平台阵营那样被锁定到单一格式或单一引擎。这也是后文 Kafka × Table Bucket 这条路径重点要回答的问题。

真正困难的,不是“能写”,

而是“持续稳定地写”

事实上,真正困难的并不在于“Kafka 能否将数据写入表”,而在于“能否稳定、高效、低成本地完成写入”。

一方面,实时数据天然连续且碎片化,如果写入策略不合理,就容易带来小文件、分区失衡、元数据膨胀、写放大与 Compaction 压力;另一方面,上游字段变化、类型变更与 CDC 语义,又会与表格式对 Schema、一致性与事务的要求发生碰撞——Schema 如何演进、Update / Delete 如何表达、写入失败后如何恢复,都是生产环境中的关键问题。

从落地价值看,这类方案之所以受到持续关注,在于它同时解决了三类现实诉求:通过云原生架构降低整体建设和运维成本;让实时接入与长期分析更接近“流湖一体”的协同方式;并在保留用户自有对象存储数据主权的前提下,借助托管化能力降低小文件治理、Schema 演进与链路维护的负担。

这也意味着,流数据入湖的核心命题正在改变:不再是“要不要采用这套技术组合”,而是“能否通过架构减法收敛链路复杂度,把通用入湖能力尽量前移为平台能力”。从当下的演进方向看,答案越来越清晰——实时入湖,正在告别外部 ETL。

二、从外部 ETL 到零 ETL:

入湖链路到底减掉了什么

如果说第一部分回答的是“为什么要做架构减法”,那么这一部分回答的就是:实时入湖链路中,真正被减掉的是什么。

传统的流数据入湖路径通常是:Kafka → Flink / Spark Streaming → 开放表 → 对象存储。这条链路已经相当成熟,在需要复杂清洗、实时聚合、状态计算与多流关联的场景中,依然是有效方案。

问题在于,并不是所有场景都需要一条完整的外部计算链路。很多时候,企业真正要解决的,是把 Kafka 中持续到来的数据稳定、连续地写成可查询、可管理的表。如果只是为了完成这一步,仍维护 Flink 或 Spark Streaming 作业,就意味着额外承担三类系统复杂度:

  • 系统边界增加:数据从 Kafka 流出,再由外部任务消费、转换、写入与提交,中间至少跨越一次独立运行时和一套独立调度体系。链路越长,故障面越大,恢复路径也越复杂。

  • 通用能力重复实现:消息解码、Schema 映射、位点管理、事务提交、小文件控制、失败恢复,本质上都是实时入湖中的共性工程问题,却常常需要在每条 ETL 作业中分别实现与维护。

  • 平台成本持续上升:为支撑这些入湖任务,企业还要维护额外的流计算集群、监控体系、发布流程与排障机制。随着链路数量增加,这部分成本会不断累积。

图 2:面向流数据入湖的零 ETL 一体化方案示意

因此,“零 ETL”真正减掉的,并不是数据处理本身,而是那些原本需要依赖外部作业反复承担的通用入湖能力:

  • 一层额外的数据搬运链路;

  • 一批重复实现的工程逻辑;

  • 一部分与业务价值无关的运维复杂度。

图 3:传统外部 ETL 链路与内建入湖方案的能力差异

从这个角度看,“零 ETL”更像是一种架构思路的变化:不是继续通过外部系统拼装链路,而是把通用入湖能力尽量收敛为基础设施的内建能力。对用户来说,这类能力更接近“零代码、配置即生效”的交付方式,而不再以独立 ETL 任务的形式存在。

三、Kafka × Table Bucket 的零 ETL 

入湖是怎么工作的

如果说“零 ETL”的核心是把通用入湖能力收敛为平台能力,那么 Kafka × Table Bucket 的关键,就是让“从消息到表”的路径更短、更稳。

这里可以把 Table Bucket 理解为对象存储上的表承载能力。它不是简单地把文件写入对象存储,而是以表的方式组织、管理与提供数据,使数据既保留对象存储低成本、可扩展的特性,又具备面向计算与治理的结构化能力。

从逻辑上看,这类零 ETL 入湖路径通常可以分为三层:

层级

职责

协议接入层

兼容标准 Kafka Producer / Consumer 协议

转换处理层

完成格式转换、Schema 感知、CDC 解析、分区路由

表存储层

提供表写入、元数据管理、对象存储落盘与后台优化

与传统“Kafka → 外部 ETL → 表”的三段式架构相比,最大的变化在于:原本依赖外部作业完成的一部分通用入湖逻辑,被前移到了更靠近 Kafka 的链路中。

更进一步,转换引擎和表写入能力可以以内嵌方式运行在更靠近 Broker 的执行链路中,减少网络往返、独立调度与额外 ETL 集群带来的复杂度。在部分实现中,数据从 Kafka 分区到 Iceberg 表的转换可以在同一进程内完成,同步任务也可以与 Broker 生命周期绑定,使资源调度与故障恢复收敛在同一体系中。

图 4:Kafka × Table Bucket 的零 ETL 入湖整体架构

核心数据流:端到端入湖路径

一条消息从写入 Kafka,到能被下游计算引擎查询到,中间会经过三个关键阶段。

第一阶段:记录转换

消息进入 Kafka 后,首先会被转换为适合表写入的结构化对象。这个过程通常由 RecordProcessor 一类组件完成,包括 Key / Value 反序列化、Transform 链处理与记录组装。它支持 String、Avro Registry、Protobuf 等多种 Converter,也可以通过 Flatten、Debezium 等转换链对嵌套结构进行展开或对 CDC 事件进行解包。最终,Key、Value、Headers 与 topic、partition、offset、timestamp 等元信息,会被整合为完整的结构化记录。

第二阶段:Schema 感知与演进

在真正写入表之前,系统需要比较当前记录的 Schema 与目标表的 Schema。如果发现兼容性变更——例如新增可选字段、必填字段变为可选、类型向上提升(int → long、float → double)——可以先刷新当前批次,再应用新 Schema 并继续写入。这样一来,常见的 Schema 变化就不再需要完全依赖人工干预。

第三阶段:Iceberg 写入与事务提交

完成转换与 Schema 处理后,数据会根据目标表与分区策略写入对象存储上的列式文件:

  • Append 模式:使用 PartitionedWriter/UnpartitionedWriter 直接追加写入;

  • Upsert 模式:同时生成 DataFile(数据文件)和 DeleteFile(删…

— 以上为试看内容(约 40%),开通会员后阅读全文 —