AI 时代,实时入湖正在告别 ETL:从 Kafka 到 Iceberg 的架构减法
阿里妹导读
文章内容基于作者个人技术实践与独立思考,旨在分享经验,仅代表个人观点。
摘要
在 AI 驱动的数据应用场景中,企业越来越需要一套同时支撑实时消费、历史沉淀与多引擎复用的数据底座。Kafka、Iceberg 开放表格式与对象存储的组合,正成为流数据入湖的重要方向。但传统依赖 Flink、Spark 等外部 ETL 作业的方式,也带来了链路长、系统边界多、运维复杂等问题。本文围绕“零 ETL”这一趋势,讨论流数据入湖为什么需要做架构减法,并结合 Kafka × Table Bucket 的实践,分析一种将通用入湖能力前移到消息与表存储链路中的方案,如何在降低复杂度的同时,兼顾实时性、一致性、Schema 演进、CDC 语义与开放生态兼容。
一、AI 时代,实时入湖为什么要做架构减法
实时与历史的双重诉求,
正在重塑数据底座
过去几年,企业数据体系的演进路径已逐渐清晰:从传统离线数仓走向实时数仓,再从“流批并立”走向统一的数据湖与开放表格式。进入 AI 时代后,这一趋势进一步加快——越来越多的数据场景同时提出实时处理与历史分析的双重要求。
无论是模型训练、特征工程、在线推理,还是经营分析、用户洞察、风控审计,企业都需要一套既能承接实时数据、又能沉淀长期数据资产的数据底座。前者强调低延迟与持续处理能力,后者强调低成本、可治理与多引擎复用能力。当两类能力被要求在同一份数据上同时实现,数据就必须在更短的链路上完成接入、沉淀和复用。
在这一背景下,Kafka + Iceberg(开放表格式)+ 对象存储已成为一类常见的架构组合:Kafka 承接持续变化的数据流,Iceberg 将数据组织为可治理、可查询、可演进的表,对象存储承载海量历史数据并提供低成本、可扩展的存储底座。自 2024 年 AWS 推出 S3 Tables 之后,围绕“流式接入 + 开放表格式 + 对象存储”的架构方向也变得更加明确。
图 1:流式接入、开放表格式与对象存储正在形成新的数据底座组合
实时入湖演进中的几个趋势
随着 Lakehouse 架构成为大数据领域的主流范式,将流式数据实时或近实时地写入开放表格式(Iceberg / Delta Lake / Hudi)已成为刚需。Kafka 作为主流的流数据总线,其与数据湖的集成能力直接影响架构选型。从近两年的产品演进和用户需求看,实时入湖领域大致呈现出四个趋势:
开放格式优先:Iceberg 凭借其开放的元数据标准、多引擎兼容及良好的 Schema 演进能力,在跨云数据湖与开放生态场景中的采用率持续提升,已成为开放表格式中的核心选项之一。
零 ETL 诉求:越来越多的用户倾向于减少数据搬运环节,希望消息系统更直接地将数据持久化为开放表格式,以降低架构复杂度与延迟。
存算分离深化:无论是 Kafka 存储层还是数据湖存储层,存算分离已成为降本增效的核心架构演进方向。
Serverless 化:流处理与消息服务的 Serverless 化降低了运维门槛,按需计费模式成为不少中小企业与新业务的首选。
Kafka 入湖的三大阵营
从竞争格局来看,当前 Kafka 入湖市场可划分为三大阵营,技术路径与商业取向差异明显:
阵营 | 代表产品 | 核心思路 | 价值 | 限制 |
原生集成 | Confluent Tableflow、Redpanda Iceberg Topics | Broker 层直接将 Topic 数据物化为 Iceberg 表 | 架构简洁、零 ETL、延迟低 | Vendor lock-in 风险高,需额外支付存储与管理费用 |
Connector / ETL | AWS MSK Connect + Iceberg Sink、开源 Kafka Connect Iceberg Sink | 通过 Connector 从 Kafka 消费数据并写入 Iceberg | 灵活可控、开源生态丰富 | 运维复杂度高,延迟相对偏高,exactly-once 语义保障困难 |
生态平台 | Databricks、Snowflake | 借助平台自身集成能力将 Kafka 数据摄入 Lakehouse | 与分析引擎深度集成 | 通常锁定在特定格式(如 Delta Lake)或特定平台,开放度不足 |
真正困难的,不是“能写”,
而是“持续稳定地写”
事实上,真正困难的并不在于“Kafka 能否将数据写入表”,而在于“能否稳定、高效、低成本地完成写入”。
一方面,实时数据天然连续且碎片化,如果写入策略不合理,就容易带来小文件、分区失衡、元数据膨胀、写放大与 Compaction 压力;另一方面,上游字段变化、类型变更与 CDC 语义,又会与表格式对 Schema、一致性与事务的要求发生碰撞——Schema 如何演进、Update / Delete 如何表达、写入失败后如何恢复,都是生产环境中的关键问题。
从落地价值看,这类方案之所以受到持续关注,在于它同时解决了三类现实诉求:通过云原生架构降低整体建设和运维成本;让实时接入与长期分析更接近“流湖一体”的协同方式;并在保留用户自有对象存储数据主权的前提下,借助托管化能力降低小文件治理、Schema 演进与链路维护的负担。
这也意味着,流数据入湖的核心命题正在改变:不再是“要不要采用这套技术组合”,而是“能否通过架构减法收敛链路复杂度,把通用入湖能力尽量前移为平台能力”。从当下的演进方向看,答案越来越清晰——实时入湖,正在告别外部 ETL。
二、从外部 ETL 到零 ETL:
入湖链路到底减掉了什么
如果说第一部分回答的是“为什么要做架构减法”,那么这一部分回答的就是:实时入湖链路中,真正被减掉的是什么。
传统的流数据入湖路径通常是:Kafka → Flink / Spark Streaming → 开放表 → 对象存储。这条链路已经相当成熟,在需要复杂清洗、实时聚合、状态计算与多流关联的场景中,依然是有效方案。
问题在于,并不是所有场景都需要一条完整的外部计算链路。很多时候,企业真正要解决的,是把 Kafka 中持续到来的数据稳定、连续地写成可查询、可管理的表。如果只是为了完成这一步,仍维护 Flink 或 Spark Streaming 作业,就意味着额外承担三类系统复杂度:
系统边界增加:数据从 Kafka 流出,再由外部任务消费、转换、写入与提交,中间至少跨越一次独立运行时和一套独立调度体系。链路越长,故障面越大,恢复路径也越复杂。
通用能力重复实现:消息解码、Schema 映射、位点管理、事务提交、小文件控制、失败恢复,本质上都是实时入湖中的共性工程问题,却常常需要在每条 ETL 作业中分别实现与维护。
平台成本持续上升:为支撑这些入湖任务,企业还要维护额外的流计算集群、监控体系、发布流程与排障机制。随着链路数量增加,这部分成本会不断累积。
图 2:面向流数据入湖的零 ETL 一体化方案示意
因此,“零 ETL”真正减掉的,并不是数据处理本身,而是那些原本需要依赖外部作业反复承担的通用入湖能力:
一层额外的数据搬运链路;
一批重复实现的工程逻辑;
一部分与业务价值无关的运维复杂度。
图 3:传统外部 ETL 链路与内建入湖方案的能力差异
从这个角度看,“零 ETL”更像是一种架构思路的变化:不是继续通过外部系统拼装链路,而是把通用入湖能力尽量收敛为基础设施的内建能力。对用户来说,这类能力更接近“零代码、配置即生效”的交付方式,而不再以独立 ETL 任务的形式存在。
三、Kafka × Table Bucket 的零 ETL
入湖是怎么工作的
如果说“零 ETL”的核心是把通用入湖能力收敛为平台能力,那么 Kafka × Table Bucket 的关键,就是让“从消息到表”的路径更短、更稳。
这里可以把 Table Bucket 理解为对象存储上的表承载能力。它不是简单地把文件写入对象存储,而是以表的方式组织、管理与提供数据,使数据既保留对象存储低成本、可扩展的特性,又具备面向计算与治理的结构化能力。
从逻辑上看,这类零 ETL 入湖路径通常可以分为三层:
层级 | 职责 |
协议接入层 | 兼容标准 Kafka Producer / Consumer 协议 |
转换处理层 | 完成格式转换、Schema 感知、CDC 解析、分区路由 |
表存储层 | 提供表写入、元数据管理、对象存储落盘与后台优化 |
与传统“Kafka → 外部 ETL → 表”的三段式架构相比,最大的变化在于:原本依赖外部作业完成的一部分通用入湖逻辑,被前移到了更靠近 Kafka 的链路中。
更进一步,转换引擎和表写入能力可以以内嵌方式运行在更靠近 Broker 的执行链路中,减少网络往返、独立调度与额外 ETL 集群带来的复杂度。在部分实现中,数据从 Kafka 分区到 Iceberg 表的转换可以在同一进程内完成,同步任务也可以与 Broker 生命周期绑定,使资源调度与故障恢复收敛在同一体系中。
图 4:Kafka × Table Bucket 的零 ETL 入湖整体架构
核心数据流:端到端入湖路径
一条消息从写入 Kafka,到能被下游计算引擎查询到,中间会经过三个关键阶段。
第一阶段:记录转换
消息进入 Kafka 后,首先会被转换为适合表写入的结构化对象。这个过程通常由 RecordProcessor 一类组件完成,包括 Key / Value 反序列化、Transform 链处理与记录组装。它支持 String、Avro Registry、Protobuf 等多种 Converter,也可以通过 Flatten、Debezium 等转换链对嵌套结构进行展开或对 CDC 事件进行解包。最终,Key、Value、Headers 与 topic、partition、offset、timestamp 等元信息,会被整合为完整的结构化记录。
第二阶段:Schema 感知与演进
在真正写入表之前,系统需要比较当前记录的 Schema 与目标表的 Schema。如果发现兼容性变更——例如新增可选字段、必填字段变为可选、类型向上提升(int → long、float → double)——可以先刷新当前批次,再应用新 Schema 并继续写入。这样一来,常见的 Schema 变化就不再需要完全依赖人工干预。
第三阶段:Iceberg 写入与事务提交
完成转换与 Schema 处理后,数据会根据目标表与分区策略写入对象存储上的列式文件:
Append 模式:使用 PartitionedWriter/UnpartitionedWriter 直接追加写入;
Upsert 模式:同时生成 DataFile(数据文件)和 DeleteFile(删…