基于 Ray 的蚂蚁数据构建引擎在搜推和 RAG 场景的实践

在蚂蚁集团,每一次精准的搜索推荐、每一轮流畅的智能对话背后,都离不开高质量数据的强力支撑。作为蚂蚁智能引擎部的核心技术底座之一,AI 数据构建引擎正持续为全站搜推广系统等关键产品注入“智能血液”。

本文整理自 Ray Forward 2025 上蚂蚁集团技术专家谢涛的分享,共包含三个部分:

  1. 基于 Ray 的海量数据构建提效

  2. 基于 Ray 的 RAG 算子体系建设

  3. 下一步展望

基于 Ray 的海量数据构建提效

1. 基于 Ray 的海量数据构建提效

我们基于 Ray 构建新一代索引构建引擎,支撑全站万亿级正排、倒排、KV、KKV 索引的高效生成。传统 C++ 引擎虽能力强(200 万行代码),但面临资源调度冲击、长尾场景低效与稳定性保障难题。通过引入 Ray 实现弹性调度与任务编排优化,显著提升系统可扩展性与运行成功率。

  • 资源弹性调度:应对海量任务对容器平台的压力

传统索引构建任务规模大、资源峰值高,易导致底层容器调度平台(如 Kubernetes)资源争抢或 OOM 失败。基于 Ray 的分布式计算框架支持动态资源申请与释放,实现任务级弹性扩缩容,降低对底层基础设施的冲击,提升容器交付成功率与系统稳定性。

  • 长尾场景提效:优化小批量任务执行效率   

在推广 Processor-Builder-Merge 三阶段流水线,实现多任务并发调度与资源复用,显著提升长尾场景的吞吐能力与响应速度业务中存在大量低频、小数据量的长尾索引构建任务,传统批处理模式效率低下。Ray 支持细粒度任务并行与异步执行,结合。

  • 稳定性与成功率保障:构建可观测与自愈机制  

为保障存量业务稳定运行,在 Ray 框架中集成任务重试、失败隔离、状态持久化等机制。通过实时监控任务执行链路、自动熔断异常节点,并结合历史成功率预测模型,实现故障预判与快速恢复,提升整体作业成功率至 99.9% 以上。

2. 基于 Ray 底座迁移

蚂蚁集团将原生 C++ 索引构建引擎迁移到 Ray 分布式框架,通过 Actor 化改造、资源弹性调度与原生能力集成,解决传统容器架构下的稳定性、性能与运维难题。基于 Ray 的 C++ API 与核心服务(如 Health Check、Fail Over),实现了任务级高可用与自动扩缩容,显著提升系统可靠性与资源利用率。

  • Ray C++ API 深度集成

为支持原有 200 万行 C++ 代码的平滑迁移,团队深度集成 Ray C++ API,实现对 Processor、Builder、Merger 等核心组件的高效调用。利用 Ray 原生异步通信与对象存储机制,保障高性能计算任务在分布式环境下的低延迟与高吞吐。

  • PBM Worker Actor 化改造

将原基于容器的 PBM Worker 改造为 Ray Actor,实现从“容器粒度”到“进程粒度”的演进。Actor 模型支持轻量级启动与状态持久化,大幅降低镜像拉取与初始化开销,提升任务冷启动效率,尤其适用于长尾场景下的快速响应需求。

  • 集群与作业模式重构 

基于 Ray Job 模型重构上层作业调度体系,引入 BS Job Manager 作为统一管控入口,通过 Rest API 动态创建 ProcessorActor、BuilderActor 和 MergerActor。结合 SyncTarget 机制实现跨阶段数据同步,提升作业编排灵活性与可观测性。

  • HC/FO 与资源调度优化

充分利用 Ray 原生的 Health Check(HC)与Fail Over(FO)能力,实现任务节点故障检测与自动恢复。结合 Resource Manager 与 Colocate Placement 策略,优化资源分配与数据本地性,提升整体计算效率与系统稳定性。

  • Auto Scale 实现弹性伸缩 

基于 Ray 的 Auto Scale 机制,系统可根据任务负载动态调整 Worker 数量,实现从几核到数千核的弹性扩展。配合 Disk Schedule 与 Object Store,有效应对海量索引构建带来的突发资源需求,显著提升资源利用率与任务成功率。

3. Ray 迁移收益

  1. 容器规格从 10+ 种减少至 2 种,资源弹性瓶颈消除。

  2. Actor 轻量化改造,异构 worker 按需加载资源,调度 overhead 减少,小表构建耗时减少 1 倍+。

  3. 构建成功率和稳定性提升。


历时半年,我们完成核心索引构建引擎向 Ray 的全面迁移,80% 存量任务已上线新底座。通过容器规格简化、Actor 轻量化与资源弹性调度优化,实现资源利用率提升、长尾任务加速 1 倍以上、成功率升至 99.9%,显著改善系统稳定性与运维体验。

  • 容器规格精简:消除资源弹性瓶颈

原架构依赖 10+ 种容器规格,导致调度复杂、资源碎片化严重。迁移后统一为大、小两类标准规格,结合 Ray 的动态资源分配能力,实现任务按需调度,大幅降低调度 overhead,有效缓解与底层 Kubernetes 平台的资源冲突问题。

  • Actor 轻量化改造:提升长尾任务效率

通过将 Worker 改造为轻量级 Actor,支持异构任务按需加载资源,减少冷启动开销。针对 100GB 以下的小表索引构建,P9…

— 以上为试看内容(约 40%),开通会员后阅读全文 —