导读 在电商行业竞争日益激烈的今天,内容已成为连接商家与消费者的核心纽带。然而,面对站内站外的全域流量争夺、商家内容生产能力的不足,以及消费者对个性化、高质量内容需求的持续升级,传统的内容生产方式已难以满足高效、多元化的业务需求。AI 技术的快速发展为这一挑战提供了全新的解决方案。本次分享将深入探讨 AI Agent 在电商内容场景中的演进与应用,从 1.0 时代的文本工业化生产,到 2.0 时代的多模态内容生成,再到 3.0 时代的内容质量优化与智能决策,揭示 AI 如何逐步推动电商内容从“有”到“优”的跨越,助力商家降本增效,提升用户体验与转化效率。
*本次分享将会围绕下面七个主题展开:*
-
业务背景
-
整体架构
-
1.0 时代落地挑战与解决思路
-
2.0 时代落地挑战与解决思路
-
3.0 时代落地挑战与解决思路
-
总结&未来规划
-
Q&A
分享嘉宾|李明玉 淘天集团 算法专家
编辑整理|孟立诗
内容校对|李瑶
出品社区|DataFun
01
业务背景
1.业务定位
淘工厂作为淘宝产业带白牌商品的核心阵地,采用 M2C 经营模式,直接连接产业带的源头工厂与消费者。
- 在商家端:我们通过半托管模式满足工厂的数字化需求,降低中小商家的数字化经营门槛。
- 在用户侧:我们依托严格的比价与品控标准,为用户提供优质源头商品,保障良好的购物体验。
2.电商内容生成挑战
当前电商行业竞争持续升级,内容形式已从传统货架电商的图文详情页展示,发展为种草、图文、短视频、直播等多元化形态。
作为连接工厂与消费者的重要桥梁,商品内容也面临着诸多挑战:
- 流量竞争加剧:内容从站内到站外的全域布局
在当前的电商生态中,流量的竞争早已突破单一平台的边界。淘工厂作为一家依托淘宝平台的店铺,不仅需要在站内获取流量,还需通过站外渠道实现全域流量触达,这对白牌商家的内容生产能力提出了更高要求。
- 商家侧的内容生产存在明显痛点:从内容生成提效到商品效率提升
淘工厂的商家以中小企业型为主,他们往往普遍缺乏专业运营团队和内容生产能力。传统手工内容生产方式虽然可以满足部分需求,但是面对需要高频上新,需要覆盖图文短视频等多种内容形态的要求时,由于缺乏精细化内容生产经验而显得力不从心。
- 消费者的内容需求持续升级:从信息获取到购买决策
消费者已不再满足于基础商品信息展示,而是追求更丰富、生动、可信的内容体验。他们注重真实性和可信度,更信赖用户评价与测评;视觉吸引力也成为关键,优质图片和短视频直接影响购买欲望;同时,个性化推荐需求增加,定制化内容能显著提升转化率。
针对当前场景,我们算法团队在构建 AI 内容生产 Agent 的过程中经历了三个阶段演进:
- 1.0阶段
运用 NLP 多模态理解技术,重点提升文本内容的大规模生产效率。通过引入 AI 文案 Agent,实现单日万级别不同类型文案的生产能力,并保持较高审核通过率,成功支撑运营团队管理数十个、多平台的人设账号。
- 2.0阶段
从文本扩展到图片和视频内容生产,核心解决商品图片/视频的生产成本高、同质化等问题。通过构建 AI 创意工厂,支持 AI 模特图、商品图及图像编辑等功能,显著降低商家制图成本,提升淘工厂商品发布时效。
- 3.0阶段
目标升级为提升内容质量,构建了内容理解与诊断 Agent。通过掌握品类间细粒度运营经验,实现从优质内容生产到投放优化的端到端闭环。在此托管式内容生产 Agent 模式下,内容点击率提升超过 10%。
02
整体架构
在上面图中是我们的技术整体架构框架,采用五层设计:
- 数据层:包含商品多模态信息、用户行为日志,以及竞品和商品相关指标数据。
- 基础大模型:包含了很多算法能力,集成文本/图像/视频生成模型、商品主体分割、要素检测识别等多模态理解模型。
- 知识注入:通过 SFT、LoRA 等训练方法,结合强化学习和对比学习,将多模态电商知识注入基础大模型。
- 任务编排部署:负责任务调度与流程编排。
- 业务场景应用:面向不同业务场景的具体应用实现。
后面我会从 1.0 时代开始详细介绍我们的一些技术实现细节和迭代演进过程。
03
1.0时代落地挑战与解决思路
1.文本内容工业化生产——应用场景
在 1.0 阶段,我们主要聚焦于文本内容的工业化生产,应用于以下三个场景:
- 站外引流:在“什么值得买”电商社区平台自动发布一些好物爆料和测评文章,帮助工程进行流量的拓展;然后通过内容引导用户跳转至淘工厂下单,提升商品曝光和 GMV。
- 小红书垂类账号孵化:运营数十个账号矩阵,覆盖不同目标人群,吸引不同的人群关注;然后通过内容安利引导用户关注店铺,扩大淘工厂在小红书平台的影响力。
- 淘宝逛逛视频文案:为平台视频内容生成配套文案素材。
2.文本内容工业化生产——落地挑战
在落地过程中,我们遇到了一些挑战:
- 挑战 1:平台差异化适配
生产的文本内容要分发到不同的内容平台、不同的社区,平台的人群画像差异是较大的,他们对内容的需求是不同的。所以,针对不同平台对不同内容的需求,需要我们额外的定制化。
例如“什么值得买”是以男性为主的平台,让用户更关注商品的一些真实的性价比和详细参数。
例如“小红书”是以女性为主的平台,倾向于生活化、情感共鸣的表达方式。
- 挑战 2:模型可靠性挑战
模型可能会出现幻觉。例如在生成商品测评类的文章的时候,需要保持商品的属性,这是非常至关重要,那么模型幻觉会破坏我们抽取商品属性。
- 挑战 3:多模态一致性挑战
不同模态之间的内容一致性问题,需要我们通过模型保证,这对模型的多模态理解与生成能力提出了更高要求。
3.文本内容工业化生产-解决思路
- 针对不同平台人群画像和内容需求的差异:
我们构建了一个知识库解决方案。该知识库包含各平台的核心人群特征、内容结构以及高频关键词,用以规范内容生产。同时,我们建立了用户反馈机制,通过实时获取点赞、转发、评论等互动数据,评估内容效果并持续优化,形成闭环反馈。
- 针对模型幻觉问题:
我们主要采取知识增强和后处理两种措施。在知识增强方面,我们预先抽取商品真实属性,提前抽取出来喂给模型,并采用PE和规则引擎对生成文案进行强约束,确保属性识别的准确性。此外,在生产流程中引入后处理校验环节,通过比对生成文本与商品属性的关联度,有效防止模型幻觉的产生。
此外,在跨平台文案生产过程中,我们构建了一个专门的文案生产平台。该平台支持运营和产品人员根据具体需求,选择不同场景、账号类型、人设定位以及内容案例等维度进行定制化设置。基于这些参数,我们的文案生成 Agent 会提供完整的解决方案,并自动推荐适配的文案供用户筛选。
4.技术方案
经过 1.0 阶段的文本内容生产 Agent 实践,我们验证了 AI 技术对运营效率的提升效果。传统模式下需要 4-5 名运营人员专职撰写文案,而采用 AI 生产方式后,仅需 1 名人员配合即可实现日均数万篇内容的生产能力,能够同时支撑数十个账号的运营需求。
04
2.0时代落地挑战与解决思路
1.多模态内容生产——落地挑战
随着业务发展,我们的需求已从单一文本生成扩展到图片、视频等多模态内容生产,由此进入 2.0 阶段。这个阶段重点解决多模态内容生产问题,包括图片和视频内容生成,并针对图片生产成本高、同质化等问题提出了解决方案。
在落地过程中,我们以“AI 创意工厂”产品为核心开展算法技术建设,在实施过程中我们遇到了一些困难:
- AI生产图片真实度问题:生成图片的真实感不足的话,会引发用户反感,这是我们首要解决的关键问题;
- 跨品类泛化困难:我们发现现有生图模型在跨品类泛化方面仍存在较大局限,主要受限于模型表达能力不足,难以准确捕捉不同品类的复杂特征差异。例如服饰类目需要模特试穿场景,而家居类目更适合温馨的摆放场景,使用单一模型难以同时适配所有品类的场景需求。
- 商品主体细节更改:当前生图技术(包括文生图和图生图)存在商品主体细节失真的问题,容易导致货不对版并引发客诉。我们需从根本上确保商品主体特征严格保持一致。
- 商品图区域编辑的问题:商家和运营人员不仅需要图片重构功能,还提出了区域编辑的需求,包括局部擦除、内容修改以及尺寸适配等多样化操作,这些都需要在解决方案中予以满足。
2.多模态内容生产——解决思路
面对上面在实际中遇到的挑战,我们的解决思路:
- 针对图片真实度问题:收集各品类高质量商品图数据用于 SD 模型微调,同时将理解内容作为约束条件注入生成模型,并通过训练专用的细节增强 LoRA 模块来提升图片生成的真实度。
- 针对跨品类泛化难题:从技术和业务层面进行了分类和隔离处理,将需要生成人体的场景独立为 AI 模特图模块,同时为不同品类商品搭建多条生成链路,并通过动态可配置的流程设计,确保链路体系的灵活性和可复用性。
- 针对商品主体细节易失真的问题:引入图像修复 inpainting 技术,通过文本约束和边缘约束等条件控制,确保生成过程中保持图像关键特征的稳定性。
我们不仅具备整图重构能力,还构建了专门的商品图编辑 Agent,支持区域擦除、画面扩展等多种精细化编辑功能,通过模块化任务链路满足多样化需求。
3.多模态内容生产——技术框架解析
接下来我将以 AI 创意工厂的产品链路为例,重点解析我们的技术框架。
我们的 AI 模特图的应用场景功能是指输入一件商品图片,系统会自动生成模特穿着该服装的展示图,同时对模特的丰富度和多样性也有相应要求。技术框架主要包含三个模块:
- 检测与分割模块:通过主体检测和分割技术,确保服装主体的完整性,只对主体以外的部分进行编辑,从而保持主体一致性。
- 可控性 SD 生成模块:在模特生成过程中,我们采用多种控制方法(如姿势控制、深度控制等)来提升生成结果的合格率。
- 后处理模块:包括面部细节微调和画质增强,确保最终输出效果更加精细。
在检测与分割方面,我们的技术选型是对 Grounding dino 模型进行了微调。这个模型本身是一个检测模型,通过使用电商数据进行微调,使它能够更好地理解电商场景中的品类信息,从而更准确地定位目标主体。
在分割模型的搭建,我们优化了 HQ-SAM 算法,并将其与前景识别的 Matting 算法相结合,实现了更精细的分割效果。我们支持两种分割方式:自动识别分割和用户交互式分割。由于这是线上任务,对时效性要求较高,我们对模型进行了性能优化。具体措施包括:
- 将 HQ-SAM 拆分为编码器和解码器两部分分别部署,编码器部署在服务器端,…