面向手机Agent的记忆系统工程:OPPO的Agentic-RAG实战与演进

导读 来自 OPPO AI 中心的高级算法工程师余明老师,将分享面向手机 Agent 的记忆系统工程,内容聚焦于手机记忆搜索的实际落地。本次分享题目为《面向手机 Agent 的记忆系统工程》。

核心内容包括以下七个方面:


1. 应用场景与战略定位

2. 记忆搜索的核心挑战与工程瓶颈

3. RAG 技术架构设计

4. 效果提升的关键:分层提示工程与动态上下文构建

5. 隐私安全与评测体系建设

6. 未来展望与技术演进方向

7. Q&A 环节

分享嘉宾|余明 OPPO 高级算法工程师

编辑整理|Edith

内容校对|郭慧敏

出品社区|DataFun


01


应用场景与战略定位


在当前的 AI 时代,手机被视为人类的“第二大脑”,承载着存储个人记忆的重要功能。我们认为,这一定位可以从以下三个层面来深化实现:


首先是个性化。虽然大模型具备通用知识,但它并不了解每一个独特的个体。我们的目标是基于用户与手机的交互历史及设备内存储的个人内容,精准识别用户的个性化信息,从而实现“千人千面”的智能推荐与具备情感共鸣的交互体验。


其次是搜索与记忆的主动服务。在获得用户信息后,当用户产生需求时,系统应能主动提供相关记忆与信息检索。这包括自动记录用户的数字足迹,也支持用户主动标记重要信息。而知识图谱的作用,则在于对这些记忆进行结构化整理——例如将零散的信息自动聚合、分类,形成专题合集或专属记忆库。


最后是精准搜索与即服务。我们致力于让用户能够一键获取高度精准的信息与专业服务,实现需求与资源的无缝对接。


展望未来,我们的演进方向是构建“数字孪生”体系。预计在今年内,技术将向创建个人数字分身的方向发展。该分身能够学习并模拟用户的行为模式,在必要时为用户提供个性化的决策辅助与前瞻性服务。


今年,我们的核心工作是支撑 OPPO 的 Personal X 战略,致力于构建个性化的数字记忆体——即研究手机如何利用记忆更好地服务用户。其中,AI 搜索是至关重要的一环,主要负责解决记忆的检索问题。接下来,我将重点介绍检索环节的具体应用场景。


首先,团队在 2025 年 1 月(年初)发布的 Find N5 中推出了“意图搜索”功能。该功能位于手机负一屏的搜索框内,当用户输入诸如日程、文档、图片等关键词时,系统能够智能识别其搜索意图,并精准返回相关结果。


其次,在去年年中发布的 Find X8 上,我们带来了“左记右问”功能。这款最新的 OPPO 手机在左侧专门设计了一枚记忆按键。该按键可以直观地理解为一个“APP 收藏夹”——用户在任何界面浏览信息(包括文档、图片、视频甚至语音内容)时,只需轻按此键,系统便会自动解析当前内容,并将其存储为可追溯、可检索的个人记忆点。


记忆被保存后,系统将自动进行记忆管理、整理与主动服务。例如,若系统识别出记忆内容与旅行相关,便会自动将其归类为“旅行合集”;若内容涉及记账,则可能会主动为用户启动记账流程——值得一提的是,我们最新发布的智能记账功能在体验上已相当成熟和便捷。


最后,用户可通过两大核心入口来灵活检索自己的记忆:一是直接询问语音助手小布,二是使用全局搜索全搜。在这两个场景下,用户都可以方便地查询和调用属于自己的个人化记忆信息。


接下来,我将具体介绍两个核心功能场景:


1. 搜日程


用户在 AI 搜索框中输入:“我周四下午有哪些会议?”


系统将按时间顺序清晰展示周四下午的所有会议安排,并在最下方附上“查看详情”链接。点击链接后,右侧将呈现相关日程的摘要信息,进一步点击可进入查看完整的日程详情。


2. 搜设置


有时用户想使用某项手机功能,却不知如何操作。此时,用户可在搜索框直接输入设置需求(例如:“如何开启深色模式”),系统将直接定位并展示对应的设置选项与操作指引,帮助用户快速完成配置。


我们认为,用户搜索手机设置主要存在两种场景:


第一种是显性关键词搜索。


例如,用户直接提问“保护眼睛”。系统会基于这一明确关键词,直接定位并推荐“护眼模式”等相关设置项。


第二种是模糊意图/功能描述搜索。


例如,当用户不清楚具体设置名称时,也可以直接描述功能需求,比如询问“如何打开两个微信”。系统能够理解此类模糊意图,并精准匹配出对应的设置项名称——在此例中即为“应用分身”功能。


此外,我们的搜索能力也全面覆盖文档搜索与多模态搜索,能够根据文本、图像乃至语音内容进行综合检索与意图理解。


搜索功能支持多种常见且实用的场景,具体如下:


首先是多模态搜索。例如,用户可直接输入“盖被子的猫咪”进行搜索,系统能够理解图像语义并执行检索。这部分属于通用能力,在此不作展开。


其次是图片内容搜索,例如在报销场景中搜索发票图片。当用户需要报销时,可直接搜索“发票”相关图片,系统能够从相册或文件中准确找出各类发票图像,目前识别准确率较高。


还有一个是跨设备协同搜索。例如,如果用户拥有 OPPO 手表,就可以在手机上直接查询个人健康信息。用户可以询问“我的睡眠情况”“最近的运动数据”或“我的尿酸值”等问题,系统会主动汇总近期相关数据,并提供详情入口,方便用户直接跳转至健康云数据页面查看具体信息。


第四是个性化推荐搜索。例如,当用户询问“中午不知道吃什么,推荐一下”时,系统会综合参考用户以往保存的内容、交互行为,以及通过语音助手小布明确表达的口味偏好,为其个性化推荐合适的餐厅。


此外,我们支持跨设备协同搜索功能。例如,若用户拥有 OPPO 手表,即可在手机上直接查询用户的健康信息、运动情况、身体指标等相关数据。该系统目前已实现落地——例如,当用户搜索“我的睡眠”时,系统可为用户汇总展示近几天的睡眠情况,同时用户也可通过页面底部的链接直接跳转至云端健康数据页面查看详细记录。用户也可以搜索“我的运动”“我最近的运动情况”或“我的尿酸”等内容,相关信息均可通过搜索查询获取。该功能支持在统一搜索入口及小布语音助手两个平台使用。


另一方面,系统也支持基于个性化数据的场景。例如,当用户询问“中午不知道吃什么,给我推荐一下”时,系统会根据用户以往保存的内容、交互记录,或用户曾向小布说明过的口味偏好,为用户推荐适合的餐馆。


用户也可以询问小布“你眼中的我是什么样的”。系统将根据用户的行为与交互数据,分析并总结用户的个人特征画像。


02


记忆搜索的核心挑战与工程瓶颈


以上介绍了应用场景,接下来将说明实现方式,以及在实现过程中面临的主要挑战与工程瓶颈。


核心挑战主要体现在数据、性能、模型、合规等多个方面。


首先,数据来源繁杂且异构性强,数据来自端侧、云侧以及多个设备,每个来源的数据结构各不相同。其次,端云协同中的时延与端侧功耗问题,这也是除效果外我们最关注的核心问题。此外,大模型在实际调用中存在输出抖动与格式不可控的挑战——输出抖动是商用大模型中的常见现象,我们通常需要在提示设计中引入冗余来缓解;而格式控制则在不同场景中与效果优化同样困难。同时,大模型在数学计算方面能力较弱,端侧向量检索能力也较为有限。最后,隐私合规与系统效果评测也是必须面对的重要课题。基于以上难点,接下来我们将介绍系统的整体架构设计以及相应的解决方案。


03


RAG 技术架构设计


1. 端侧技术架构


这是我们在端侧的架构设计。在端侧,我们预先部署了多个自研的小模型,包括文本嵌入模型、文本到图像嵌入模型、邻近检索模型、OCR 识别、图像描述生成以及 CLIP 模型等。


在用户进行手机搬家或初始化时,系统会对用户本地的数据进行向量化处理,并将生成的向量存储在手机端侧。


当用户发起查询时,流程大致如下:查询请求从右侧进入,系统同时通过稠密向量检索和基于 BM25 算法的稀疏关键词检索进行并行处理,接着对两者的检索结果进行混合排序,最终在端侧输出检索结果。在端侧实现中,我们面临的主要技术挑战包括:


首先是召回率。如果端侧无法完成有效召回,整个检索流程就会失败。


其次是响应时延与功耗,这两者相互关联。我们通过模型量化、剪枝等技术,以及在 NPU 上进行算子优化,来降低功耗、提升效率。


索引的时效性也非常关键。例如,用户刚拍摄一张照片或记录一项日程后,立即进行搜索,系统需要在分钟级别内完成响应。


多模态与结构化信息的处理也是一个挑战,尤其是像 PDF 中表格这类内容的解析,这实际上是 RAG 领域的一个行业难题。这一问题主要集中在数据构建阶段需要进一步优化。在多模态处理方面,目前行业内对端侧多模态能力的支持仍不够完善,但我…

— 以上为试看内容(约 40%),开通会员后阅读全文 —