编者按:当大模型已能“写对”内容,如何让文档也“好看、易读”成为办公智能体转型的新焦点。微软亚洲研究院携手香港中文大学、中国科学院大学提出了一个专注于评估文档“结构与样式”专业性的奖励模型 DocReward。该模型为智能体生成的文档提供了清晰、可量化的优化信号,使其不仅在内容层面准确可信,更在形式呈现上清晰有序、专业规范,为下一代智能办公智能体的落地奠定了关键基础。 近年来,随着智能体化转型(Agentic Transformation)的快速发展,AI 自动化能力持续突破,已经覆盖文档生成、代码生成、图像生成、视觉理解、数学推理等多种复杂任务。这一趋势凸显了传统软件智能体化转型的重要性,以 Microsoft Office 为代表的核心生产力平台,若升级为具备自主推理与操作能力的下一代智能体,则将实现自然语言与办公自动化的无缝衔接,显著提升工作效率和专业水平。
为推动这一转型,微软亚洲研究院联合香港中文大学、中国科学院大学提出了专注于文档结构与样式专业度的奖励模型 DocReward。DocReward 可以评估文档的视觉层次、排版规范和整体可读性,为自动化文档创作提供核心支撑。通过优化结构与样式,DocReward 能够帮助由智能体生成的文档在形式上达到专业标准,确保内容呈现清晰、有序、易读。
在内容生成方面,Deep Research 通过智能体化的文献调研,可高效整合信息并输出专业报告。结合 DocReward,智能体不仅能够产出内容可靠、信息丰富的文档,还能保证文档结构清晰、风格专业,实现从信息调研到高质量文档呈现的完整闭环,为传统办公软件智能体化转型奠定坚实基础。
图1:DocReward 能够根据文档的结构和样式自动评估其专业性,从而辅助现有的智能体工作流,生成更加专业的文档。
DocReward: A Document Reward Model for Structuring and Stylizing
论文链接:
https://arxiv.org/abs/2510.11391
专业文档智能体化生成面临的挑战
如今,智能体化的专业文档生成已经成为一个备受关注的方向。然而,目前的研究大多集中在“文本内容质量”的提升上,对“结构与样式”这些视觉元素的重要性关注不足。事实上,一份真正专业的文档不仅要内容扎实,更要结构清晰、样式恰当。清晰的结构能让读者顺畅地理解信息,而恰当的样式则有助于提升整体的阅读体验与专业感。
这种忽视的根源在于:现有的奖励模型尚无法有效指导智能体生成在视觉上更专业、结构与样式更合理的文档。但未来的研究将致力于让 AI 不仅能写出“对”的内容,更能写出“易读、美观”的作品。
对此,研究团队提出了奖励模型 DocReward,专门用于评估文档结构和样式的专业性,从而辅助现有的智能体工作流,生成更加专业的文档。
任务建模——文档结构和样式评估
假设有一组文档 {D_i},每份文档的文本内容和对应的渲染图像分别用 D_(text,i) 和 D_(img,i) 表示。文档奖励模型会对这些文档进行评分,使得评分能够反映文档在结构和样式上的专业程度。
具体来说,对于内容相同的一组文档,研究员们希望奖励模型(用 R_θ 表示)预测的评分顺序能够尽可能与文档在结构和样式上的真实优劣顺序(用 π* 表示)保持一致。通过这种方法,奖励模型能够区分同一文本内容下文档的优劣,从而提升结构和样式评估的准确性。
形式化表示如下:
文档结构与样式专业性的定义如下:
- 结构(Structure):文档应合理使用空白区域,保持适当的页边距;章节分隔清晰,文本对齐良好,段落间距和缩进适当,页眉页脚使用规范;整体内容逻辑清晰、条理分明。
- 样式(Style):文档应选择合理的字体,包括字体类型、大小、颜色和可读性;标题样式清晰,有效使用加粗、斜体等强调手段;项目符号和编号使用得当,整体格式统一。
DocReward:聚焦结构和样式的文档奖励模型
为了训练 DocReward,研究团队构造了 DocPair 数据集。该数据集包含11.7万对文档,涵盖32个领域和267种文档类型。模型通过偏好学习优化,能够准确评估文档在结构和样式的专业度。
如图2所示,DocPair 的数据构造流程分为三个步骤。
图2:DocPair 的数据构造流程
- 高质量文档的收集
首先,研究团队收集了一批人类撰写的 Microsoft Word 文件,涵盖正式的机构文档和日常办公文档。数据来源包括:
- 政府与机构文档:GovDocs1 和 NapierOne 数据集。GovDocs1 包含大量美国政府网站的政策报告、行政表格、统计报告、会议记…