Harness 与 Agent 工程 · Agent架构与协作 · 2025-08-26

手把手教程!打造可以上岗的企业级Agent

打造企业级AI助手不再是难题!三步流程让Agent快速胜任岗位,提升团队效率。

核心内容:

  1. Agent上岗前的全面能力测评方法与工具
  2. 结合人工与智能的混合测评策略详解
  3. 自定义评估维度的配置技巧与实际应用案例

今年秋招,我们迎来了一位特别的新同事小辰——知识丰富、说话风格随心切换,能像资深顾问一样答技术问题,也能像运营同事一样聊活动规则。

TA的工作内容,是随时为开发者解答“讯飞星辰Agent开发平台”相关的问题。

以前,开发者问:“怎么接入星辰API?”“团队空间权限怎么设?”“Agentic RAG怎么用?”得费时费力查好几份文档,现在新同事小辰几秒就能答全,还能教你一步步做。

聪明如你,也许已经猜到了小辰的真身——由星辰Agent平台打造的“官方助手”。

但让这样一位AI同事胜任岗位,并不是“喂个知识库”那么简单。我们让它经历了三步上岗流程——测评、培训、协作。

01

能力测评,属于Agent的“入职考试”

真正上线前,我们首先用星辰Agent平台的Agent效果测评功能,对小辰做了全面测试。随后,借助多维量化评估体系(准确性、人设一致性、逻辑性等)+ 自定义维度评估(如“最新规则响应率”“复杂问题分解能力”等),精准找到了不足之处。结果很直观:系统生成可视化报告,哪里答得好、哪里需要优化,一目了然。经过几轮调优,小辰的岗位适配度显著提升。

文章嵌入内容具体操作步骤如下:

1.1 新建测评任务

打开星辰Agent平台,进入【个人空间-效果测评】,新建【测评任务】,选择你要测评的智能体,创建【测评集】。测评集可由“平台常见问答”“多步骤配置”“最新规则应用”等高频问答任务组成。

创建测评集测评集是评估智能体能力的核心依据,它决定了测试是否全面覆盖Agent的关键工作场景,并直接影响测评结果的准确性与参考价值。

1.2 选择测评方式

为了让智能体在不同业务场景中都能获得精准、全面的能力评估,星辰Agent平台提供三种测评方式,用户可根据Agent的功能特点与应用需求灵活选择:

智能测评:针对信息准确性、逻辑完整度等可量化指标,可实现快速批量评估,大幅提升测评效率。

人工测评:适用于隐含语境、品牌调性等主观性较强的场景,由人工逐项细致打分,确保评估结果更贴近真实需求。 一键并行:融合人工与智能测评的优势,协同完成评估,既保留了人工的深度灵活,又兼顾了智能的速度与规模。

选择测评方式在智能测评模式中,平台内置擅长推理与问答的DeepSeek-V3与讯飞星火X1作为裁判模型,帮助用户快速、精准地测评智能体的问答表现,让测评结果更具参考价值。

1.3 配置测评维度

测评…

— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/shuziyuangong/2025082674681.html