今年秋招,我们迎来了一位特别的新同事小辰——知识丰富、说话风格随心切换,能像资深顾问一样答技术问题,也能像运营同事一样聊活动规则。
TA的工作内容,是随时为开发者解答“讯飞星辰Agent开发平台”相关的问题。
以前,开发者问:“怎么接入星辰API?”“团队空间权限怎么设?”“Agentic RAG怎么用?”得费时费力查好几份文档,现在新同事小辰几秒就能答全,还能教你一步步做。
聪明如你,也许已经猜到了小辰的真身——由星辰Agent平台打造的“官方助手”。
但让这样一位AI同事胜任岗位,并不是“喂个知识库”那么简单。我们让它经历了三步上岗流程——测评、培训、协作。
01
能力测评,属于Agent的“入职考试”
真正上线前,我们首先用星辰Agent平台的Agent效果测评功能,对小辰做了全面测试。随后,借助多维量化评估体系(准确性、人设一致性、逻辑性等)+ 自定义维度评估(如“最新规则响应率”“复杂问题分解能力”等),精准找到了不足之处。结果很直观:系统生成可视化报告,哪里答得好、哪里需要优化,一目了然。经过几轮调优,小辰的岗位适配度显著提升。
文章嵌入内容具体操作步骤如下:
1.1 新建测评任务
打开星辰Agent平台,进入【个人空间-效果测评】,新建【测评任务】,选择你要测评的智能体,创建【测评集】。测评集可由“平台常见问答”“多步骤配置”“最新规则应用”等高频问答任务组成。
创建测评集测评集是评估智能体能力的核心依据,它决定了测试是否全面覆盖Agent的关键工作场景,并直接影响测评结果的准确性与参考价值。
1.2 选择测评方式
为了让智能体在不同业务场景中都能获得精准、全面的能力评估,星辰Agent平台提供三种测评方式,用户可根据Agent的功能特点与应用需求灵活选择:
智能测评:针对信息准确性、逻辑完整度等可量化指标,可实现快速批量评估,大幅提升测评效率。
人工测评:适用于隐含语境、品牌调性等主观性较强的场景,由人工逐项细致打分,确保评估结果更贴近真实需求。 一键并行:融合人工与智能测评的优势,协同完成评估,既保留了人工的深度灵活,又兼顾了智能的速度与规模。
选择测评方式在智能测评模式中,平台内置擅长推理与问答的DeepSeek-V3与讯飞星火X1作为裁判模型,帮助用户快速、精准地测评智能体的问答表现,让测评结果更具参考价值。
1.3 配置测评维度
测评…