大模型可观测1-5-10:发现、定位、恢复的三层能力建设
背景
大模型技术近年快速发展,在各行业均有广泛落地。随着大模型应用的开发与上线,如何构建其端到端可观测体系成为越来越重要的问题。本文基于百炼及相关云产品的能力,结合本人在服务政企客户过程中了解的大模型应用可观测方面的最佳实践,帮助阿里云客户构建大模型应用的可观测能力。
为方便理解,本文还会在每个环节附带一些demo。
整体框架
大模型应用的可观测方案,是传统应用可观测方案结合大模型应用特点的进一步扩展。本文仅对大模型应用在可观测领域有区别于传统应用可观测方案的部分进行介绍。结合阿里巴巴在可观测1-5-10的技术体系,大模型应用的可观测方案整体框架如下:
核心指标
大模型应用的可观测指标,主要分可用性、性能和业务反馈三大类,主要有:
针对其中可能有疑惑的解释如下:
资源水位:和关注数据库的CPU利用率一样,使用大模型也需要关注限流指标QPM和Token的使用率。目前百炼还不支持基于QPM/Token使用率进行告警,所以需要用户在日志中打印使用率指标后进行实时统计,当水位信息接近流控阈值时及时进行限流或联系阿里云进行扩容,避免业务受损。
分析维度(应用、功能模块):打印应用、功能模块是因为在实际场景中,经常会在多个应用或同一个应用内多个模块使用同一个阿里云账号的情况。当此时出现问题时,从阿里云的视角无法快速区分是哪个应用或模块的问题。
分析维度(模型、工作空间):针对具体的云账号,目前百炼支持模型+工作空间维度的限流管控。
用户差评率:类似电商关注交易下单数、交易成功率等指标一样,某些业务指标也可以从侧面反馈系统是否出现问题。而大模型应用如果有实时收集用户的反馈,则可以通过差评率体现用户体验是否受损。
发现(1)
大模型的可观测领域的发现能力,目前主要还是聚焦在监控告警方面。根据侧重点以及建设方,可以分为业务监控和云产品监控:
1. 业务监控:用户可以结合调用百炼时的返回信息,打印自定义日志。结合日志服务、QuickBI、DataV、云监控等云产品构建业务监控大盘和业务自定义告警。
2. 云产品监控:以百炼的模型观测&应用观测模块为基础,结合云监控、ARMS产品的能力,为客户提供基础的标准可观测发现能力。
业务监控
日志打印
日志打印规范
大模型应用的日志打印的场景和字段有:
在调用大模型前:可以打印大模型调用时间、Prompt、调用模型等信息。不过考虑到Prompt里包含业务数据,请结合需要以及数据安全的要求酌情考虑。如果要打,日志级别建议是Debug。
在大模型返回后:根据可观测核心指标的要求推理,需要打印的字段以及其作用主要有:
注:以上的指标仅为日常建议打印的字段。未提及的返回信息在部分场景下也有不可替代的作用,请根据实际需求选择打印。
Demo
使用日志格式:
<property name="LOG_PATTERN" value="%d{yyyy-MM-dd HH:mm:ss.SSS} %-5p [traceId:%X{traceId}] [%c{3}#%method\(\):%L] [%thread] - %m%n" />代码中日志打印
long t1 = System.currentTimeMillis();try {Generation gen = new Generation();Message systemMsg = Message.builder().role(Role.SYSTEM.getValue()).content("You are a helpful assistant.").build();Message userMsg = Message.builder().role(Role.USER.getValue()).content(prompt).build();GenerationParam param = GenerationParam.builder().apiKey(System.getenv("DASHSCOPE_API_KEY")).model(model).workspace(workspace).messages(Arrays.asList(systemMsg, userMsg)).resultFormat(GenerationParam.ResultFormat.MESSAGE).build();logger.debug("prompt:{}", prompt);GenerationResult result = gen.call(param);long t2 = System.currentTimeMillis();/** 日志传参* app 应用名称* module 模块* model 模型名称* workspace 百炼工作空间* requestId 请求ID* statusCode 状态码 = https://help.aliyun.com/zh/model-studio/error-code 中的 HTTP 返回码* time 消耗时间* inputTokens 输入token数量* outputTokens 输出token数量* totalTokens 消耗token数量* error_code 错误码 = https://help.aliyun.com/zh/model-studio/error-code 中的 错误代码 Code* error_message 错误信息 = https://help.aliyun.com/zh/model-studio/error-code 中的 错误信息 Message**/logger.info("{},{},{},{},{},{},{},{},{},{},{},{}", app, module, model, workspace, result.getRequestId(), 200, t2 - t1, result.getUsage().getInputTokens(), result.getUsage().getOutputTokens(), result.getUsage().getTotalTokens(), "", "");logger.debug("result:{}", JSON.toJSONString(result));return result.getOutput().getChoices().get(0).getMessage().getContent();} catch (ApiException e) {long t2 = System.currentTimeMillis();logger.error("{},{},{},{},{},{},{},{},{},{},{},{}", app, module, model, workspace, e.getStatus().getRequestId(), e.getStatus().getStatusCode(), t2 - t1, 0, 0, 0, e.getStatus().getCode(), e.getStatus().getMessage());thrownew RuntimeException(e.getLocalizedMessage());} catch (InputRequiredException e) {long t2 = System.currentTimeMillis();logger.error("{},{},{},{},{},{},{},{},{},{},{},{}", app, module, model, workspace, "", "", t2 - t1, 0, 0, 0, "InputRequired", e.getLocalizedMessage());thrownew RuntimeException(e.getLocalizedMessage());} catch (NoApiKeyException e) {long t2 = System.currentTimeMillis();logger.error("{},{},{},{},{},{},{},{},{},{},{},{}", app, module, model, workspace, "", "", t2 - t1, 0, 0, 0, "NoApiKey", e.getLocalizedMessage());thrownew RuntimeException(e.getLocalizedMessage());}
即可得到日志结果。正常输出日志样例如下:
2025-07-0914:23:24.748 INFO [traceId:41ea65e3-0b4c-4b65-8567-325a6128eddf] [c.a.c.s.i.ChatServiceImpl#chat():67] [http-nio-8080-exec-1] - bailian-log,Chat,qwen-plus,llm-6qtsrlugmu6wanfs,6c958db4-d489-9de8-b5d4-9fc872f24ce2,200,1141,24,9,33,,
异常日志如下:
2025-07-0914:08:26.833 ERROR [tra…