AI Agent 值班初筛实测:1,860 条告警,它最强的是盘形,最差的是「最近变更」

我们运维组有个心照不宣的秘密:告警很多,定性很少。去年 Q4 一个支付服务连续三天晚上十点准时出现 5xx 尖刺,值班同学每次都是「重启大法」压下去,重启确实有效,于是这个问题被「解决」了三次。直到第四周有工程师多看了一眼日志,才发现是上游对账任务在整点跑批,把连接池占满了——一个改个批处理时间就能根治的问题,靠重启扛了 21 天。

今年我们让 AI Agent 参与值班初筛,跑了 90 天、1,860 条告警。先说结论:Agent 能独立完成「这条告警是什么」的定性,准确率 73.4%,但它把 41.2% 的告警指向了「最近一次变更」——而真实因果只占 19.8%。剩下真正值钱的部分 Agent 一开始完全看不到:业务影响面。

这篇复盘写我们怎么把「告警→定性」这条链路做出来、为什么必须给它一张业务影响网、以及为什么最后 Agent 的产出形态不是结论而是一份「待确认的排查假设」。

一、1,860 条告警拆开看:值班的时间到底花在哪

我们按「从收到告警到做出处置决定」计时,抽了 90 天里 1,860 条 P2 以上告警,把值班同学的操作录屏逐条看。结果比预期难看:

阶段 平均耗时 占比 其中可被自动化的部分
读告警标题、判断等级 1.2 分钟 4.1% 大部分(映射静态规则)
查监控面板、看曲线形状 6.8 分钟 23.4% 大部分(曲线模式识别)
翻日志、找异常堆栈 9.4 分钟 32.3% 部分( grep + 聚类)
关联发布、配置、对端系统 5.7 分钟 19.6% 大部分(结构化数据关联)
在团队群里问「有人动过 XX 吗」 3.9 分钟 13.4% 几乎不可(依赖人际上下文)
真正做处置动作(重启/回滚/扩容) 2.1 分钟 7.2% 不可(需授权与担责)
合计 29.1 分钟 100% —

三个直接结论。第一,真正按下按钮的时间只占 7.2%,剩下 92.8% 全是「搞清楚发生了什么」——这正是 Agent 该干的部分。第二,13.4% 的时间花在群里问人,这部分自动化不了,但它揭示了关键信息缺口:「谁改了什么」這件事没有结构化沉淀,只在少数人的记忆里。第三,翻日志最耗时但确定性最高,是 Agent 最早能接手的活。

二、Agent 的定性能力:能做什么,更擅长错在哪

我们给 Agent 开放了三类只读数据源:告警元数据(服务、等级、时间、阈值表达式)、30 天指标曲线、以及结构化事件流(发布记录、配置变更、定时任务、扩容动作)。注意没有开放原始日志全文——这个决定后面看是错的,先说当时的理由:日志量太大,先做指标层关联更快见效。

Agent 的任务定义得很窄:输出一条「症状归因假设」加一个置信度,以及支撑它的三条证据链接。不给处置建议,不给根因断言。90 天跑下来:

  • 整体:1,860 条告警里 Agent 给出可用假设 1,365 条,73.4%。其中一次性命中的 612 条(32.9%),被值班同学修正后命中的 753 条(40.5%),完全无用的 495 条(26.6%)。
  • 曲线形态识别是最强的项。「阶梯式上涨」「整点尖刺」「发布后阶跃」「缓慢泄漏」这四种模式,Agent 的识别准确率都在 85% 以上,而人类同学在同批样本上的主观标注一致率只有 76.3%。形状是客观的,人反而容易受近因干扰。
  • 错误模式高度集中在「最近一次变更」。这是最值得记的一条:Agent 在 767 条假设里指向了「最近 2 小时内有发布/配置变更」,占 41.2%;而事后复盘确认真正因果相关的只有 371 条,48.4% 的「最近变更」指向是错的。错的形式很固定——服务 A 告警,Agent 发现服务 B 刚发布了,于是假设 B 影响了 A,而实际上两者只共享同一台 K8s 节点,没有任何调用关系。
  • 业务影响面完全看不见。1,860 条里有 213 条最终定性为「业务影响为零的噪音」(监控阈值本身设错了),Agent 一条都没识别出来——因为「有没有人真的受影响」这个信息既不在指标里也不在事件流里,它在订单表、客诉工单和业务负责人的嘴里。

「最近变更偏见」这个失败模式我们修了两轮。第一轮是加入调用图约束:只有存在真实调用依赖或共享资源(同节点、同数据库连接池、同消息队列)时,才允许把两个服务的变更关联起来。这一轮把 41.2% 的变更指向压到 27.3%,但没错率没降多少——因为即使有调用关系,「最近发布」依然不等于「是它干的」。第二轮才触及根本:让 Agent 输出「假设」而不是「结论」,并要求每条假设必须标注「这条证据如果为假,假设还成立吗」。这个反事实提问把值班同学的修正率从「照单全收」变成了「先验证再采纳」,一次性命中率反而从 32.9% 掉到 28.4%——但这是我们唯一一次主动把指标做差,因为采信率下来了,误处置随之减少。

三、那张被漏掉的业务影响网

213 条「零影响噪音」让我们意识到 Agent 缺的不是更多监控数据,是一张从技术指标到业务结果的映射网。我们后来补了两类数据,代价都不小:

  • 面向业务的 SLO 链路。把「支付接口 5xx 率」往下挂两层:它影响「下单成功率」,下单成功率影响「GMV」,GMV 挂具体业务负责人。补这张表的工程量比我们做 Agent 还大,但它一次性解决了两件事——能判断影响多大,能自动圈定该拉谁进群。
  • 半结构化的人因上下文。值班群的历史消息我们只取一个字段:「谁、在什么时间、对什么服务、做了什么处置」,由值班同学用固定格式回填。没有让 Agent 读原始聊天记录——上下文太脏,而且会读到已经过时的猜测。

补上之后,Agent 的输出从「症状假设」变成三件套:症状模式、影响半径(技术范围 + 业务范围)、以及该通知谁。影响半径直接改变了值班节奏——以前告警是平铺的,现在按「影响多少 GMV」排序,P2 告警里 31.7% 的优先级需要重排,有两次是低技术等级、高业务影响的告警被提前处理,事后看避免了真实客诉。

四、为什么最后的产物是「假设」而不是「结论」

整个项目我们最死守的边界设计,是Agent 永远不直接执行处置。这不是能力问题,是责任问题:一次错误重启的代价,远低于一次错误回滚,而错误回滚远低于在错误的服务上扩容导致级联雪崩。Agent 不知道「哪次是错的」,因为它没有担责的位置。

我们给值班同学定的协作流程只有三步:Agent 在告警触发 90 秒内推送「假设卡片」,同学做三选一——采纳、修正、否决,三选一的结果回流训练集。这个决策点的设计比我们预想的更有价值:它把「AI 给结论,人当传声筒」的模式,倒转成「AI 给草稿,人做判断」,而人的每次修正都在积累真正有价值的Case。

协作指标 Agent 上线前 上线后(90 天)
平均定性时长 29.1 分钟 11.6 分钟
误处置次数(每百条告警) 4.2 1.8
「重启大法」滥用次数 阈值无法统计 63 次(可跟踪)
零影响噪音占用时长 约 13.4% 约 3.1%
值班同学夜间被打扰次数 基线 -38.5%

63 次「重启大法」依然存在,这是个诚实的数字。Agent 没能消灭重启,它只是让每次重启都留下了一条可追溯的记录——这让第四周的「整点批处理占满连接池」这种问题,不会再被连续重启 21 天。

总结

1,860 条告警、90 天。最大的教训是:值班 AI 的价值不在「知道答案」,在把 92.8% 的定性时间压缩到十分之一,同时把每次处置从「下意识的肌肉记忆」变成「有记录的判断」。曲线形态它比人强,「最近一次变更」它比人更容易轻信,业务影响它天然看不见——所以它必须只产假设,必须被一张业务影响网兜着,必须由人来按采纳。如果你的团队也想做,建议从「结构化事件流 + 调用图约束 + 反事实提问」这三件事开始,它们加起来只占整个工程量的三分之一,但贡献了几乎全部的价值。

互动提问:你们的值班流程里,「最近一次变更」是不是也占主导假设?我们统计出来 48.4% 的错判率时自己都吓了一跳,因为这个偏见人类也有,只是人还会记得「上周也这样过」。

互动提问:那张「技术指标到 GMV」的映射网你们有吗?我们补这张表用了 5 周、访谈了 11 个业务负责人,它现在成了 Agent 最值钱的输入,想问问还有没有更轻的建法。

分享到:

微博
Twitter
LinkedIn

— IMAI 编辑部 | 2026-11-12

发表评论