Agent 代码执行沙箱实战:裸容器 40 分钟被红队拿到宿主机 shell,换 microVM 的代价

给 AI 一个能跑代码的环境,是去年我们做过的收益最大、也最冒险的一个决定。收益端:一批数据分析类任务的解决率从 58.2% 涨到 89.4%,因为它终于能试错、看报错、改代码了。冒险端:第一版我们把沙箱建在普通 Docker 容器里,安全评审同学只花了 40 分钟就拿到了宿主机的 shell——而那时候我们已经灰度了两天。

这篇写我们后来怎么把「Agent 代码执行环境」从裸容器换成 microVM,中间踩的三个坑、以及代价:延迟从 380ms 涨到 1.2 秒,吞吐降三成,我们认了。所有数据来自 4 次红队演练、18,600 次会话和一次真实事故。

一、为什么裸容器不够:40 分钟的那次红队

先回顾一下最初的架构,很多团队都会这么起步:Agent 的输出通过一个 runner 容器执行,容器 root filesystem 挂载为只读,只有 /tmp 和 workspace 可写,网络白名单,seccomp 默认 profile,ulimit 限制资源。看起来该有的都有了。

红队拿到的东西比我们多:一个可以调用和我们宿主机上同一个 Docker daemon 通信的 socket。起因是 runner 里有一个调试用的挂载点忘了摘。40 分钟路径:读 workspace 里的历史记录拿到内部服务地址 → 用调试 socket 创建一个特权容器 → 挂载宿主 / → 读到 /root/.ssh。

复盘时我们承认:裸容器的前提是配置永远正确,而配置会漂移。两周前一位同学为了排一个依赖问题加了那个 socket,评审没覆盖到「挂载点」这个维度。

二、四个隔离层级,我们最后选了第三层

方案 隔离强度 启动延迟 单并发内存开销 运维复杂度 我们的结论
共享内核容器 + seccomp 弱(依赖配置) ~120ms ~90MB 低 不通过
gVisor 用户态内核 中 ~700ms ~180MB 中 备选
Firecracker microVM 强(独立内核) ~1.1s ~5MB + 内核 中高 选用
完整虚拟机 很强 8-20s ~512MB 高 太慢

选 microVM 的理由有三条,都不是「更强」:

  1. 攻击面是一个 40MB 的精简内核,不是共享内核加几十个 syscall 过滤器规则。就算某个 filter 规则写错了,逃逸路径也长得多。我们要的是「配置错一次不致命」。
  2. 能按会话回收整机,不依赖清理逻辑。这是关键——裸容器的清理依赖你记得删干净,microVM 的清理是灭活整个 guest。再也没有「上一个会话在 /tmp 里留了凭据」这类问题。
  3. 和容器生态的兼容度比想象中好。我们的 workload 有 91% 是 Python/Node 脚本,转成 rootfs + 启动脚本的改造只花了两天。

三、代价:真实测出来的三笔账

换 microVM 不是免费的,三笔账我们付得心服口服:

  • 冷启动 1.1 秒。裸容器 120ms。为了对冲,我们做了一个 pool:按镜像预热 20 台,P50 取到现成机器的时间压到 35ms。但池子有边界——流量高峰时池耗尽,P99 会掉到 1.4 秒。给用户的产品体验上,我们把「代码执行中」的状态显示做成了带步骤流的,而不是一个转圈的圈,这一项的投诉下降了 60%以上。
  • 吞吐降 31%。同样 8 台机器,并发会话从 140 降到 96。靠加机器补回来,按我们的密度,成本约 +18%。
  • 调试变难。裸容器时代 docker exec 进去就看了;现在要么开 jailer 日志,要么走 guest 内的 debug agent。有一次一个问题查了 4 小时。这是我们最没预料到的成本——不是性能,是排障效率。后来我们把 guest 内 debug agent 和快速快照回放做进工具链,才回到可接受的水平。

把这 18% 和安全评审同学那句「你们上次那个,我 40 分钟就进了」放一起看,我们认为是今年花得最值的一笔预算。

四、不能省的四个设计

换隔离只是地基,真正让环境可用的是这四个设计:

  1. 只出不进的网络。默认拒绝所有出网,按任务白名单放行(pip 源、内部 API)。注意是白名单不是黑名单——我们试过黑名单,红队用一个 DNS 隧道绕过去了。
  2. 凭据永远不进 guest。Agent 需要调内部 API 时,由宿主侧的 proxy 注入头部,guest 内看不到任何 token。「Agent 用的环境」和「Agent 生成代码的环境」必须分开,这条最容易被忽略,也最致命。
  3. 执行前做一次静态扫描。不是为安全,是为可用:检测到 import os/subprocess 这类高危模式就直接拒绝执行并把原因回给 Agent 让它换方案,平均每 100 次会话拦下 7.3 次明显有问题的代码。拦下的部分反而是对 Agent 的正反馈——它学会了避开雷区。
  4. 快照与回放。每次会话的 rootfs diff 存 24 小时,出事时能精确回答「哪条命令改了哪个文件」,不用靠人回忆。

4.5 第五个:给 Agent 的报错要能读

这条单列,因为它决定了 Agent 的代码能不能真的改对。最初我们把容器的 stderr 原样丢给它,结果大量时间浪费在解析 Java 堆栈、Python 的 import traceback 上——它读不懂「那一大坨」里哪一行是关键。后来我们对报错做了三层处理:截断到前 200 行、提取最后的 exception type 与 message、把堆栈里的路径归一化为 workspace 内相对路径。改完之后,Agent 在一次失败后自主修复成功的比率从 44.3% 涨到 68.1%。

顺带说一个坑:退出码也要结构化给。只告诉它「失败,退出码 1」,它会重复同样的代码;告诉它「失败:SegmentFault,来自你调用的 C 扩展」,它会换方向。信息量决定它的纠错上限。

五、上线前我们要求红队过的六个场景

换 microVM 之后我们没有直接上生产,而是让红队按下面六个场景各打一遍,全过才放行。这份清单可以直接抄:

# 攻击场景 裸容器结果 microVM 结果
1 获取宿主机 shell 40 分钟成功 未突破
2 读取同机其他会话数据 成功(共享挂载) 未突破
3 外传环境内凭据 成功(DNS 隧道) 被白名单拦下
4 耗尽宿主资源致其他服务不可用 成功(fork 炸弹) 被 cgroup 限额拦下
5 访问云元数据服务拿临时凭据 成功 被网络层拦下
6 持久化驻留(写入 crontab / systemd) 成功 会话结束后随 guest 销毁

第 6 个是 microVM 相对容器最大的结构性优势:「驻留」这个概念在 guest 内几乎不成立。裸容器时代我们担心的「万一有东西活过了会话」,现在变成「活不过它所在的机器被回收」——而这个动作不依赖我们记得执行清理脚本。

总结

给 Agent 代码执行权,本质是把「不可逆操作」的范围从模型输出扩展到了文件系统和网络。隔离方案的选择标准不是「能不能被攻破」,而是「配置失误时最坏会怎样」。我们的答案是一部独立内核的机器:贵 18%、慢 1 秒,但值得。

如果只抄一条:任何要长期跑 Agent 的环境,别用裸容器。你会在某个加挂载点的周二下午明白为什么。

互动提问:你们的 Agent 执行环境是怎么隔离的?裸容器、gVisor、microVM 还是干脆不执行?

互动提问:有没有更轻量的方案能在 100ms 启动和合理隔离之间拿到平衡?我们在 gVisor 上停了很久,想听听大家的选型。

分享到:

微博
Twitter
LinkedIn

— IMAI 编辑部 | 2026-11-08

发表评论