当大模型从“实验性工具”变成写入企业核心业务流程的生产系统时，AI 治理不再是法务部门的专利，而是技术架构的必选项。2026 年上半年，我们为三家金融企业和一家跨境电商搭建了完整的 AI 治理体系，覆盖数据脱敏、权限隔离、Prompt 审计、模型出口管制四大支柱。本文分享可复用的技术方案与踩坑经验。
1. AI 治理的四大支柱
- 数据脱敏与分类：识别 PII/PCI 等敏感字段，在进入 LLM 前脱敏；
- 权限隔离：不同角色只能访问授权范围内的模型与知识库；
- 审计与可观测：记录全部 Prompt/Completion 对，支持合规回溯；
- 模型出口管制：限制敏感数据流向境外模型，满足《数据出境安全评估办法》。
2. 数据脱敏：从正则到 LLM 辅助识别
传统正则匹配（身份证、手机号、邮箱）已不够用。我们采用规则 + 小模型双层架构：先用正则快速过滤已知模式，再用 7B 参数的小模型识别嵌套在自然语言中的敏感信息（如“张三的工资是 15k”）。
实测中，双层架构对中文敏感信息的召回率达到 97.3%，而纯规则仅 82%。脱敏后的数据再进入大模型，即使后续发生日志泄露，也不会暴露原始 PII。
3. 权限隔离：RAG + ABAC 的细粒度控制
企业知识库往往包含 HR、财务、研发等多部门文档。我们采用基于属性的访问控制（ABAC），将用户部门、文档密级、模型版本作为属性，在 RAG 检索层和推理层分别拦截越权请求。
架构示例：用户提问 → 解析用户属性 → RAG 仅检索授权文档 → 模型生成 → 输出前二次校验密级。任何一环拦截失败，均返回“无权限访问”。
4. 审计与可观测：Prompt/Completion 全链路留存
金融行业要求“所有 AI 决策可回溯”。我们在网关层记录：用户 ID、Prompt 原文、模型版本、Completion 原文、延迟、Token 消耗、检索文档列表。日志加密存储，保留周期按监管要求设置（通常 3-5 年）。
审计平台使用 OpenSearch + Grafana，支持按会话、用户、时间段快速检索异常行为（如单日 Prompt 量突增 10 倍）。
5. 模型出口管制：私有化部署 + 网关路由
对于必须留在境内的数据，我们搭建本地私有化模型集群（如 LLaMA 3 70B + vLLM），敏感业务强制路由到内网。同时建立“模型出口白名单”，只有经过数据安全评估的字段才能调用境外 API。
成本对比：私有化 70B 模型的单次推理成本约 $0.002/1K tokens，远低于境外 API 的 $0.03/1K tokens，但需承担 GPU 集群运维成本。
6. 治理工具链推荐
| 需求 | 推荐方案 | 部署方式 |
|---|---|---|
| 敏感信息识别 | Microsoft Presidio + 自定义规则 | 容器化 |
| RAG 权限控制 | LlamaIndex + ABAC 插件 | 服务端 |
| 审计日志 | OpenTelemetry + OpenSearch | 集群 |
| 模型网关 | LiteLLM / Portkey | K8s |
| 私有化模型 | vLLM / TGI | GPU 服务器 |
7. 落地路线图
第一阶段（1-2 个月）：部署数据脱敏网关，实现 Prompt 日志留存。
第二阶段（3-4 个月）：搭建 RAG 权限层，完成知识库密级分类。
第三阶段（5-6 个月）：上线私有化模型集群，完成出境数据路由切换。
AI 治理不是一次性项目，而是伴随模型迭代的持续工程。越早纳入架构，后续合规成本越低。
8. 互动讨论
你的企业在使用大模型时，最担心的合规风险是什么？数据出境、幻觉输出还是权限泄露？欢迎在评论区交流你的应对策略。
— IMAI 编辑部 | 2026-09-23