AI Agent什么时候必须人工审批：按风险设计自动化边界

“全自动”很容易成为产品宣传语，却不应该成为企业默认的安全策略。整理资料和发送邮件不是同一种风险，生成文章草稿和直接公开发布也不应共享一个按钮。成熟的 Agent 会让低风险步骤自动跑，把不可逆的影响交给明确的责任人确认。

1. 先说结论

风险来自动作的影响范围、可逆性、数据敏感度和法律后果，而不是来自模型是否听起来聪明。即使模型在评测集上表现很好，接入新工具后也可能出现新的风险。因此审批边界必须写进服务器规则，不能只写在提示词里。

2. 问题背景

可以把动作分成公开只读、内部只读、低风险写入和高风险写入四级。前两级可以自动完成并记录；低风险写入需要预览、撤销和批量限制；高风险写入必须显示对象、字段、来源、理由和影响范围，由负责人逐项确认。

3. 真正的技术取舍

审批界面不是简单的“同意/拒绝”。它要让人看懂模型准备做什么、用了哪些资料、哪些字段会变化、失败后如何恢复。对于批量动作，系统应该先展示抽样和总量，并允许只批准一部分，避免一次错误影响全部客户。

4. 落地方法

人工介入也需要指标。系统要记录审批等待时间、拒绝率、修改率、撤销次数和审批后的失败率。如果所有任务都需要人逐字重做，说明自动化范围不合适；如果审批几乎总是秒点通过，可能说明预览信息不够或风险分级过低。

5. 常见失败

常见失败是把人工审批当成羞耻的补丁，最后只给人一个很难理解的模型输出。另一个失败是只审批最终动作，却不审查上下文来源和权限。审批点应该靠近外部影响发生的位置，同时保留从输入到执行的完整记录。

6. FDE判断

FDE的判断是，自动化的目标不是消灭所有人工，而是把人的判断放在最值得投入的位置。低风险步骤追求速度，高风险步骤追求可解释、可撤回和责任清晰，这比笼统追求“零人工”更容易长期运营。

发布或采购前的检查清单

• 按影响范围、可逆性、敏感度和法律后果分级。
• 高风险动作必须显示对象、来源、字段变化和影响。
• 支持部分批准、撤销和完整审计。
• 统计审批修改率和审批后失败率。

下一步怎么做

选一个现有自动化流程，把“草稿”和“执行”拆成两个状态，再逐步扩展权限。

本文依据公开资料整理，来源包括：NIST AI Risk Management Framework。文中“FDE判断”属于编辑分析，不等同于来源原话。