Anthropic平台主管谈软件工程新战场：AI负责写代码，人类负责管住Agent

contact@theblockbeats.org (律动BlockBeats)

动察 Beating AI 快讯，Anthropic 平台工程负责人 Katelyn Lesse 上周透露，她领导的团队今年夏天约有 200 人，如今代码已全部交给 Claude 编写。

10 月 26 日，她又发表长文，讨论软件工程接下来更棘手的问题：如果上千个 Agent 能持续数周自主协作，谁来管理它们的权限，出了事又怎么让它们停下来？

首先是基础设施。传统 Kubernetes 擅长管理长期运行的服务，但 Agent 需要保留自己的状态，还经常等待模型、工具或人工回复。让大量 Agent 随时休眠、快速恢复，又不浪费算力，已经成为新的工程难题。Google 为此推出了 Agent Substrate，专门管理这类工作负载。

权限问题更加复杂。一个 Agent 代替用户工作几周，究竟能调用哪些服务？用户中途撤销授权，已经分派出去的任务怎么办？另一个 Agent 发来指令，又如何确认它的身份和权限？

Anthropic 自己就遇到过越权事故。10 月 26 日提交的 IPO 文件再次提及此前披露的安全测试事件：由于测试环境错误保留了公网连接，4 个模型曾未经授权访问真实的第三方系统，相关测试单次活跃运行约 10 至 34 小时。其中一个早期模型找到存储的密码，取得管理员权限，继续收集凭证、修改系统设置，甚至读取了个人信息。

这些事故都发生在单个模型独立执行任务时，未发现模型之间串通或故意逃避监督。但多 Agent 协作可能进一步扩大事故范围。一个 Agent 被恶意指令控制后，可能把指令传给其他 Agent，甚至写入共享记忆，让后续任务继续执行错误指令。

Lesse 提出，除了严格隔离运行环境，还需要跨 Agent 的执行追踪，而且任何 Agent 都不能篡改记录。一旦系统出现异常，紧急开关必须能够停止整套系统，并同时撤销相关访问凭证。