Anthropic用Claude重写核心API，CPU用量降低40%至50%

contact@theblockbeats.org (律动BlockBeats)

动察 Beating AI 快讯，Anthropic 平台工程负责人 Katelyn Lesse 在 Latent Space 访谈中透露，公司已经将 Messages API 从 Python 迁移至 Rust。改造后，API 服务的 CPU 用量据其估算减少约 40% 至 50%，首个 Token 的响应延迟改善约 10% 至 20%。

Messages API 是开发者调用 Claude 的主要接口。随着请求量不断增加，原来的 Python 单体服务越来越耗费 CPU，团队决定直接用 Rust 重写。但项目启动时，负责迁移的小组连一名 Rust 工程师都没有。

最终由 Claude 承担主要代码编写，人类工程师负责架构设计和验证。团队先搭建完整的 Rust 版本，让新旧系统处理相同请求，逐一比对输出，再逐步把正式流量切换过去。过程中也招聘了几名有 Rust 经验的工程师。

Lesse 表示，过去这种规模的迁移通常要拆成多个阶段，耗费数年。这次团队直接完成了整套 API 的迁移，并已于 9 月全面上线。