千万Token上下文只是起点：Anthropic前员工想把整座 AI 实验室交给Agent

contact@theblockbeats.org (律动BlockBeats)

动察 Beating AI 快讯，Mirendil 发布了首款模型 Fern 0.1，支持高达 1000 万 Token 的上下文，一次可以容纳约 50 万行代码，或数天的 AI Agent 工作记录。但这家公司真正想做的，是让 AI 参与研发下一代 AI，逐步接手前沿 AI 实验室的工作。

Mirendil 今年 6 月公开亮相，约 20 人的团队来自 Anthropic、Google DeepMind、OpenAI 和 xAI。联合创始人 Harsh Mehta 曾搭建 Anthropic 内部的自动化 AI 研究平台。公司成立之初便获得 a16z、Kleiner Perkins 领投的 2 亿美元种子轮，随后又与 Google Cloud 签下价值超过 1 亿美元的多年算力合作。

Mirendil 希望把大厂内部的自动化 AI 研发能力带给外部研究者，让 Agent 承担代码编写、实验运行、模型训练和故障排查。研究药物或新材料的团队，不必先组建一支顶尖 AI 团队，就有机会为自己的专业问题开发模型。

10 月 21 日，Mirendil 公布了一项实验。一名研究员带着 AI Agent，从空代码仓库起步，仅用 3 个半月就完成了 Mirendil-Base 的从零预训练。训练数据来自 GitHub 等公开代码、网页和数据集，没有使用模型蒸馏或合成数据。Agent 编写了超过 99% 的代码，还负责运行实验和排查故障。研究员主要决定研究方向、筛选实验结果。包括前期试错、数据处理和 Agent 调用在内，整个项目的计算开销不到 1000 万美元。

5 天后发布的 Fern 0.1，就建立在这款底座之上。它专门面向 AI 研发，利用超长上下文读取大型代码库、训练日志和 Agent 执行记录。过去，这些内容太长时往往需要先截断、摘要或检索，容易漏掉关键细节。Mirendil 想让模型直接读取更多原始记录，追查训练为什么失败，或回看 Agent 连续几天究竟做了什么。

不过，1000 万 Token 并不是这次 Mirendil 首次实现。Google 早在 2024 年就测试过这一长度，Meta 去年发布的 Llama 4 Scout 也支持千万级上下文。Scout 的预训练和后训练使用的是 25.6 万 Token 上下文，再通过长度泛化扩展到 1000 万。

Mirendil 的实验显示，给模型提供越多代码，它预测后续代码的表现总体越好。不过，能读取千万 Token，不代表能理解其中所有信息。在官方测试中，它寻找单条信息的准确率达到 100%，需要串联多处线索回答问题时，却只有 45%。具体采用了什么超长上下文技术，以及完整输入的速度、显存和计算成本，官方尚未详细披露。

Mirendil 已经在训练两款更大的模型，其中最大一款规划达到 2 万亿至 10 万亿参数。公司还打算让自家模型参与下一代模型的开发，接手更多原本由人类研究员完成的工作。目前 Fern 0.1 尚未开放使用，只能申请早期访问。