蚂蚁UBTree改进推测解码：并行筛选草稿树，让大模型一次验证更多Token

contact@theblockbeats.org (律动BlockBeats)

动察 Beating AI 快讯，蚂蚁百灵开源了大模型推测解码方案 UBTree。

推测解码相当于让小模型提前「打草稿」，再由大模型一次验证多个 Token，减少逐个生成 Token 所需的计算轮次。

但草稿也有命中率的问题。小模型猜错得越早，后面能直接采用的内容就越少。此前已有技术会同时准备多条候选路径，把它们组成一棵草稿树，再剪掉不太可能被接受的分支。

UBTree 改进了筛选方法。它先并行预测后面几个位置可能出现的 Token，再用一个轻量级模型判断相邻 Token 能否合理衔接。不同组合可以同时评分，不必沿着每条路径反复运行模型。随后挑出更有希望的分支，组成草稿树交给大模型验证。

团队还调整了筛选模型的训练方式，让它不只关注概率最高的答案，也能识别值得保留的备选路径，使大模型每轮有机会接受更多 Token。

在 Qwen3-4B 的七项测试中，使用 DFlash 2 选择器构树的平均加速比为 5.95 倍。换成 UBTree 选择器并调整训练方法后，提高到 6.88 倍，相当于在原方案基础上进一步提升约 16%。