稀疏注意力还能怎么提速？LSA让GLM千万Token下单层快22.7倍

contact@theblockbeats.org (律动BlockBeats)

动察 Beating AI 快讯，英国 AI 研究机构 Prefrontal 与苏黎世联邦理工学院研究者开源了 Latent Sparse Attention（LSA），一种针对超长上下文的稀疏注意力技术。

DeepSeek、MiniMax、智谱等模型已经采用稀疏注意力，每次只处理少量关键 Token，减少计算。但为了找出这些 Token，许多现有方法仍要用轻量索引器扫描全部历史信息，逐个打分。研究者在 1000 万 Token 的 GLM-5.3-Flash 实验中发现，单层稀疏注意力的预填充时间，有 98% 花在了筛选信息上。

LSA 先根据内容相似度，把不同位置的 Token 聚成组，再让索引器对这些组打分，从中选出相关 Token。这样一来，原本需要逐个检查的 Token，可以先按组筛选。团队还尝试建立多级索引，让模型逐层缩小搜索范围，不必每次查遍全部分组。

研究者将 LSA 接入 GLM-5.3-Flash 和 Qwen-3.8-27B，保留原有模型权重，只额外训练少量索引参数。在 NVIDIA H200 上，GLM 的单层预填充比原有稀疏注意力快 22.7 倍，整模型首 Token 延迟降低约 55%。Qwen 相比原有全注意力的单层预填充快 72.4 倍，整模型首 Token 延迟降低约 89%。

不过，最高加速成绩来自仍需扫描全部分组的版本。能够进一步减少搜索量的多级索引，在 GLM 千万 Token 测试中出现了明显的准确率下降。

如果能在保住准确率的同时，让检索不必遍历全部历史，AI 就有机会更高效地处理数千万 Token 的代码、文献和长期 Agent 运行记录。目前 LSA 已经验证了按语义分组的加速效果，但多级检索还需要进一步改进。