长上下文的推理成本一直是 RAG 和智能体应用的隐痛。斯坦福与 UC Berkeley 的研究者近日发布 TokenGate：一个即插即用的可学习 token 剪枝模块，能把长上下文预填充（Prefill）的首 token 时间提速 1.4 到 11.3 倍，峰值内存降低 1.5 到 3.4 倍——而且几乎不损失精度。
问题在哪
Transformer 的注意力计算量随上下文长度平方增长。当智能体需要塞进整个代码仓库或上百页文档时，预填充阶段（处理输入、算出第一个 token 之前）成为最大延迟来源。用户感知到的"卡半天才出字"，大部分发生在这里。
TokenGate 的思路
核心洞察：并非所有 token 都同等重要。TokenGate 训练一个轻量门控网络，在注意力计算前判断每个 token 的贡献度，把低贡献 token 从预填充路径上剪掉：
- 即插即用：不需要重训整个模型，作为 drop-in 模块接入
- 可学习：门控参数通过训练获得，比启发式规则（滑窗、Top-K）更精准
- 无损：论文报告在标准基准上精度没有可感知下降
对普通开发者的意义
- RAG 应用：检索回来的长文档可以先过 TokenGate，响应速度显著提升
- 编程智能体：仓库级上下文（如 512K 级模型）的交互延迟会明显改善
- 成本：预填充计算量下降，意味着同等硬件能服务更多并发
这对开源长上下文模型生态是个利好——近期 Nanbeige4.3-33B 等模型都配备了 512K 上下文，配合剪枝技术才能真正用得舒服。
落地现状
TokenGate 目前以研究代码形式发布，主流推理框架（vLLM 等）的集成还需要社区适配。但方向已经清晰：注意力稀疏化是长上下文推理优化的主航道之一，值得持续关注。