英伟达11月3日在arXiv发布技术报告《You dont need long context》,由Peter Belcak、Pavlo Molchanov等12位研究员联合撰写。研究结论是:在智能体任务中,使用较短上下文几乎不会损失准确率,反而能显著降低成本和延迟。

长上下文的神话
过去两年,上下文窗口从8K一路卷到100万甚至更长,厂商把它当作核心卖点。但英伟达的研究提出了一个反直觉的问题:智能体真的需要记住那么多东西吗?在工具调用、多步骤任务里,模型真正需要的是当前状态和最近几步的结果,而不是整段历史。
为什么短上下文反而更好
上下文越长,无关信息越多,模型被干扰的概率越大。长文本还会稀释注意力,让关键指令淹没在噪音里。短上下文迫使系统做好状态管理和检索,把该记的记下来,该丢的丢掉。这更接近人类处理复杂任务的方式。
对工程实践的影响
如果结论成立,企业就不必为超长上下文支付高昂的推理成本,可以把预算花在检索、记忆和工具设计上。这也解释了为什么一些团队用短上下文加外部记忆,效果反而优于硬塞长文本。上下文窗口是参数,不是能力。