Mirendil发布首款支持1000万Token超长上下文的代码大模型Fern。这个数字是什么概念?一本百万字的小说大约对应150万Token,1000万Token相当于好几本长篇小说同时放进上下文。对代码场景来说,这意味着模型可以一次性读完一个中大型项目的全部代码。

1000万Token意味着什么
过去的代码助手只能看到当前文件,或者靠检索把相关片段拼进上下文。这种方式的问题是”只见树木不见森林”:模型知道这个函数怎么写,但不知道它在整个系统里被谁调用、为什么这样设计。长上下文让模型有机会理解全局,从而给出更符合项目结构的修改建议。
长上下文不是越长越好
上下文变长,成本会线性上升,注意力也容易分散。真正难的不是”能装下”,而是”能记住重点”。业界常用的做法是配合检索和摘要,把最重要的信息放在模型最容易关注的位置。所以1000万Token更像是一个能力上限,实际使用中仍需要工程上的取舍。
代码场景为什么先受益
代码有几个天然优势:结构化程度高、对错可以验证、版本历史清晰。这让长上下文的价值更容易被衡量——改完之后测试能不能过,一目了然。相比之下,长上下文在开放域问答里的效果很难评估。所以代码往往是新技术最先落地的场景,也是最好的试验田。