百度开源ERNIE 5.5 Flash Base:2800亿参数的性价比路线

百度11月5日开源ERNIE 5.5 Flash Base,采用MoE架构,总参数2800亿、每个Token激活140亿,预训练使用33.5万亿Token。模型支持最高100万Token上下文,并在知识、推理、数学、代码等基准上取得同尺寸SOTA。
ai-brain
MoE的核心是激活参数
总参数2800亿听起来很大,但真正决定推理成本的是每个Token激活的140亿参数。MoE架构把模型拆成多个专家网络,每次只调用其中一部分,等于用大模型的容量换取小模型的成本。这就是Flash这个后缀的含义:能力接近大模型,价格接近小模型。
开源策略的意图
百度选择开源Base版本,而不是只开放API,说明它想在开发者生态里占位。基础模型开源后,企业可以私有化部署,做行业微调,不必把数据交给第三方。对价格敏感、对数据敏感的中国企业客户来说,这一点比榜单排名更有吸引力。
100万上下文的实际价值
长上下文适合处理整份财报、大型代码库、完整合同这类任务。但上下文越长,推理成本越高,检索精度也会下降。真正的工程难点不是能不能塞进去,而是塞进去之后模型能不能找对信息。上下文窗口是入场券,检索质量才是胜负手。

上一篇 OpenAI用AI在Linux内核找出948个漏洞:平均每个1279美元
下一篇 腾讯混元Hy4开源:中国开源模型进入第一梯队