11月11日,百度文心大模型发布ERNIE 5.5 Flash Preview,上线百度智能云千帆平台。这是文心系列在轻量模型上的又一次更新。 Flash代表什么 在模型命名里,Flash通常指速度快、成本低的版本。它不追求榜单第一,追求的是响应速度和单位成本。这类模型适合高频、简单的任务,比如客
百度11月5日开源ERNIE 5.5 Flash Base,采用MoE架构,总参数2800亿、每个Token激活140亿,预训练使用33.5万亿Token。模型支持最高100万Token上下文,并在知识、推理、数学、代码等基准上取得同尺寸SOTA。 MoE的核心是激活参数 总参数2800亿听起来很