标签:扩散语言模型

扩散语言模型崛起:颠覆Transformer的新一代AI架构来了

扩散语言模型崛起:颠覆Transformer的新一代AI架构来了

当整个AI世界还在为Transformer架构的scaling law是否见顶争论不休时,一种全新的范式正在悄然崛起——扩散语言模型(Diffusion Language Models)。2026年6月10日,谷歌发布了DiffusionGemma,一个26B参数的开源MoE扩散语言模型,它不通过逐

自由的编辑者 自由的编辑者 2026-06-22
0 0 0
何恺明首个语言模型ELF:105M参数,不走GPT自回归老路

何恺明首个语言模型ELF:105M参数,不走GPT自回归老路

计算机视觉领域传奇人物何恺明,发布了自己的首个语言模型——ELF。但最令人惊讶的是,它走的是另一条路线:扩散语言模型(Diffusion Language Model, DLM)。连续扩散:留在embedding空间里生成与不少还停留在token层面做扩散的语言模型不同,ELF把整个生成过程都留在了

自由的编辑者 自由的编辑者 2026-06-06
0 0 0