Edge0宣布开源Edge0-145B和Edge0-120B两个模型,同时放出统一推理框架和部署工具,称145B是首个能在个人电脑上本地运行的开源模型。消息一出,本地AI社区先兴奋,再质疑。

145B跑在笔记本上意味着什么
参数越大,能力通常越强,但内存和带宽要求也越高。145B模型即使量化到4bit,权重大约也要70GB以上,普通笔记本的統一内存或显存很难轻松容纳。能跑和跑得好,是两件事。
技术上可能怎么做到
一是极端量化,牺牲部分精度换内存;二是专家卸载,把不常用的专家放在内存或硬盘,按需加载;三是稀疏激活,只计算部分参数;四是内存映射和分层加载。每条路都有代价,速度、精度、稳定性要权衡。
端侧模型的真正价值
第一,隐私,数据不出设备;第二,离线,断网也能用;第三,长期成本低,不用按token付费;第四,可控,模型版本和权限在自己手里。对企业和个人开发者,这些理由比跑分更重要。
别忽略体验
本地跑大模型,首token延迟、长上下文、并发能力都受硬件限制。笔记本风扇狂转、电池快速下降,是常见问题。宣传里的能跑,往往是最低量化、最短上下文、单次对话。
谁该关注
第一,做隐私敏感工具的开发者;第二,想把AI嵌进桌面软件的产品团队;第三,研究端侧推理的工程师;第四,没有稳定网络的场景。普通用户暂时不必为145B买单。
行业信号
端侧模型正在从7B、13B走向更大参数,但真正的拐点不是参数量,而是能效比。哪天笔记本能安静地跑一个够用的模型,端侧AI才算真正普及。