微软高管开源gputaskman:给GPU装一个htop

11月6日,微软与GitHub副总裁斯科特·汉塞尔曼以个人名义开源GPU监控工具gputaskman,定位是GPU内部世界的htop。它可以按进程展示显存、使用率、温度、功耗、时钟频率、编解码活动及PCIe流量,还能识别本地大语言模型进程,显示模型、运行时、权重、量化方式、层数和显存占用。
computer screen
为什么需要这样一个工具
本地跑大模型越来越普遍。Ollama、LM Studio、llama.cpp这些工具让消费级显卡也能推理,但GPU上的负载变得复杂:多个进程、多种运行时、多个模型同时跑。Windows任务管理器和nvidia-smi只能告诉你谁在用显卡,说不清在干什么。
htop的类比很准确
在Linux上,htop之所以流行,是因为它把进程的CPU、内存、状态一屏展示清楚。GPU缺的就是这样的工具。显存被谁占了、模型加载到第几层、量化方式是什么,这些信息对调优至关重要。
开发者为什么自己写
汉塞尔曼是微软和GitHub的副总裁,这个工具是他个人项目。大公司做通用产品,往往要兼顾太多场景;个人开发者反而能快速做出解决具体痛点的东西。开源社区的价值,就在这里。
对本地AI的意义
本地部署的门槛,不只在模型本身,还在工具链。能看清GPU在干什么,才能优化显存、选择合适的量化、避免OOM。这类不起眼的工具,往往决定了一个生态能不能真正被普通开发者用起来。

上一篇 Palo Alto 5亿美元洽购Clutch:智能体的权限该谁管
下一篇 森马赚了6.91亿,门店却少了317家