NVIDIA 谈显存紧张:涨价期如何让每字节多干活
NVIDIA 博客称更大的模型、更长的上下文和 agent 应用正加大 GPU 显存压力,同时供应收紧、价格上涨,并预计近期持续;文章介绍其与内存厂商合作和全栈协同设计。同日开发者博客另有一篇讲 HBM 优化的五种做法。
Amr Elmeleegy原始发布
为什么值得留
理解推理成本上涨的一个来源:显存是瓶颈也是成本大头。
可以从这里开始
自己跑推理的,查一下当前部署的 KV cache 占用,看长上下文是否在吃掉大部分显存。
阅读时留意
是厂商观点和推广;「价格上涨、近期持续」没有给数字;具体优化手段和效果节选未见。
OnBalls 导读整理于 2026.11.06。只读收件箱保存的摘要(较完整,约三句);同日的 HBM 五种做法一文只读到半句,未单独选。