IT之家 9 月 2 日消息，据 DigiTimes 今天报道，美光正在研究高耐久性 NAND 闪存模块，该公司计划将其部署在距离 GPU 更近的位置，而不是像传统存储方案那样，通过多个协议连接到距 GPU 较远的存储池。据报道，美光正在探索如何将 NAND 闪存进一步靠近 GPU，希望在存储密度和耐久性之间提供一种折中方案。
这种产品当前被称为“近 GPU NAND”（IT之家注：near-GPU NAND），可用于处理非低延迟 / 高带宽工作负载。这种方案可以让 GPU 直接访问数百 GB 的 NAND 存储池， 它可以直接放置在 GPU 封装内部或 PCB ，工作方式类似 HBM、GDDR7 等方案。
与传统 TLC 或 QLC NAND 相比， 这种 NAND 芯片的存储密度更低 ，重点在于提升 I/O 速度、带宽。该存储层位于显存和普通存储之间，可充当高速缓冲层，因此特别适合运行更大规模的 AI 大语言模型。
该方案落地后，LLM 推理将不再受到显存容量限制。