AI 公司 Marvell 的高管在 Six Five Summit 2026 上透露了一个让行业紧张的数据：推理模型的 KV 缓存规模，9 个月里涨了 10 倍。

KV 缓存是什么？为什么重要？

大模型回答你的问题时，会把"已经聊过的内容"暂存在一种叫 KV 缓存 的高速内存里，避免每次都从头算。你聊得越长、模型越大，这个缓存就越大。

问题来了：现在单机架的 HBM（高带宽内存）已经装不下前沿模型了。互连规模得从 144 个 XPU（AI 处理器）扩到大约 576 个的 Pod（一个大集群），铜连接逼近物理极限。

HBM内存芯片堆叠

"内存墙"是什么意思？

过去几年大家比的是单颗芯片算力（GPU 更快、更大）。现在算力上来了，内存和数据传输成了瓶颈——芯片算得再快，数据喂不进去也白搭。这就是业内说的"内存墙"。

解决方案：

  • 光互连（NPO/CPO）：用光代替铜缆传数据，功耗降 4 倍；
  • 光子织物内存：用光学技术做更大的内存池；
  • CXL 内存扩展：把多个服务器的内存拼起来用。

对普通用户来说，这意味着 AI 服务不会无限变快——硬件瓶颈已经来了。

信息来源：华尔街见闻、Marvell Six Five Summit 2026 演讲。