标签：HBM

AI撞上内存墙：KV缓存9个月涨10倍，HBM装不下前沿模型了

Marvell高管透露推理KV缓存9个月涨10倍，单机架HBM装不下前沿模型，光互连和光子内存成必选项。