AI撞上内存墙:KV缓存9个月涨10倍,HBM装不下前沿模型了
Marvell高管透露推理KV缓存9个月涨10倍,单机架HBM装不下前沿模型,光互连和光子内存成必选项。

Marvell高管透露推理KV缓存9个月涨10倍,单机架HBM装不下前沿模型,光互连和光子内存成必选项。

9月18日,AI 基础设施公司 Crusoe 宣布完成一笔高达 39 亿美元 的融资,这是今年规模最大的私募融资之一。钱花在哪里?答案是:数据中心和“小型模块化 AI 工厂”。一个信号越来越明显——AI 竞赛的主战场,正在从“比谁的模型聪明”转向“比谁的算力底座硬”。 什么是“AI 工厂”? 如果把 AI 模型比作“汽车”,算力数据中心就是“高速公路和加油站”。Crusoe 要做的事情,就是大规模