配套文章《美国限制之下,国产硬件能跑大模型吗?》。关注「莱驰云AI实战课堂」,回复关键词 【国产】 随时领取本清单。


一、先判断:你的场景适合国产硬件吗?(3 问)

  1. 主要做推理还是训练? → 推理为主:国产硬件已成熟,优先评估; → 训练为主:可行,但需评估规模与迁移工作量。
  2. 是否处于政务 / 金融 / 能源 / 国企等信创合规行业? → 是:优先国产(合规刚需)。
  3. 能否接受一定的迁移与调试工作量? → 能:可平滑过渡;不能:先用云平台托管,降低上手门槛。

二、硬件速查表(定位与擅长)

硬件 厂商 擅长场景 备注
昇腾 910B / 910C 华为 训练 + 推理全栈 CANN 生态最完整,适配模型最多
思元 590 / 370 寒武纪 云端推理、智能视觉 自研 MLU 架构,云边端一体
DCU K100 系列 海光 信创服务器、金融政务 兼容 ROCm 思路,x86 路线
BR100 壁仞 大规模训练 / 推理 Chiplet 异构,类 CUDA 思路
曦云 C600 沐曦 智算中心 FP8 原生,兼容 PyTorch / TF
MTT S5000 摩尔线程 推理、数字孪生 全功能 GPU,率先支持 FP8
天垓 100 / 昆仑芯 / 登临 等 多家 推理为主 各有特色,按需选型

选型口诀:推理挑性价比、训练看生态、合规选信创、前沿用混合。


三、软件栈与迁移成本(分档)

场景 工作量 做法
PyTorch 模型推理 低(约 1–2 天) 改 device → torch_npu;模型格式转换
PyTorch 模型训练 中(约 1–2 周) 适配 CANN 部分算子,个别自定义算子重写
深度 CUDA 自定义核 高 用 Ascend C 重写,建议先评估再动手
全新项目 中 直接上 MindSpore,910B 优化最深

推荐引擎 - MindIE:生产环境首选,性能最优,兼容 OpenAI API - vLLM-Ascend:易用性好,生态丰富 - MindSpore:原生最优,但需学习新框架 API


四、落地三步

  1. 先租算力验证:昇腾 910B 八卡裸金属租赁起步,跑通推理,确认模型适配。
  2. 模型迁移:PyTorch 改 device → npu;用 MindIE / vLLM-Ascend 起 OpenAI 兼容服务。
  3. 切训练 / 扩规模:多机 HCCS 互联集群;必要时量化(W8A8)降低硬件门槛。

五、常见坑与规避

  • 算子缺口:新架构 / 小众算子未适配 → 先核对 CANN 算子清单,再动手。
  • CUDA 依赖:自定义核函数需重写 → 评估迁移成本,避免中途返工。
  • 互联带宽:HCCS 与 NVLink 有差距 → 大规模训练做好并行与通信策略。
  • 长尾库:FlashAttention / xformers 等默认 CUDA → 找昇腾等价实现或官方插件。

六、给决策者的三句话

  • 推理替代:已成立,且加速。
  • 训练能力:可行,快速追赶。
  • 混合架构:合规进口卡做前沿探索 + 国产卡承担主力,是务实常态。

本清单为《美国限制之下,国产硬件能跑大模型吗?》配套资料,仅供选型参考,不构成采购或投资依据。