配套文章《美国限制之下,国产硬件能跑大模型吗?》。关注「莱驰云AI实战课堂」,回复关键词 【国产】 随时领取本清单。
一、先判断:你的场景适合国产硬件吗?(3 问)
- 主要做推理还是训练? → 推理为主:国产硬件已成熟,优先评估; → 训练为主:可行,但需评估规模与迁移工作量。
- 是否处于政务 / 金融 / 能源 / 国企等信创合规行业? → 是:优先国产(合规刚需)。
- 能否接受一定的迁移与调试工作量? → 能:可平滑过渡;不能:先用云平台托管,降低上手门槛。
二、硬件速查表(定位与擅长)
| 硬件 | 厂商 | 擅长场景 | 备注 |
|---|---|---|---|
| 昇腾 910B / 910C | 华为 | 训练 + 推理全栈 | CANN 生态最完整,适配模型最多 |
| 思元 590 / 370 | 寒武纪 | 云端推理、智能视觉 | 自研 MLU 架构,云边端一体 |
| DCU K100 系列 | 海光 | 信创服务器、金融政务 | 兼容 ROCm 思路,x86 路线 |
| BR100 | 壁仞 | 大规模训练 / 推理 | Chiplet 异构,类 CUDA 思路 |
| 曦云 C600 | 沐曦 | 智算中心 | FP8 原生,兼容 PyTorch / TF |
| MTT S5000 | 摩尔线程 | 推理、数字孪生 | 全功能 GPU,率先支持 FP8 |
| 天垓 100 / 昆仑芯 / 登临 等 | 多家 | 推理为主 | 各有特色,按需选型 |
选型口诀:推理挑性价比、训练看生态、合规选信创、前沿用混合。
三、软件栈与迁移成本(分档)
| 场景 | 工作量 | 做法 |
|---|---|---|
| PyTorch 模型推理 | 低(约 1–2 天) | 改 device → torch_npu;模型格式转换 |
| PyTorch 模型训练 | 中(约 1–2 周) | 适配 CANN 部分算子,个别自定义算子重写 |
| 深度 CUDA 自定义核 | 高 | 用 Ascend C 重写,建议先评估再动手 |
| 全新项目 | 中 | 直接上 MindSpore,910B 优化最深 |
推荐引擎 - MindIE:生产环境首选,性能最优,兼容 OpenAI API - vLLM-Ascend:易用性好,生态丰富 - MindSpore:原生最优,但需学习新框架 API
四、落地三步
- 先租算力验证:昇腾 910B 八卡裸金属租赁起步,跑通推理,确认模型适配。
- 模型迁移:PyTorch 改
device→npu;用 MindIE / vLLM-Ascend 起 OpenAI 兼容服务。 - 切训练 / 扩规模:多机 HCCS 互联集群;必要时量化(W8A8)降低硬件门槛。
五、常见坑与规避
- 算子缺口:新架构 / 小众算子未适配 → 先核对 CANN 算子清单,再动手。
- CUDA 依赖:自定义核函数需重写 → 评估迁移成本,避免中途返工。
- 互联带宽:HCCS 与 NVLink 有差距 → 大规模训练做好并行与通信策略。
- 长尾库:FlashAttention / xformers 等默认 CUDA → 找昇腾等价实现或官方插件。
六、给决策者的三句话
- 推理替代:已成立,且加速。
- 训练能力:可行,快速追赶。
- 混合架构:合规进口卡做前沿探索 + 国产卡承担主力,是务实常态。
本清单为《美国限制之下,国产硬件能跑大模型吗?》配套资料,仅供选型参考,不构成采购或投资依据。





