一份给技术决策者照着打的"买什么、装什么、花多少"核对表。配合《企业自建大模型服务器配置指南》使用。

一、采购前：先答三问

  • [ ] 数据敏感度：是否涉及合同/财务/客户等禁出域数据？（是 → 必须自建或私有化）
  • [ ] 月调用规模：预计日均对话/推理次数？（高 → 自建 TCO 更优）
  • [ ] 技术人力：能否投入 0.5–1 人做运维？（否 → 优先托管/混合）

二、三档硬件速查（打钩采购）

入门档（验证 / 小团队）

  • [ ] GPU：1× RTX 5090 32GB（或 4090 24GB）
  • [ ] CPU：16–32 核（至强 / EPYC）
  • [ ] 内存：64GB DDR5
  • [ ] 存储：2TB NVMe SSD
  • [ ] 网络：千兆内网
  • [ ] 能跑：7B / 14B 日常、POC

标准档（部门级生产）

  • [ ] GPU：2× NVIDIA L20 48GB（被动散热）
  • [ ] CPU：32–64 核
  • [ ] 内存：256GB
  • [ ] 存储：4TB NVMe SSD + 备份盘
  • [ ] 网络：万兆内网，双卡 NVLink 桥接
  • [ ] 能跑：32B 流畅、70B 可用

旗舰档（企业级平台）

  • [ ] GPU：4–8× H100 / H200 80GB
  • [ ] CPU：64 核以上
  • [ ] 内存：512GB+
  • [ ] 存储：8TB+ NVMe
  • [ ] 网络：InfiniBand / 100GbE RoCE
  • [ ] 能跑：70B 高并发、微调、满血可选

三、软件部署核对

  • [ ] NVIDIA 驱动 + CUDA Toolkit（版本匹配框架）
  • [ ] 推理框架：Ollama（易用）/ vLLM·SGLang（高并发）/ llama.cpp（量化）
  • [ ] 模型格式：GGUF / GPTQ / AWQ（按显存选量化档）
  • [ ] 编排：DeepSeek Harness 等接知识库 + 工具
  • [ ] 安全：Nginx 反代 + API Key 鉴权，禁 --host 0.0.0.0
  • [ ] 监控：GPU 利用率 / 显存 / 延迟告警

四、成本年表（自查）

  • [ ] 一次性硬件预算：入门数万 / 标准十万级 / 旗舰数十万–百万
  • [ ] 月电费估算（旗舰需重点核算）
  • [ ] 运维人力：0.5–1 人
  • [ ] TCO 拐点：月 API 费 > 硬件月折旧（总价/36）时自建划算

五、运维红线

  • [ ] 机房散热与 UPS 匹配 GPU 功耗
  • [ ] 模型权重 + 配置定期快照备份
  • [ ] 驱动 / CVE 补丁及时更新
  • [ ] 访问来源白名单限制
  • [ ] 框架与模型版本留回滚方案

六、落地三步

  1. [ ] 验证：入门配置 + Ollama 跑通一个真实场景，两周出 demo
  2. [ ] 定档：按并发与模型规模选标准/旗舰
  3. [ ] 治理：监控 + 鉴权 + 备份 + SLA，再扩场景

需要按贵司实际数据敏感度与预算定档？莱驰云AI 提供企业 AI 应用诊断、AI 培训、AI 解决方案设计三项支持，帮你把这份清单变成可执行的采购与部署方案。