最近一篇挂在 arXiv 上、没有任何宣发的技术报告，悄悄登顶了 HuggingFace 每日论文榜首——它就是来自上海人工智能实验室与上海交大 LUMIA Lab 的 NCP-ArchPreview。研究者们做了一件听起来很朴素、实际很颠覆的事：让 AI 先想概念，再写词。

传统大模型是怎么"说话"的？

现在几乎所有大语言模型，训练目标都是 NTP（Next-Token Prediction，预测下一个词）：给它前面一段话，让它猜下一个词是什么，一个词一个词地往外蹦。这个范式统治了大模型十年，但也有缺点——模型忙于"选词"，未必真的理解了整段话要表达的意思。

上海AI Lab提出'先想后说'新范式：8.9B隐空间大模型，训练Token直接减半

NCP 的新思路：预测"下一个概念"

NCP（Next-Concept Prediction，下一个概念预测）的做法是：除了预测下一个词，模型还要先预测下一个概念块——一个由几个词组成、代表一个完整意思的"中间表示"。打个比方，传统模型像一个字一个字地往外蹦的人，NCP 模型像一个先在脑子里想好"这一句要讲什么意思"，再把这个意思展开成具体词句的人。

效果有多好？

  • 跑出了全球首个 8.9B 规模的离散隐空间基座模型；
  • 在 Dolmo-3 的 5.73 万亿 token 大规模开源语料上，只消耗了约一半（51.3%）的训练 token；
  • 性能追平 OLMo-3-7B，GSM8K 数学测试还高出 5.99 分。

训练成本减半，能力还不降反升——这正是让全球研究者兴奋的原因。它暗示了一条路：也许"逐字预测"并不是大模型唯一的出路。

信息来源：arXiv、腾讯新闻、SevenLab。