贝壳财经记者注意到，在Grok3的直播发(fa)布会上，马斯(si)克旗下xAI的工作人员(yuan)所展示的第一(yi)张实(shi)景(jing)图(tu)片，就是该公司新建的数据中心(xin)。

“强大的智能来自大型算力(li)集群”。马斯(si)克及其员(yuan)工在直播中表示，xAI此前使用大概6500块(kuai)英伟达H100芯片训练模型，但遭遇了冷却和(he)电(dian)源问(wen)题，为(wei)了尽快发(fa)布Grok3，公司在去年四(si)月耗时122天新建了一(yi)个数据中心(xin)，最终让第一(yi)批10万(wan)个英伟达H100芯片启动并运行，之后又花(hua)了92天加倍了数据中心(xin)GPU的容量。换句话说，为(wei)了训练Grok3，xAI至少(shao)动用了20万(wan)块(kuai)最先进的英伟达H100芯片。

xAI建立的数据中心(xin) 来源：马斯(si)克直播截图(tu)

“马斯(si)克在直播中没有提到这20万(wan)块(kuai)GPU是否为(wei)‘单集群’，如果答(da)案肯定(ding)的话那是非常大的突破，因为(wei)当前国内大部(bu)分（数据中心(xin)）还是1万(wan)块(kuai)卡的集群。”快思慢想研(yan)究院院长，原商(shang)汤智能产业研(yan)究院创始院长田丰告诉(su)新京报(bao)贝壳财经记者。

在性能上，Grok3在大模型界权威盲测榜单“Chatbot Arena（大模型竞技(ji)场）”中得分超1400，刷新了该榜单的新纪录。

结合训练耗费的巨额算力(li)，在这一(yi)成绩背后，Grok3可能还拥有庞大的参数规模，以及训练数据量，因为(wei)“Scaling Law”就是指模型性能与其规模（如参数数量）、训练数据集大小以及用于训练的计算资源之间(jian)存在的一(yi)种可预测的关(guan)系(xi)，简单解(jie)释就是“越大性能越好(hao)”。

田丰认为(wei)，马斯(si)克使用了“大力(li)出奇迹”的方式，“我很好(hao)奇它背后的数据规模有多大，因为(wei)算力(li)、数据和(he)模型参数量是成比例增加的，这么大的算力(li)一(yi)定(ding)是跟模型的大参数量和(he)庞大的训练数据集有关(guan)系(xi)，但这两(liang)个细节马斯(si)克并没有提及，这肯定(ding)既包括互联(lian)网上的数据，也包括特斯(si)拉工厂里的一(yi)些物理数据。”

贝壳财经记者注意到，对(dui)于训练数据集，xAI的工作人员(yuan)举了一(yi)个形象的比喻“压缩整个互联(lian)网”，马斯(si)克则透露Grok3的计算量是Grok2的10到15倍。

事实(shi)上，科学界有一(yi)种观点认为(wei)，随着互联(lian)网上可用于训练的数据接近枯竭，“Scaling Law”将面临瓶(ping)颈(jing)，而(er)Grok3、o3-mini等在DeepSeek-R1之后发(fa)布的大模型则证(zheng)明“Scaling Law”依然有效。这也提振了市场对(dui)算力(li)供应(ying)商(shang)的信心(xin)。截至北京时间(jian)2月21日，英伟达的股价为(wei)每股140.11美元，自1月24日至今呈现出了一(yi)个“深V”走势，DeepSeek-R1发(fa)布后所损失(shi)的市值现已基本“收复”。

英伟达股价走势图(tu)

中国科学院软(ruan)件所博士、新浪微博技(ji)术研(yan)发(fa)负责人张俊林(lin)表示，所谓(wei)“Scaling Law撞墙”的普遍问(wen)题是数据不够，导致预训练阶段的Scaling Law走势趋(qu)缓(huan)，但这是趋(qu)缓(huan)不是停顿(dun)。即便没有新数据，推大模型尺寸规模，效果仍然会上升。

张俊林(lin)预测，“Grok 3的尺寸规模很可能不是一(yi)般的大（感觉(jue)在200B到500B之间(jian)），很明显，Grok 3仍然在采取推大基座模型尺寸的‘传统’做法，这种做法性价比很低。”

另一(yi)个细节是，虽然马斯(si)克强调(diao)“当发(fa)布下一(yi)代模型后，上一(yi)代模型就将开源”，但和(he)OpenAI发(fa)布的GPT系(xi)列以及o系(xi)列模型一(yi)样(yang)，Grok3也是一(yi)个闭源大模型。对(dui)此，田丰告诉(su)记者，由(you)于xAI起步较晚，马斯(si)克必须不计代价去投入资源以达到最顶尖的模型水平(ping)，这也导致他(ta)后续将会采用收费的模式。

梁文锋、杨(yang)植(zhi)麟(lin)聚焦AI降本增效让大模型人人可用

当马斯(si)克的Grok3背靠新建数据中心(xin)以及20万(wan)块(kuai)H100的支持，在各路评分榜单攻城略地之时，梁文锋依旧一(yi)如既往坚持着DeepSeek“降本增效”的技(ji)术创新之路。

北京时间(jian)2月18日下午3时4分，就在马斯(si)克刚刚完成Grok3发(fa)布的一(yi)小时后，DeepSeek官方在社交(jiao)平(ping)台介绍了一(yi)种名为(wei)NSA（Native Sparse Attention原生(sheng)稀疏注意力(li)）的新机制，并贴出了详细介绍和(he)论文链接。DeepSeek官方称，该机制加快了推理速度(du)，降低了预训练的成本，且不影响模型性能。

新京报(bao)贝壳财经记者阅读(du)了这篇直译为(wei)《原生(sheng)稀疏注意力(li)：硬件对(dui)齐与可训练的稀疏注意力(li)》的论文，发(fa)现NSA机制的核心(xin)思想是通过将输入的序列以“压缩”“选(xuan)择(ze)”“滑动”的方式分成三(san)个并行的“分支”块(kuai)，减少(shao)计算量，这种块(kuai)状处理方式与GPU的并行计算能力(li)相匹配，充分利用了硬件的计算资源。

以通俗易懂的语言解(jie)释就是，假设大模型正在做阅读(du)理解(jie)，需要回答(da)一(yi)个关(guan)于文章(zhang)主题的问(wen)题，传统的“全注意力(li)”机制就类似于阅读(du)完全部(bu)文章(zhang)再回答(da)问(wen)题。而(er)采用NSA机制，大模型会首先快速浏览文章(zhang)，抓住文章(zhang)的大致主题和(he)结构（即“压缩”注意力(li)），再仔细阅读(du)与问(wen)题最相关(guan)的段落或句子（即“选(xuan)择(ze)”注意力(li)），同时为(wei)了防止跑题，关(guan)注局部(bu)上下文，确保理解(jie)问(wen)题的背景(jing)（即“滑动”注意力(li)）。在这一(yi)机制下，大模型可以成为(wei)得到指点的“优秀考生(sheng)”。

DeepSeek论文截图(tu)

根据DeepSeek在论文中展示的图(tu)表，NSA在基准测试中的得分（左(zuo)图(tu)中红(hong)色）优于传统的全注意力(li)模型（左(zuo)图(tu)中橙色），而(er)NSA的计算速度(du)（右图(tu)中红(hong)色）则明显快过全注意力(li)模型（右图(tu)中黄色），在解(jie)码、向前传播、向后传播三(san)项维(wei)度(du)上的速度(du)分别达到了全注意力(li)模型的11.6倍、9倍和(he)6倍，这意味着模型的训练速度(du)和(he)推理速度(du)都(dou)将得到成倍提高。

对(dui)此，原谷歌顶级工程师，现已加入OpenAI的Lucas Beyer在社交(jiao)平(ping)台评论道，论文中出现的图(tu)表非常漂亮，仅发(fa)现绘(hui)图(tu)方面可能存在一(yi)些小瑕疵，“可以看出这篇论文在发(fa)表之前经过精细的打磨，恭喜DeepSeek现在有一(yi)个新粉丝了。”

无(wu)独有偶，2月18日下午8点20分，“AI六小虎”之一(yi)的Kimi也发(fa)表了类似的论文，该论文主要介绍了一(yi)个名为(wei)MoBA（MIXTURE OF BLOCK ATTENTION直译为(wei)块(kuai)状混合注意力(li)）的机制，该机制的核心(xin)思想同样(yang)是将长文本分割为(wei)多个固定(ding)大小的“块(kuai)”，此后再通过动态选(xuan)择(ze)每个块(kuai)的相关(guan)性，最终达到提高计算效率(lu)的作用，处理1M长文本的速度(du)可以提升6.5倍。

值得注意的是，DeepSeek和(he)Kimi的这两(liang)篇论文中，分别出现了双方创始人梁文锋和(he)杨(yang)植(zhi)麟(lin)的名字，其中DeepSeek的论文还是梁文锋本人投递的。

而(er)且贝壳财经记者注意到，不论是NAS机制还是MoBA机制，都(dou)强调(diao)了可以无(wu)缝集成到现有的语言模型中，无(wu)需重新训练已有大模型。这意味着这两(liang)项科技(ji)成果都(dou)可以直接拿来给现有的大模型“加速”。

对(dui)于DeepSeek此次论文的发(fa)布，有外国网友表示，“这就是我喜欢DeepSeek胜过行业大多数前沿模型的原因，他(ta)们正在创新解(jie)决(jue)方案，他(ta)们的目标不仅仅是创造一(yi)个通用人工智能，而(er)是让它高效化、本地化，让每个人都(dou)能运行和(he)维(wei)护，无(wu)论计算资源如何。Grok3看起来很棒，但它并不开源，并且是在20万(wan)块(kuai)H100上训练出来的。”

田丰告诉(su)记者，追求极(ji)致的模型算力(li)和(he)性价比是中国必须完成的任务，这是由(you)复杂的“卡脖子”问(wen)题造成的，但这对(dui)美国的AI公司不是问(wen)题，所以马斯(si)克才(cai)会不计代价扩张算力(li)，模型只要足够好(hao)，领先OpenAI、DeepSeek和(he)谷歌就可以了，不在乎成本是否全球最优，“从马斯(si)克的发(fa)布会上可以感觉(jue)出来，可能在未来很长一(yi)段时间(jian)美国的大模型企业并不会去追求极(ji)致的性价比，更多还是会追求领先的性能。”

2月21日，DeepSeek在最新的公告中延续了自己(ji)开源免费的风(feng)格。在公告中，DeepSeek表示“我们是一(yi)个探索AGI（通用人工智能）的小团队，下周起我们将开源5个代码库，以完全透明的方式分享我们微小但真诚(cheng)的进展。”

DeepSeek表示，“作为(wei)开源社区(qu)的一(yi)部(bu)分，我们相信，每分享一(yi)行代码，都(dou)会成为(wei)加速AI行业发(fa)展的集体动力(li)。每日解(jie)锁的开源项目即将到来，没有高不可攀的象牙塔，只有纯粹的车库文化（记者注：不少(shao)美国著名企业从车库里诞生(sheng)）和(he)社区(qu)驱动的创新。”

贝壳财经记者注意到，DeepSeek“开源免费”的模式也对(dui)美国的大模型发(fa)展造成了影响。2月20日，xAI发(fa)文称，将免费提供Grok3的服务，“直到服务器崩溃为(wei)止”。

对(dui)此，记者登录Grok3网页版，并提出了一(yi)个问(wen)题“说说你和(he)DeepSeek的对(dui)比”，Grok3回答(da)，“我的训练成本相对(dui)较高，这反映了我在性能和(he)技(ji)术上的巨大投入。据估计，我的训练使用了约20万(wan)块(kuai)GPU，总(zong)训练时间(jian)超过200天，电(dian)力(li)成本约为(wei)2500万(wan)美元。如果加上GPU采购、维(wei)护等费用，实(shi)际成本会更高。相比之下，DeepSeek的训练成本低得多。例如，DeepSeek-V3的训练成本为(wei)600万(wan)美元，使用了278.8万(wan)GPU小时。这一(yi)成本优势得益于其高效的混合专家（MoE）架构和(he)优化的训练策略，显著降低了计算需求。”Grok3还在功能与性能、开放性等方面做出了与DeepSeek的比较。

新京报(bao)贝壳财经记者与Grok3的对(dui)话截图(tu)

Grok3在回答(da)的结语中告诉(su)贝壳财经记者，“感谢你对(dui)中国AI发(fa)展的关(guan)注！作为(wei)Grok，我为(wei)自己(ji)的性能和(he)技(ji)术感到自豪，同时也尊重DeepSeek在成本效率(lu)和(he)开放性上的优势。AI的进步是全球共(gong)同努力(li)的结果，中美都(dou)在其中发(fa)挥(hui)了重要作用。”

记者联(lian)系(xi)邮箱：luoyidan@xjbnews.com

新京报(bao)贝壳财经记者 罗亦丹

编辑(ji) 岳彩周

校对(dui) 穆祥桐