20萬顆GPU“燒出”Grok3：業界稱“大力出奇跡”仍可行，算力仍是護城河
Grok 3表明依靠算力堆積的“大力出奇跡”路徑目前依舊可行。
2月18日，特斯拉創始人埃隆?馬斯克旗下xAI推出最新大模型Grok 3。據介紹，雖然Grok起步較晚，但MMLU(大規模多任務語言理解基準測試)得分已追上ChatGPT，Grok 3和輕量化的Grok 3 mini在多個性能上都超過或媲美Gemini、DeepSeek和GPT-4o等對手。
Grok 3在xAI位于孟菲斯的Colossus超算中心進行訓練。xAI透露，這一超算中心的算力已經翻倍，擁有的英偉達GPU數量已達到20萬顆。
本以為是馬斯克又在虛張聲勢，但這次Grok 3的確沒有令人失望。
基于Grok 3的優秀表現，不少業內人士再度表露了對算力堆積這種“大力出奇跡”路徑的認可。更有分析人士指出，Grok 3證明了縮放法則(scaling law)在達到上限之前仍有發展空間――這對整個行業來說是一個令人鼓舞的信號。
AI大牛、前OpenAI 研究員、前特斯拉AI負責人Andrej Karpathy在成為Grok 3首批用戶后，在社交媒體上發布了一份詳細的測評總結。他稱贊了Grok 3 的邏輯推理能力，并指出其性能可與OpenAI的o1-pro模型相媲美，后者的月度費用為200美元。他還認為，Grok 3的推理能力略優于DeepSeek-R1、谷歌的Gemini 2.0 Flash Thinking。
不過，他也指出了Grok 3的一些局限性，包括搜索功能DeepSearch中偶爾出現的幻覺和事實錯誤。
“考慮到該團隊大約1年前才從零開始，這真是令人難以置信，他們以前所未有的速度達到了幾乎業內最高水平。”Karpathy表示。
不少科技領域的分析人士表明，Grok 3的成功，在很大程度上就是依靠算力堆積。
人工智能服務網站Maginative創始人兼主編Chris McKay認為，xAI自成立以來，僅用了一年多的時間就迅速開發出了具有競爭力的AI技術，其成功很大程度上得益于創新的計算基礎設施和對大量計算資源的訪問。隨著更多超算集群的規劃，xAI似乎有望繼續提升模型能力。
沃頓商學院人工智能教授Ethan Mollick認為Grok 3完全符合預期。他指出，人工智能仍在加速發展，速度和算力都是護城河，“人才和芯片就是打造前沿模型的公開秘訣”。
“護城河可能不深，但足以淹死初創企業。”雪城大學公共傳播學院教授、咨詢公司The Palmer Group首席執行官Shelly Palmer評論說。在他看來，Grok 3的護城河“已經被金錢填滿”。英偉達H100 GPU的價格在3萬至4萬美元之間，即使馬斯克拿到了折扣，這仍然是一項30億到50億美元的龐大投資。
公開信息顯示，OpenAI訓練GPT-4用了大約2.5萬張A100 GPU，而H100的訓練吞吐量遠高于A100；據DeepSeek公布的信息，DeepSeek-V3模型預訓練費用僅為557.6萬美元，在2048塊英偉達H800 GPU(針對中國市場的低配版GPU)集群上耗時55天完成。
隨著DeepSeek的橫空出世，不少人提出縮放法則(scaling law)可能會失效或者不再完全適用。縮放法則是AI研究中的一個重要指導原則，它認為，在大多數情況下，增加規模(模型參數、數據量、算力)都能提高模型的表現，但效益遞減。
科技領域博主Zain Kahn表示，近幾個月來，有觀點認為，向大模型投入更多數據和算力將不再奏效，但Grok 3證明了這種懷疑并不正確。xAI才進入這個領域兩年，就已經與頂尖公司展開了激烈競爭，甚至擊敗了頂尖公司。
Kahn強調說，xAI龐大的Colossus超算集群將大模型推向了新的高度，“預訓練縮放法則在達到上限之前仍有發展空間――這對整個行業來說是一個令人鼓舞的信號。”
機構也對算力的作用給出了肯定，指出算力堆積仍是模型進步的關鍵變量。
華泰證券在2月20日發布的研報中提出，Grok 3證明預訓練在算力提升下仍能突破。雖然目前在預訓練數據上存在瓶頸，但是合成數據、RL(強化學習)數據、工程能力優化，甚至Transformer架構迭代，或能逐步打破瓶頸，Grok 3已經證明預訓練依然有突破空間。
國泰君安也提到，xAI算力資源儲備與開源策略的平衡，凸顯算力與算法的同等重要性。高昂的算力投入已經形成了顯著的技術門檻。
中信證券指出，Grok 3作為全球首個在十萬卡集群上訓練的大模型，綜合能力較前代模型Grok 2提升顯著，意味著算力堆積仍是模型進步的關鍵變量之一。
記者 吳遇利
本文鏈接：20萬顆GPU“燒出”Grok3：業界稱“大力出奇跡”仍可行，算力仍是護城河http://www.sq15.cn/show-2-10863-0.html
聲明：本網站為非營利性網站，本網頁內容由互聯網博主自發貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。