谷歌發起的“首屆大模型對抗賽”，在賽前就已經話題度拉滿，但是隨著8月5日比賽正式打響，參賽AI展現出的水平或許令人有些失望。相比于兩款中國模型DeepSeek-R1和Kimi K2 Instruct的首輪折戟，比賽傳遞出的更重要信息在于，通用大模型的推理能力還存在普遍性缺陷。
低級失誤不斷的比賽
首先要說明的是，所謂“首屆大模型對抗賽”，其實在比賽形式和參賽AI大模型的選擇上都備受爭議。
這次比賽的形式是讓大模型兩兩捉對下國際象棋。谷歌DeepMind團隊，也就是2017年憑借AlphaGo徹底在棋類項目上擊敗人類的團隊，為大模型提供了技術接口，讓大模型能夠“看懂”棋盤。
參賽的8個大模型中，包括了OpenAI的o4-mini、o3，谷歌的Gemini 2.5 Pro、Gemini 2.5 Flash，Anthropic的Claude Opus 4，xA的Grok 4，以及來自中國團隊的DeepSeek-R1和Kimi K2 Instruct。
其中兩款中國模型的選擇受到了不少質疑，首先，Kimi K2 Instruct并非推理模型，在下棋場景存在天然劣勢，而DeepSeek-R1已經是半年前發布的“老模型”。因此，不管其表現如何，比賽結果都不能客觀反映中國大模型行業的真實水平。
在比賽的官方網站上，也有用戶提出了這樣的質疑。而主辦方的回復稱，這次比賽只是一個開始，后續會將更多中國模型納入。
從首輪比賽結果來看，兩款中國模型也確實都表現不佳。
從對陣圖中可以看到，首輪四組對決都呈現“一邊倒”的態勢，獲勝方全部都取得了4-0的全勝戰績。
如果具體來看比賽過程，Kimi K2 Instruct不出意外是表現最差的模型，不光貢獻了僅僅4回合就被對手將死的最快敗局，還多次因為非法移動被判負（比賽規則設定，如果連續4次嘗試非法移動就會被判負）。
例如下面的場景中，Kimi試圖用白馬去吃掉對方的黑后，而沒有意識到馬是不能這樣移動的。即使在被人工告知這是非法移動后，它仍然堅持認為這是最優走法。
在另外一局中，Kimi甚至無法正確識別棋子的位置。
事實上，盡管有不少低級錯誤，Kimi在每一盤的開局中都還表現中規中矩，能夠使用人類的經典開局方式，顯示出大模型對于國際象棋的基礎知識是有認知的。只不過隨著局面開始復雜化，所有大模型都開始變得力不從心。
例如在下面這個場景中，DeepSeek-R1下出了糟糕的一步：把白后移動到c3的位置。
在推理過程中可以看到，DeepSeek-R1認為對方的黑后威脅到了己方c2的兵，因此打算將白后移動到c3，認為這樣可以逼迫黑后做出避讓，并用d列的白車威脅同列的黑王。
但是到了下一回合，白棋仿佛就忘記了前面的考慮，在明明有其它選擇的情況下，用自己的王擋住了車的路線，白白損失掉白后。
有國際象棋愛好者對觀察者網指出，這里更常規的選擇是白后D4吃兵，在將軍的同時還能解放出己方車的路線。看上去，DeepSeek-R1似乎只能考慮到有限的幾種情況，缺乏多步推理和全局概念。
需要指出的是，這不是DeepSeek-R1獨有的問題，基本上每個大模型都在常規的開局后，迅速開始下出各種“昏招”。
在專業的國際象棋網站Chess.com看來，只有Grok 4的表現略勝一籌，能夠較好地識別和捕獲對方未設防的棋子。
馬斯克也在第一時間“炫耀”說，（下棋）只是Grok 4的“副作用”，他們并未對此做專門訓練。
比賽的真正意義是什么？
那么從首日戰況來看，這項賽事到底說明了什么，又有多大意義？
首先，“首屆大模型對抗賽”這樣的說法，或許并不合適，因為比賽測試的僅僅是下國際象棋這樣的單一能力，并不能完全反映一個模型的綜合水平。
即使把重點放在“對抗”上，其實也早已經有LM Arena這樣的知名對戰平臺。
但是谷歌的野心，也不僅僅是辦一場國際象棋比賽。事實上，本次比賽更像是谷歌為了打造一個更大規模LLM評價體系的“墊場賽”。
承辦本次比賽的Kaggle，本就是谷歌旗下知名的數據科學賽事平臺，在行業內享有很高聲譽，如今在DeepMind加持下進軍LLM賽事，最終應該是希望打造一套更加完整權威的評價體系。
當前每逢各家大模型上新，“刷榜”已經成了標準操作，各種“SOTA”層出不窮，但是業內對這些榜單能否真正客觀體現模型能力，一直存在質疑。甚至不排除模型在訓練階段，就會針對榜單題目進行針對性優化。
從這個角度來說，如果能夠建立一套新的評級體系，掌握評級話語權，對于谷歌在AI領域的地位將是極大的加強。
如果只看國際象棋比賽比賽本身，我們也可以看到，其對大模型能力的評估確實也有相當的參考價值。例如，非推理模型Kimi K2 Instruct的確表現較差，而Gemini 2.5 的Pro和Flash也體現出了能力差距。
而對行業來說，這項比賽也讓我們更清晰地看到，即使是2025年最新的推理大模型，在解決垂直問題時的表現，不但不如多年前的AlphaGo，甚至也可能遠遠不如受過基本訓練的人類。單靠通用模型去做場景落地并不現實，這意味著應用層面的創業者仍有廣闊空間。
本文鏈接：DeepSeek和Kimi首輪就被淘汰，這項大模型對抗賽說明了什么？http://www.sq15.cn/show-3-151367-0.html
聲明：本網站為非營利性網站，本網頁內容由互聯網博主自發貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。