(文/觀察者網(wǎng) 張廣凱 編輯/呂棟)
北京時(shí)間8月8日凌晨,備受期待的OpenAI最新大模型ChatGPT-5終于正式發(fā)布,就在同時(shí),谷歌舉辦的首屆大模型國(guó)際象棋對(duì)抗賽中,o3也以4-0完勝Grok 4奪冠。這本該是對(duì)OpenAI雙喜臨門(mén)的一天,但作為一款關(guān)注度如此之高的產(chǎn)品,網(wǎng)友也很快發(fā)現(xiàn)了GPT-5的一些小小的瑕疵。
盡管大模型的能力仍然在快速進(jìn)步,但其進(jìn)步幅度越來(lái)越難以給人帶了驚艷感了。這不是OpenAI自己的問(wèn)題,甚至某種意義上,這也不是一件壞事,因?yàn)槭侵叭藗兊念A(yù)期已經(jīng)被拉到過(guò)高。但無(wú)論如何,在現(xiàn)有的算法范式下,AI大模型或許也離瓶頸越來(lái)越近了。
GPT-5水平如何?
作為OpenAI今年最受期待又屢屢跳票的重磅產(chǎn)品,ChatGPT-5今天的確給出了一些頗具說(shuō)服力的測(cè)評(píng)數(shù)據(jù),證明其推理能力有著顯著進(jìn)步。
例如,在數(shù)學(xué)能力測(cè)試AIME 2025上,GPT-5 Pro在開(kāi)啟推理模式并調(diào)用工具(Python)的情況下,拿下滿分成績(jī)。即使不調(diào)用工具,GPT-5 Pro仍能拿下96.7的高分,GPT-5標(biāo)準(zhǔn)版也能拿到94.65分,顯著高于o3的88.9分。
編程方面,GPT-5在SWE-bench Verified上得到74.9分,高于o3的69.1和4o的30.8分。
博士水平的科學(xué)知識(shí)測(cè)試GPQA Diamond中,不調(diào)用工具的GPT-5 Pro推理模式拿到88.4分,創(chuàng)造新紀(jì)錄。
多模態(tài)方面,GPT-5得到84.2分,比o3的82.9分有小幅提升。
高難度的Humanity's Last Exam(人性終極測(cè)試)上,GPT-5 Pro和GPT-5在不調(diào)用工具時(shí)分別得到30.7和24.8分,較o3的14.7分大幅提升。
大模型競(jìng)技場(chǎng)LM Arena的評(píng)分也已經(jīng)出爐,GPT-5橫掃所有單項(xiàng)的第一名。
此外,GPT-5推理模式的幻覺(jué)數(shù)量比o3少了六倍,成本方面則可以減少50-80%的token輸出量。
這些數(shù)據(jù)都證明,GPT-5算得上是一次成功的大版本升級(jí)。
但另人尷尬的是,在發(fā)布會(huì)后,網(wǎng)友迅速發(fā)現(xiàn)GPT-5在解一道極其簡(jiǎn)單的方程時(shí)又犯了計(jì)算錯(cuò)誤:
看起來(lái),GPT-5還是沒(méi)能解決小數(shù)比大小的問(wèn)題。
而OpenAI發(fā)布會(huì)PPT里的小瑕疵,也引起了網(wǎng)友熱議。大家發(fā)現(xiàn)在這張圖表里,柱狀圖的高度出現(xiàn)了明顯錯(cuò)誤,但并不知道這是人為錯(cuò)誤還是由AI生成。
有網(wǎng)友指出,在關(guān)于機(jī)翼升力原理的回答中,GPT-5也引用了一個(gè)廣為流傳的錯(cuò)誤觀點(diǎn)。當(dāng)然,這樣的問(wèn)題歸咎于AI未免過(guò)于苛刻。
馬斯克則“嘴硬”稱,Grok 4在ARC-AGI測(cè)試中仍然打敗了GPT-5。
做題好是不是真的好?
那么,如何評(píng)價(jià)GPT-5的真實(shí)水平,或許日前的大模型國(guó)際象棋對(duì)抗賽恰好給我們提供了一個(gè)很好的參考。
同樣在今天凌晨結(jié)束的對(duì)抗賽上,OpenAI旗下的o3以4-0完勝Grok 4,奪得最終冠軍。盡管Grok 4在此前兩輪中都表現(xiàn)出色,但在決賽中,隨著對(duì)局長(zhǎng)度增加,Grok 4也開(kāi)始表現(xiàn)出棋力下降。
例如在第一局中,Grok 4莫名其妙地放棄了自己的象,并且沒(méi)有獲得任何明顯的回報(bào),而Grok 4也并未在推理中說(shuō)明理由。
o3盡管表現(xiàn)相對(duì)出色,在昨天的半決賽中還下出過(guò)正確率評(píng)分100%的棋局,但縱觀整個(gè)比賽過(guò)程,也不乏低級(jí)失誤。
或許有人會(huì)質(zhì)疑,讓AI下棋究竟能證明什么?AI對(duì)抗賽的勝負(fù),是不是僅僅取決于它們使用了多大規(guī)模的訓(xùn)練數(shù)據(jù)?DeepSeek下棋不好,但是作詩(shī)是不是更好?
事實(shí)上,如果只糾結(jié)于下棋或者作詩(shī)的技能水平,說(shuō)明并未理解谷歌采用這種比賽形式的邏輯。
此次國(guó)際象棋比賽的意義,并非考驗(yàn)大模型的算力,而是考驗(yàn)其推理能力。
如果大模型在接受了大量棋譜訓(xùn)練之后,體現(xiàn)出高超棋力,這只能證明AI的記憶力或者算力強(qiáng)大,而這件事在2017年就已經(jīng)被AlphaGo證明過(guò)了。
但是由于這些通用大模型都沒(méi)有接受過(guò)專門(mén)的棋譜訓(xùn)練,因此往往只能在開(kāi)局階段憑借記憶下出經(jīng)典開(kāi)局。在幾個(gè)回合之后,大模型已經(jīng)無(wú)法找到人類棋譜作為參考,它們的思維結(jié)構(gòu)也并非像AlphaGo那樣專為下棋設(shè)計(jì)。因此,這時(shí)候的AI推理,是跟人類相同的推理方式,通過(guò)語(yǔ)言邏輯來(lái)推演棋盤(pán)變化。
上述無(wú)工具的數(shù)學(xué)測(cè)試,起到的也是類似作用:考驗(yàn)AI用人類邏輯進(jìn)行計(jì)算的能力,而不是使用專門(mén)的機(jī)器算法。
因?yàn)闊o(wú)論是AlphaGo也好,還是計(jì)算工具也好,這樣的AI在特定任務(wù)中無(wú)比強(qiáng)大,但是卻毫無(wú)泛化性,不能解決任何其它問(wèn)題。只有使用人類邏輯推理的模型,才能在人類世界中擁有最好的泛化性。
而在這個(gè)維度上,我們可以看到,無(wú)論是o3、Grok 4,還是最新升級(jí)的GPT-5,哪怕他們大部分時(shí)間都能夠解決復(fù)雜問(wèn)題,但也還會(huì)犯下對(duì)人類來(lái)說(shuō)的低級(jí)錯(cuò)誤。這是現(xiàn)有的Next Token Predicting范式下仍然難以完全克服的問(wèn)題,也說(shuō)明它們或許離AGI的最終形態(tài)還有遙遠(yuǎn)距離。
OpenAI顯然也不再希望把外界的胃口掉得過(guò)高。在本次發(fā)布會(huì)上,我們可以看到OpenAI花了更多時(shí)間介紹GPT-5在垂直場(chǎng)景應(yīng)用的能力,例如生成小游戲、回答健康問(wèn)題的能力,這都是為了讓AI與人類更好地共存與協(xié)作。
本文鏈接:GPT-5大提升,o3對(duì)抗賽奪冠,但OpenAI越來(lái)越難讓人驚艷了?http://www.sq15.cn/show-3-151659-0.html
聲明:本網(wǎng)站為非營(yíng)利性網(wǎng)站,本網(wǎng)頁(yè)內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn),不代表本站觀點(diǎn),本站不承擔(dān)任何法律責(zé)任。天上不會(huì)到餡餅,請(qǐng)大家謹(jǐn)防詐騙!若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。