10秒內(nèi)完成簡(jiǎn)單任務(wù)
西風(fēng) 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
谷歌DeepMind號(hào)稱打造出了首個(gè)能在廣泛3D虛擬環(huán)境和視頻游戲中遵循自然語(yǔ)言指令的通用AI智能體。
名為SIMA，不是NPC，是可以成為玩家拍檔，幫忙干活打雜的那種。
比如，在《模擬山羊3》（Goat Simulator 3）中當(dāng)司機(jī)開開車：
在《幸福工廠》（Satisfactory）中挖礦石：
在《瓦爾海姆》（Valheim）中尋找水源：
在《無(wú)人深空》中（No Man’s Sky）駕駛宇宙飛船射擊小行星收集資源：
……
SIMA全稱Scalable Instructable Multiworld Agent，顧名思義可擴(kuò)展、可指導(dǎo)、多世界。
之前，谷歌DeepMind在AI+游戲方面也做過(guò)許多工作，比如推出能和人類玩家打PK、會(huì)玩《星際爭(zhēng)霸II》的AlphaStar系統(tǒng)。
而SIMA被DeepMind稱作是一個(gè)“新的里程碑”，主打從適用單一游戲轉(zhuǎn)向通用多種游戲，且可遵循語(yǔ)言指令。
SIMA一公開，網(wǎng)友們也是討論熱烈。
讓它們替我完成無(wú)聊繁瑣的任務(wù)，這樣我就可以直接做有趣的部分，而不必花幾個(gè)小時(shí)培育chocobos獲取隨機(jī)召喚。
嗯…《最終幻想》（Final Fantasy）玩家無(wú)疑了。
專業(yè)《模擬山羊》玩家在此刻也懵了：
最近這一連串的AI進(jìn)展也是整的網(wǎng)友們措不及防，直呼“慢一點(diǎn)”：
10秒內(nèi)完成的簡(jiǎn)單任務(wù)
接下來(lái)再來(lái)看一波SIMA的表現(xiàn)。
為了讓SIMA接觸到更多游戲環(huán)境，開發(fā)團(tuán)隊(duì)表示目前已與八家游戲工作室合作，在九款不同的視頻游戲上訓(xùn)練和測(cè)試了SIMA。
當(dāng)前的SIMA已在600個(gè)基本技能上進(jìn)行了評(píng)估。
基本操作、交互、使用菜單都會(huì)：
簡(jiǎn)單的任務(wù)，10秒內(nèi)可完成。
各種場(chǎng)景都能適應(yīng)：
除此外，谷歌DeepMind還發(fā)布了一份技術(shù)報(bào)告，一起來(lái)看看里面都有啥。
未見過(guò)的游戲也會(huì)玩
SIMA的整體架構(gòu)是將預(yù)訓(xùn)練視覺(jué)模型與自監(jiān)督學(xué)習(xí)的Transformer相結(jié)合。
從用戶那里接收語(yǔ)言指令，并從環(huán)境中獲取圖像觀察結(jié)果，然后將它們映射為鍵盤和鼠標(biāo)動(dòng)作。
具體架構(gòu)如下圖：
開發(fā)人員收集了一個(gè)既包括精選研究環(huán)境又包括商業(yè)視頻游戲的大型多樣化游戲數(shù)據(jù)集。
此外，他們還用Unity創(chuàng)建的一個(gè)新環(huán)境，名為“the Construction Lab”。在這個(gè)環(huán)境中，智能體需要使用積木構(gòu)建雕塑，這考驗(yàn)了它們對(duì)物體的操縱能力和對(duì)物理世界的理解。
數(shù)據(jù)收集包含多種方法，比如讓不同成對(duì)的人類玩家的互動(dòng)，其中一名玩家觀察并指導(dǎo)另一名玩家，以此來(lái)捕獲語(yǔ)言指令；讓玩家自由玩游戲，觀察他們的操作，并記錄下可能導(dǎo)致其游戲行為的指令。
通過(guò)在不同的游戲世界中學(xué)習(xí)，SIMA能夠?qū)⒄Z(yǔ)言與游戲行為相結(jié)合。
不需要訪問(wèn)游戲源代碼，也不需要定制API，僅需要兩個(gè)輸入：屏幕上的圖像和用戶提供的簡(jiǎn)單的自然語(yǔ)言指令。
然后SIMA就會(huì)使用鍵盤和鼠標(biāo)輸出來(lái)控制游戲角色以執(zhí)行這些指令，這一操作與人類類似，也就意味著SIMA有潛力與任何虛擬環(huán)境互動(dòng)。
在評(píng)估測(cè)試中，研究人員表示SIMA在九個(gè)3D游戲集上接受訓(xùn)練，表現(xiàn)顯著優(yōu)于僅在單個(gè)游戲上專門訓(xùn)練的智能體。
而且SIMA在未訓(xùn)練過(guò)的游戲中的表現(xiàn)和專門使用該游戲數(shù)據(jù)集訓(xùn)練過(guò)的智能體表現(xiàn)一樣好。
也就是說(shuō)，SIMA在全新環(huán)境中具備泛化能力。
此外測(cè)試結(jié)果還顯示，SIMA的性能依賴于語(yǔ)言。在一個(gè)控制測(cè)試中，智能體沒(méi)有接受任何語(yǔ)言訓(xùn)練或指令，它就會(huì)出現(xiàn)無(wú)目的的操作，不遵循指令。
而且，和人類玩家相比較，SIMA水平還是差一點(diǎn)。
更多細(xì)節(jié)，感興趣的家人們可以查看技術(shù)報(bào)告。
參考鏈接：
[1]https://deepmind.google/discover/blog/sima-generalist-ai-agent-for-3d-virtual-environments/
[2]https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/sima-generalist-ai-agent-for-3d-virtual-environments/Scaling%20Instructable%20Agents%20Across%20Many%20Simulated%20Worlds.pdf
本文鏈接：谷歌通用AI智能體發(fā)布，3D游戲玩法要變天了http://www.sq15.cn/show-2-3867-0.html
聲明：本網(wǎng)站為非營(yíng)利性網(wǎng)站，本網(wǎng)頁(yè)內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn)，不代表本站觀點(diǎn)，本站不承擔(dān)任何法律責(zé)任。天上不會(huì)到餡餅，請(qǐng)大家謹(jǐn)防詐騙！若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。