奧爾特曼領(lǐng)銜成立新安全委員會(huì)，OpenAI安全文化警報(bào)解除了嗎
OpenAI正雄心勃勃籌劃著下一代人工智能(AI)軟件，但原安全團(tuán)隊(duì)的解散與核心成員的集體“跳船”，也給這家AI“當(dāng)紅炸子雞”企業(yè)拉響了安全警報(bào)。
當(dāng)?shù)貢r(shí)間28日，OpenAI首席執(zhí)行官奧爾特曼(Sam Altman)領(lǐng)銜成立了該公司全新的安全委員會(huì)，監(jiān)督系統(tǒng)的后續(xù)開發(fā)，原安全團(tuán)隊(duì)離開帶來(lái)的隱憂和安全文化警報(bào)就此解除了嗎？
萊克指責(zé)OpenAI
“宮斗”表象平息，分歧并未彌合？
去年7月，OpenAI組建“超級(jí)對(duì)齊”團(tuán)隊(duì)，其職能是確保這家公司研發(fā)的AI系統(tǒng)符合人類利益和價(jià)值觀。然而，不到一年，該團(tuán)隊(duì)兩位負(fù)責(zé)人本月相繼出走，多位骨干成員主動(dòng)辭職或被解雇，OpenAI也在本月中旬將這一團(tuán)隊(duì)徹底解散。
去年11月，奧爾特曼在所謂“高層內(nèi)斗”中被董事會(huì)閃電解雇，又在短短數(shù)日后重返原職。而這場(chǎng)激烈變動(dòng)的起因，被認(rèn)為正是OpenAI內(nèi)部對(duì)于AI安全性的巨大分歧。
OpenAI聯(lián)合創(chuàng)始人兼首席科學(xué)家蘇茨克維爾(Ilya Sutskever)是“超級(jí)對(duì)齊”團(tuán)隊(duì)的負(fù)責(zé)人之一，也被視為奧爾特曼被解雇事件的發(fā)起人之一。相比奧爾特曼對(duì)AI領(lǐng)域技術(shù)進(jìn)步的樂(lè)觀態(tài)度，蘇茨克維爾要謹(jǐn)慎得多，他認(rèn)為，通用人工智能(AGI)的發(fā)展可能“會(huì)出現(xiàn)雪崩”，從而給人類社會(huì)帶來(lái)不可控的毀滅性風(fēng)險(xiǎn)。因此，第一批AGI的底層信念將極其重要，“必須為其正確地編寫程序”。
這場(chǎng)“高層內(nèi)斗”后，奧爾特曼領(lǐng)導(dǎo)OpenAI照常推進(jìn)技術(shù)轉(zhuǎn)化與成果發(fā)布。今年2月，OpenAI推出了支持將文本轉(zhuǎn)化為視頻的模型“Sora”，并在5月發(fā)布了新旗艦?zāi)Ｐ虶PT-4o，它比去年11月發(fā)布的GPT-4 Turbo快兩倍，在視覺(jué)和音頻理解上也更先進(jìn)。
蘇茨克維爾在5月14日宣布離職時(shí)也一團(tuán)和氣地表示，OpenAI將在現(xiàn)任領(lǐng)導(dǎo)層的帶領(lǐng)下，“打造出既安全又有益的AGI”。
但“超級(jí)對(duì)齊”團(tuán)隊(duì)的另一位負(fù)責(zé)人萊克 (Jan Leike)則沒(méi)有這么客氣。他在社交媒體平臺(tái)上披露離職原因時(shí)稱，他與OpenAI高層在什么是“核心優(yōu)先事項(xiàng)”上存在分歧，并已到了不可彌合的臨界點(diǎn)。
“我認(rèn)為我們應(yīng)該花更多精力在準(zhǔn)備下一代模型上，注重安全、監(jiān)控、準(zhǔn)備、對(duì)抗性的穩(wěn)健、(超級(jí))對(duì)齊、保密、社會(huì)影響等相關(guān)問(wèn)題。這些問(wèn)題非常難以解決，我憂慮的是，我們并沒(méi)有在達(dá)成這些目標(biāo)的軌道上。”萊克稱，“過(guò)去幾個(gè)月，我們的團(tuán)隊(duì)遭遇到阻力，有時(shí)為了算力而掙扎，要完成這些關(guān)鍵研究越來(lái)越難。”
萊克寫道：“OpenAI必須成為一家安全優(yōu)先的AGI公司。”幾天后，萊克宣布加入OpenAI的競(jìng)爭(zhēng)對(duì)手Anthropic，領(lǐng)導(dǎo)一個(gè)新的“超級(jí)對(duì)齊”團(tuán)隊(duì)。
Anthropic首席執(zhí)行官阿莫迪(Dario Amodei)也出身于OpenAI。據(jù)報(bào)道，由于無(wú)法認(rèn)同后者越來(lái)越商業(yè)化的發(fā)展方向，他帶領(lǐng)多位前OpenAI員工創(chuàng)辦了現(xiàn)公司。
除了上述兩位重量級(jí)人物，同樣出走OpenAI的還有“超級(jí)對(duì)齊”團(tuán)隊(duì)成員桑德斯(William Saunders)、科科泰洛(Daniel Kokotajlo)，負(fù)責(zé)對(duì)外溝通和社區(qū)建設(shè)的基爾帕特里克(Logan Kilpatrick)，以及AI政策研究員克魯格(Gretchen Krueger)和奧基夫(Cullen O’Keefe)等人。此外，超級(jí)對(duì)齊團(tuán)隊(duì)成員阿申布倫納(Leopold Aschenbrenner)和伊茲邁洛夫(Pavel Izmailov)則因泄露信息給媒體記者而在4月份被解雇。
科科泰洛稱，他對(duì)OpenAI在發(fā)布能力越來(lái)越強(qiáng)的AI時(shí)是否“負(fù)責(zé)任”失去信心。克魯格也呼吁該公司提高其責(zé)任感和透明度，以及“謹(jǐn)慎使用自己的技術(shù)”。
安全文化和閃亮的產(chǎn)品
當(dāng)?shù)貢r(shí)間28日，OpenAI成立了新的安全與保障委員會(huì)，負(fù)責(zé)監(jiān)督與公司項(xiàng)目和運(yùn)營(yíng)相關(guān)的關(guān)鍵安全決策。但OpenAI并未選擇外部觀察員參與監(jiān)督，這一委員會(huì)由公司內(nèi)部人員組成，包括奧爾特曼以及多位OpenAI董事會(huì)成員等。
OpenAI表示，該委員會(huì)將與OpenAI董事會(huì)全體成員分享其調(diào)查結(jié)果和建議，以供審查，屆時(shí)將“以符合安全和保障的方式”公布任何被采納建議的最新情況。
“OpenAI最近已經(jīng)開始訓(xùn)練下一個(gè)前沿模型，我們預(yù)計(jì)由此產(chǎn)生的系統(tǒng)將使我們?cè)谕ㄍ鵄GI的道路上達(dá)到更高的能力水平。”O(jiān)penAI寫道。
去年11月，奧爾特曼在接受采訪時(shí)表示，他的大部分時(shí)間都在研究“如何打造超級(jí)智能”，但該公司負(fù)責(zé)全球事務(wù)的副總裁馬坎居(Anna Makanju)以及發(fā)言人布爾喬亞(Liz Bourgeois)之后都否認(rèn)，該公司的“使命”并非開發(fā)超級(jí)智能，而是通用人工智能(AGI)。相比具有人類水平的AGI，超級(jí)智能是指超越人類智力水平的AI系統(tǒng)。
OpenAI在官網(wǎng)和創(chuàng)始公告中明確指出，公司的使命是確保AI技術(shù)的發(fā)展是“安全且廣泛受益”的。這意味著，一方面，AI技術(shù)必須是安全的；另一方面，AI技術(shù)帶來(lái)的好處應(yīng)該惠及所有人，而不僅僅是特定群體。
在美國(guó)硅谷從事AI方向創(chuàng)業(yè)、也曾在多家科技企業(yè)負(fù)責(zé)AI相關(guān)產(chǎn)品開發(fā)的Iris此前對(duì)第一財(cái)經(jīng)記者表示，OpenAI的企業(yè)發(fā)展進(jìn)程不可避免地帶來(lái)了這場(chǎng)“安全文化”之爭(zhēng)。
Iris表示，最早期的OpenAI作為非營(yíng)利組織成立，特別是在模型研發(fā)階段，更多以技術(shù)創(chuàng)新為基礎(chǔ)。“這一時(shí)期的OpenAI非常強(qiáng)調(diào)安全性，因此，蘇茨克維爾這樣技術(shù)背景出身的創(chuàng)始人話語(yǔ)權(quán)非常大。”她稱，但隨著技術(shù)的發(fā)展，當(dāng)?shù)疆a(chǎn)品市場(chǎng)匹配階段，OpenAI更多開始考慮如何讓這些技術(shù)惠及更多人。
Iris認(rèn)為，這一階段，“公司的發(fā)展將完全依賴于產(chǎn)品和業(yè)務(wù)的商業(yè)化，這意味著需要將產(chǎn)品更有效地推向市場(chǎng)”。
而這或許也是為什么萊克在其離職聲明中寫道：“在過(guò)去的幾年里，安全文化和流程已經(jīng)被閃亮的產(chǎn)品所取代。”
本文鏈接：奧爾特曼領(lǐng)銜成立新安全委員會(huì)，OpenAI安全文化警報(bào)解除了嗎http://www.sq15.cn/show-2-6519-0.html
聲明：本網(wǎng)站為非營(yíng)利性網(wǎng)站，本網(wǎng)頁(yè)內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn)，不代表本站觀點(diǎn)，本站不承擔(dān)任何法律責(zé)任。天上不會(huì)到餡餅，請(qǐng)大家謹(jǐn)防詐騙！若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。
上一篇： 一箭四星！谷神星一號(hào)海射型遙二運(yùn)載火箭發(fā)射成功
下一篇： “弘揚(yáng)科學(xué)家精神 爭(zhēng)當(dāng)科創(chuàng)主力軍”北京市示范性主題團(tuán)日活動(dòng)舉行