OpenAI核心安全團隊解散，還簽了封口協議！負責人怒斥走錯路：不再安全第一
隨著首席科學家伊爾亞的離開，OpenAI核心安全團隊“超級對齊”被曝解散。同時，一份“封口協議”又把OpenAI推上風口浪尖。
5月14日，OpenAI聯合創始人、首席科學家伊爾亞?蘇茨克維(Ilya Sutskever)宣布離職，幾小時后，超級對齊團隊負責人楊?萊克(Jan Leike)也宣布離職。
據外媒報道，隨著兩位領導的離開，超級對齊團隊已被解散，將納入其他研究工作當中。消息人士透露，注重AI系統安全的員工已經對公司CEO山姆?奧特曼(Sam Altman)的領導失去信心。
同時，OpenAI也被曝出讓員工在離職時簽署帶有“不貶損承諾”的離職協議，如果拒絕簽署就得放棄公司股權。
5月19日，奧特曼發文承認這一條款并道歉稱已在修改，“如果任何簽署過這些舊協議的前員工對此感到擔心，可以聯系我，我們也會解決這個問題。”
奧特曼回應稱：“我們從未收回任何人的既得權益，如果人們不簽署協議(或不同意不貶損協議)，我們也不會這樣做。既得權益就是既得權益。”
他表示，文件中有一項關于潛在股權取消的條款，“盡管我們從未收回任何東西，但這絕不應該是我們在任何文件或通信中提及的內容。這件事情是我的錯，也是我為管理OpenAI而感到的少數尷尬之一；我不知道發生了這種事，但我應該知道。大約在過去一個月的時間里，該團隊已開始修復標準離職文書……對此我深感抱歉。”
“封口協議”之外，安全相關人員的相繼離開，引發人們的更大擔憂。OpenAI的超級對齊團隊主要任務是對研發的AI進行評估并監督，防止AI走向失控局面。
萊克在宣布離職后，也在X(推特)發帖怒斥OpenAI及領導層“重視光鮮的產品，安全文化和流程不再受到重視”。
他強調：“OpenAI必須成為一家安全第一的AGI(通用人工智能)公司……辭去這份工作是我做過最困難的事之一，因為我們迫切需要弄清楚如何引導和控制比我們聰明得多的人工智能系統。然而，我與OpenAI領導層在公司的核心優先事項上存在分歧已有一段時間，直到我們最終達到了臨界點。”
萊克還表示：“我相信我們應該投入更多的精力來為下一代模型做好準備，關注安全性，監控，做好準備，讓AI具有對抗性的魯棒性、(超級)對齊，關注保密性、社會影響等相關主題。這些問題很難做對，我很擔心我們沒有朝著正確的方向前進。”
馬斯克也在萊克的推文下回復稱：“安全問題在OpenAl并不是重中之重。”
彼時，OpenAI總裁格雷戈里?布羅克曼(Greg Brockman)曾發布與奧特曼共同署名的回應表示，“一直在為安全部署功能日益強大的系統奠定基礎”，此后將根據部署過程中吸取的教訓，不斷改進模型行為和濫用監控，“未來將比過去更加艱難。我們需要不斷提升安全工作，以適應每種新模式的風險。”
文中提到：“我們還不確定何時會達到發布的安全標準，如果這會推遲發布時間表也沒關系……我們將繼續針對不同的時間范圍進行安全研究。我們還將繼續與政府和許多利益相關者就安全問題展開合作。”
回應中也坦言：“目前還沒有行之有效的策略指導如何走向AGI，我們認為經驗理解可以幫助指引前進的方向。我們相信我們既能實現巨大的優勢，又能努力降低嚴重的風險。我們非常認真地對待我們在這里所扮演的角色，并仔細權衡對行動的反饋。”
此前的2023年底，奧特曼曾被OpenAI董事會解雇。據外媒報道稱，導火索是幾名研究人員致信警告稱一項強大的AI(人工智能)發現可能威脅到人類。不過在700多名員工威脅辭職以及微軟公司等多方壓力下，奧特曼很快便重返OpenAI擔任CEO，并組建了新董事會。
據消息人士透露，OpenAI首席技術官米拉?穆拉蒂(Mira Murati)曾告訴員工，一封關于Q*(發音為Q-Star)AI取得突破的信件促使董事會采取了解雇行動。
OpenAI在Q*上取得的進展，讓部分公司內部人士相信，這可能是他們找到“超級智能(即AGI)”的突破。OpenAI將AGI定義為“比人類更聰明的AI系統”。
本文鏈接：OpenAI核心安全團隊解散 負責人怒斥走錯路：不再安全第一http://www.sq15.cn/show-2-6214-0.html
聲明：本網站為非營利性網站，本網頁內容由互聯網博主自發貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。