就在ChatGPT推出一周年前夕，其開(kāi)發(fā)機(jī)構(gòu)OpenAI經(jīng)歷了一場(chǎng)令人瞠目的高層“地震”。聯(lián)合創(chuàng)始人之一的首席科學(xué)家伊利亞·蘇茨克維（Ilya Sutskever）聯(lián)合董事會(huì)其他成員，突然解職了聯(lián)合創(chuàng)始人、首席執(zhí)行官山姆·奧特曼（Sam Altman），將另一位聯(lián)合創(chuàng)始人、總裁克雷格·布羅克曼逐出董事會(huì)。在經(jīng)歷約100個(gè)小時(shí)的劇情反復(fù)反轉(zhuǎn)后，奧特曼又回歸OpenAI恢復(fù)舊職。
盡管OpenAI尚未公布董事會(huì)這一決定的真正原因，但業(yè)界普遍猜測(cè)其背后體現(xiàn)了人工智能技術(shù)發(fā)展和安全的矛盾。“所謂‘對(duì)齊’（注：對(duì)齊指引導(dǎo)人工智能系統(tǒng)的行為使其符合設(shè)計(jì)者的利益和預(yù)期目標(biāo)）就是個(gè)偽命題，小小OpenAI董事會(huì)尚且無(wú)法‘對(duì)齊’，更何況復(fù)雜的人類社會(huì)。”科幻作家陳楸帆向澎湃科技表示，“真正的危險(xiǎn)并非在于技術(shù)本身，而是在于資本主義追求有效加速主義的底座。”
有效加速主義（Effective Accelerationism，e/acc）指的是一些硅谷精英發(fā)起的科技價(jià)值觀運(yùn)動(dòng)，他們認(rèn)為人類應(yīng)該無(wú)條件地加速技術(shù)創(chuàng)新以顛覆社會(huì)結(jié)構(gòu)，而這種對(duì)社會(huì)的顛覆本質(zhì)上對(duì)人類有利。奧特曼被認(rèn)為是有效加速主義的代表。
“在我看來(lái)，加速是毫無(wú)疑問(wèn)的。”IDEA（粵港澳大灣區(qū)數(shù)字經(jīng)濟(jì)研究院）AI安全普惠系統(tǒng)研究中心講席科學(xué)家王嘉平對(duì)澎湃科技解釋道，“安全也是技術(shù)，技術(shù)當(dāng)然要加速，只是說(shuō)那么多個(gè)技術(shù)是不是同步發(fā)展。”
“也許有效加速主義的存在正是為了逼迫super-LOVE-alignment（超級(jí)‘愛(ài)’對(duì)齊）的出現(xiàn)，正如道家所說(shuō)‘反者道之動(dòng)’，它們是一種更高維度上的動(dòng)態(tài)關(guān)系，互為對(duì)立，互相激發(fā)，糾纏共生。”陳楸帆說(shuō)。
超級(jí)“愛(ài)”對(duì)齊中的愛(ài)是大寫(xiě)的，即“大愛(ài)”，大體意思是讓AI“對(duì)齊”“無(wú)條件對(duì)人類的愛(ài)”，正如科幻作家艾薩克·阿西莫夫提出的“機(jī)器人三定律”所體現(xiàn)的精神。蘇茨克維被認(rèn)為是超級(jí)“愛(ài)”對(duì)齊的代表。
“一直以來(lái)有兩種聲音，一方面各個(gè)企業(yè)投入了巨大的資源，不遺余力地推動(dòng)通用人工智能技術(shù)的發(fā)展。另一方面，以馬斯克為代表的人士，曾經(jīng)呼吁暫停訓(xùn)練更先進(jìn)的大語(yǔ)言模型6個(gè)月。”上海市數(shù)據(jù)科學(xué)重點(diǎn)實(shí)驗(yàn)室主任、復(fù)旦大學(xué)教授肖仰華表示。對(duì)于人工智能應(yīng)該加速還是減速，他發(fā)出警告：傳統(tǒng)的技術(shù)治理模式可能已經(jīng)不再適用于通用人工智能。在通用人工智能技術(shù)對(duì)人類社會(huì)可能產(chǎn)生劇烈影響時(shí)，有足夠理由擔(dān)心它對(duì)人類文明是否會(huì)帶來(lái)毀滅性的影響。“機(jī)器認(rèn)知能力超過(guò)人類，這是一個(gè)必然的趨勢(shì)，我們可能未來(lái)要長(zhǎng)期接受這樣的狀態(tài)。”
對(duì)于未知的未來(lái)，中國(guó)人工智能行業(yè)的一線人士們最想知道答案的問(wèn)題是什么？
“大模型有自主意識(shí)后，當(dāng)它的智能和能力媲美和超過(guò)創(chuàng)造者時(shí)，它需要以什么樣的態(tài)度來(lái)看待創(chuàng)造者？超級(jí)智能在智力和能力上比人更強(qiáng)時(shí)，我們?nèi)绾胃鼈児泊妫俊蔽浵伡瘓F(tuán)副總裁、金融大模型負(fù)責(zé)人王曉航問(wèn)道。
北京智譜華章科技有限公司CEO張鵬好奇：“實(shí)現(xiàn)AGI是不是真的需要讓機(jī)器擁有自我意識(shí)？”
北京開(kāi)放傳神科技有限公司（OpenCSG）創(chuàng)始人兼CEO陳冉問(wèn)道：“未來(lái)是否會(huì)出現(xiàn)AGI或AIGC（注：人工智能生成內(nèi)容）‘聯(lián)合國(guó)’？”
科幻作家顧備則關(guān)心：“如何思考人類與數(shù)字生命共存的可能未來(lái)？”“讓人類逃離掉肉體的低級(jí)趣味或病痛束縛，達(dá)到高級(jí)的精神追求，是人們對(duì)數(shù)字生命的美好展望，然而這不可避免地涉及到技術(shù)普惠等社會(huì)議題。我們需要對(duì)數(shù)字生命進(jìn)一步拓展想象力。”
以下為采訪實(shí)錄，因篇幅原因有刪減：
澎湃科技：就最近OpenAI的“宮斗”，怎么看AI技術(shù)發(fā)展的加速與減速，安全與利潤(rùn)之間的關(guān)系？
肖仰華（上海市數(shù)據(jù)科學(xué)重點(diǎn)實(shí)驗(yàn)室主任、復(fù)旦大學(xué)教授）：OpenAI這一次的“宮斗”或者說(shuō)高管調(diào)整，一定程度上是人工智能技術(shù)發(fā)展和安全的矛盾的體現(xiàn)。自ChatGPT成為全球性現(xiàn)象級(jí)產(chǎn)品以來(lái)，整個(gè)通用人工智能的發(fā)展呈現(xiàn)出加速的趨勢(shì)，發(fā)展和安全這對(duì)矛盾的沖突也日益激烈。一直以來(lái)有兩種聲音，一方面各個(gè)企業(yè)投入了巨大的資源，不遺余力地推動(dòng)通用人工智能技術(shù)的發(fā)展。另一方面，以馬斯克為代表的人士，曾經(jīng)呼吁暫停訓(xùn)練更先進(jìn)的大語(yǔ)言模型6個(gè)月。中國(guó)政府也發(fā)出了全球人工智能治理的倡議，國(guó)內(nèi)外很多知名學(xué)者都發(fā)起加強(qiáng)人工智能治理的呼吁，兩種聲音此起彼伏。OpenAI這一次的宮斗戲碼，只不過(guò)是在這對(duì)矛盾基礎(chǔ)上進(jìn)行了再一次演繹。
為什么大家對(duì)這對(duì)矛盾如此重視？這是因?yàn)閭鹘y(tǒng)的技術(shù)治理模式可能已經(jīng)不再適用于通用人工智能。以往在工業(yè)文明時(shí)期，技術(shù)帶來(lái)社會(huì)治理問(wèn)題的模式往往是先發(fā)展再治理，比如工業(yè)文明早期的環(huán)境污染問(wèn)題。但是通用人工智能技術(shù)和歷次工業(yè)文明時(shí)期的技術(shù)革命有著本質(zhì)的不同，因?yàn)橥ㄓ萌斯ぶ悄苁顷P(guān)于智能的革命，而歷次技術(shù)革命包括蒸汽機(jī)電力，都是人類智能本身的一個(gè)產(chǎn)物。關(guān)于智能本身的革命是一場(chǎng)元革命，是歷次技術(shù)革命所不能比擬的，因?yàn)槠湫纬傻氖侵悄芎椭橇Γ婕叭祟惿睢⒐ぷ鳌⒖蒲小⒔逃龓缀跛行袠I(yè)，人類的智力活動(dòng)在日常生活中幾乎無(wú)處不在。
那么我們很難想象，一旦通用人工智能大量使用之后，當(dāng)它具備了人類水平的智能之后，就很容易滲透進(jìn)社會(huì)發(fā)展的每一根毛細(xì)血管，所以它對(duì)人類社會(huì)的影響將十分廣泛且深遠(yuǎn)。它給人類帶來(lái)的機(jī)遇前所未有，帶來(lái)的挑戰(zhàn)也是前所未有的，足以對(duì)人類造成毀滅性傷害。
對(duì)比人類的社會(huì)系統(tǒng)和自然生態(tài)系統(tǒng)，社會(huì)系統(tǒng)對(duì)應(yīng)的是人類的文明，它相比而言極為脆弱，而大自然作為生態(tài)系統(tǒng)，實(shí)際上有著極強(qiáng)的健壯性和自我修復(fù)能力。在通用人工智能技術(shù)對(duì)人類社會(huì)可能引起劇烈影響時(shí)，我們有足夠理由擔(dān)心它對(duì)人類文明是否會(huì)帶來(lái)毀滅性的影響。
這種影響并不是像科幻電影中“終結(jié)者”對(duì)人類肉體的消滅，或者像《流浪地球》中的人工智能陰謀論，而是潛移默化地影響人類社會(huì)，特別是對(duì)人類智力倒退的影響需要引起足夠擔(dān)憂。當(dāng)下一代小朋友大量使用ChatGPT做作業(yè)、寫(xiě)作文會(huì)怎樣？實(shí)際上這已經(jīng)發(fā)生了，而我們?cè)镜膶?xiě)作文、解題的過(guò)程就是訓(xùn)練下一代智力水平的過(guò)程。一個(gè)新手不經(jīng)過(guò)1萬(wàn)小時(shí)的訓(xùn)練不可能成為一個(gè)專家，在ChatGPT這類產(chǎn)品被大量使用之后，我們每一個(gè)新手養(yǎng)成專家的路徑就會(huì)被截?cái)啵覀冑囈杂?xùn)練自己智力的寫(xiě)作訓(xùn)練的機(jī)會(huì)就會(huì)被剝奪，這個(gè)時(shí)候人類智力倒退可能就是一個(gè)不可避免的現(xiàn)象。
這種智力的倒退帶來(lái)的一定是文明的崩塌，所以這就是我們要引起足夠重視的。尤其很多時(shí)候，這不是一種劇烈的震蕩，而是溫水煮青蛙似的，漸進(jìn)式地逐步消磨人類的智力水平，這種風(fēng)險(xiǎn)其實(shí)是我們?nèi)菀缀雎缘摹?span style="display:none">04C速刷資訊——每天刷點(diǎn)最新資訊，了解這個(gè)世界多一點(diǎn)SUSHUAPOS.COM
那么我們應(yīng)該如何看待AI發(fā)展和安全的激烈矛盾？事實(shí)上用辯證的角度去看，安全和發(fā)展并不矛盾，唯有安全才能發(fā)展，安全是發(fā)展的前提。我們只有把AGI鎖在保險(xiǎn)箱里，讓其可溯源、可解釋、可控制、可信賴，我們才可以放手去發(fā)展它。反之，如果沒(méi)有建立起安全的前提，那么這樣的發(fā)展可能會(huì)給人類社會(huì)帶來(lái)極大的負(fù)面影響。
我們想想，發(fā)展技術(shù)的目的是什么？仍然是以人為本。如果人都不存在了，社會(huì)都不存在了，技術(shù)又為誰(shuí)服務(wù)呢？所以安全和發(fā)展的矛盾看似沖突，但實(shí)際上是可以調(diào)和的，我們要善于把握這種矛盾的相互轉(zhuǎn)換，不要盲目將其對(duì)立，要在兼顧安全的前提下發(fā)展，做到安全和發(fā)展的兼顧。
陳楸帆（科幻作家）：這一事件可以看出，所謂“對(duì)齊”就是個(gè)偽命題，小小OpenAI董事會(huì)尚且無(wú)法“對(duì)齊”，更何況復(fù)雜的人類社會(huì)。
真正的危險(xiǎn)并非在于技術(shù)本身，而是在于資本主義追求有效加速主義的底座。我有一個(gè)更meta（元）的想法，也許有效加速主義的存在正是為了逼迫super-love-alignment（超級(jí)“愛(ài)”對(duì)齊）的出現(xiàn)，正如道家所說(shuō)“反者道之動(dòng)”，它們是一種更高維度上的動(dòng)態(tài)關(guān)系，互為對(duì)立，互相激發(fā)，糾纏共生。過(guò)去幾百年間e/acc（Effective Accelerationism，有效加速主義）一直占據(jù)主導(dǎo)，帶來(lái)社會(huì)進(jìn)步的同時(shí)也導(dǎo)致了許多問(wèn)題的出現(xiàn)，比如生態(tài)環(huán)境問(wèn)題。人類-技術(shù)-環(huán)境在動(dòng)態(tài)平衡中尋找著發(fā)展的最大公約數(shù)。現(xiàn)在的GPT以及將來(lái)可能的AGI，正是讓這個(gè)結(jié)構(gòu)發(fā)生了微妙的變化，令整個(gè)行星生態(tài)系統(tǒng)到達(dá)了某種臨界點(diǎn)，需要重新校準(zhǔn)。這個(gè)校準(zhǔn)的核心關(guān)鍵在于我們是否能夠想象出超越資本主義之外的新的價(jià)值框架，形成共識(shí)。
王嘉平【IDEA（粵港澳大灣區(qū)數(shù)字經(jīng)濟(jì)研究院）AI安全普惠系統(tǒng)研究中心講席科學(xué)家】：技術(shù)當(dāng)然要加速發(fā)展。安全也是技術(shù)，技術(shù)當(dāng)然要加速，只是說(shuō)那么多個(gè)技術(shù)是不是同步發(fā)展。如果是只管一個(gè)方向的技術(shù)，完全不管安全技術(shù)的發(fā)展，那肯定是不對(duì)的。但是直接說(shuō)先暫停推進(jìn)技術(shù)發(fā)展，這是沒(méi)有道理的，一個(gè)機(jī)構(gòu)不研究，其他機(jī)構(gòu)也會(huì)研究，一個(gè)國(guó)家不研究，別的國(guó)家也會(huì)研究，重要的是足夠重視產(chǎn)業(yè)健康發(fā)展所需要的所有技術(shù)。
所以在我看來(lái)，加速是毫無(wú)疑問(wèn)的。而且加速帶來(lái)一個(gè)更重要的事情是，有更強(qiáng)大的手段和能力，因?yàn)槟闫鋵?shí)不知道未來(lái)會(huì)面臨什么，來(lái)自哪里的威脅，如果現(xiàn)在減速，可能未來(lái)也許會(huì)面臨別的什么挑戰(zhàn)，技術(shù)肯定是在有機(jī)會(huì)發(fā)展的時(shí)候盡量發(fā)展。但只是說(shuō)技術(shù)里有好多部分，不能偏科地發(fā)展。
澎湃科技：大模型可能在何種情況下表現(xiàn)出何種人格傾向？
梁家恩（云知聲智能科技股份有限公司董事長(zhǎng)兼CTO）：現(xiàn)在大模型可以模擬很多風(fēng)格，比如魯迅風(fēng)格、莎士比亞風(fēng)格。不同風(fēng)格可能是人格的一部分，這種傾向更多還是從數(shù)據(jù)里學(xué)到，它本身不會(huì)像人一樣成長(zhǎng)出不同的性格，而在于訓(xùn)練的人究竟該如何處理這些數(shù)據(jù)，讓它更好顯示一種風(fēng)格。當(dāng)然如果AI設(shè)計(jì)人員針對(duì)性地設(shè)計(jì)一種人格，我相信也是有空間的。
至于大模型進(jìn)化出“自主意識(shí)”意義上的人格，我目前沒(méi)看到這種跡象。
陳磊（信也科技副總裁、大數(shù)據(jù)及AI負(fù)責(zé)人）：第一，這和數(shù)據(jù)有很大關(guān)系，學(xué)了莎士比亞，輸出的內(nèi)容更莎士比亞了。第二是智能涌現(xiàn)，通過(guò)某種思維鏈的方式做出創(chuàng)造。這兩點(diǎn)是有人格傾向的基礎(chǔ)。但坦率說(shuō)，挺難判斷大模型是否會(huì)有人格的變化。
陳楸帆：人類有將自身情感投射到外物的慣性，所謂擬人化，表現(xiàn)在科技領(lǐng)域就是試圖讓創(chuàng)造物表現(xiàn)出接近人類的特質(zhì)，無(wú)論是外形、行為、交互還是動(dòng)機(jī)。大模型的人格傾向其實(shí)是人類不斷調(diào)參的結(jié)果，因?yàn)檫@是人類唯一能夠進(jìn)行自然理解并交流的方式，但語(yǔ)言表征的人格化是否意味著機(jī)器真正理解了背后的深層含義與世界模型，目前還不得而知。
澎湃科技：如何應(yīng)對(duì)AGI帶來(lái)的傳播革命，包括虛假信息升級(jí)？
陳楸帆：在我的小說(shuō)《假面神祇》里，想象了一個(gè)deepfake技術(shù)泛濫的未來(lái)，因?yàn)槌杀疽约笆褂瞄T(mén)檻足夠低，所以任何人都可以制造出足以亂真的偽造圖片、音頻、視頻并在媒體上傳播。
因?yàn)槿搜垡呀?jīng)無(wú)法辨別真?zhèn)危荒芡ㄟ^(guò)技術(shù)上的“矛盾之爭(zhēng)”來(lái)解決，一方面是工具平臺(tái)需要接受監(jiān)管，采用數(shù)字水印等技術(shù)進(jìn)行標(biāo)注，防范濫用，另一方面在社交媒體需要不斷升級(jí)的“deepfake探測(cè)器”，來(lái)篩查、過(guò)濾、提醒用戶哪些信息可能含有AIGC（人工智能生成內(nèi)容）生成的元素。
當(dāng)然，更難以防范的是圍繞著復(fù)雜敘事展開(kāi)的偽造，比如同一個(gè)新聞事件有著完全不同的視角與立場(chǎng)，傳遞出來(lái)的信息也就千差萬(wàn)別，而這些信息經(jīng)過(guò)算法的回聲效應(yīng)，過(guò)濾放大又將極化受眾的意識(shí)形態(tài)，最終人類必將面臨一場(chǎng)“敘事戰(zhàn)爭(zhēng)”。
陳磊：第一，AI生成的大量?jī)?nèi)容要有標(biāo)簽。第二，通過(guò)技術(shù)手段偵測(cè)AI內(nèi)容的合理性、準(zhǔn)確性。當(dāng)然，出了問(wèn)題以后怎樣處罰是另一個(gè)層面了。
張鵬（北京智譜華章科技有限公司CEO）：我看過(guò)一個(gè)權(quán)威機(jī)構(gòu)的報(bào)告，當(dāng)時(shí)他們?cè)趯?xiě)報(bào)告的時(shí)候，互聯(lián)網(wǎng)上已經(jīng)大約有10%的數(shù)據(jù)是由模型生成的，已經(jīng)無(wú)法跟人類生成的數(shù)據(jù)區(qū)分了，未來(lái)這個(gè)比例會(huì)持續(xù)上升，這里面可能也包含虛假信息的問(wèn)題。這也是倫理安全問(wèn)題，如何能夠把機(jī)器生成的數(shù)據(jù)，尤其是虛假的數(shù)據(jù)、有問(wèn)題的數(shù)據(jù)區(qū)分出來(lái)，或者防范產(chǎn)生這些數(shù)據(jù)，這也是一個(gè)很大的挑戰(zhàn)。
陳冉【北京開(kāi)放傳神科技有限公司（OpenCSG）創(chuàng)始人兼CEO】：首先我是唯物主義者、無(wú)神論者，但我在今年5月就看出GPT有一些人格特征了。大模型算一次工業(yè)革命，比互聯(lián)網(wǎng)更加牛，它主要解決的問(wèn)題是人的知識(shí)積累問(wèn)題、人的知識(shí)積累有無(wú)上限的問(wèn)題。比如三甲醫(yī)院大夫的水平是有界限的，到達(dá)一定年齡得退休，這些經(jīng)驗(yàn)被大模型學(xué)了以后不斷積累，大模型不會(huì)退休，它正好取代或輔助了那些有經(jīng)驗(yàn)、有知識(shí)的人，是知識(shí)的積累和延續(xù)。如果這是真的，那就是時(shí)間問(wèn)題。
澎湃科技：除了生成式AI，AGI是否會(huì)存在其他形式？
梁家恩：用統(tǒng)計(jì)模型、循環(huán)神經(jīng)網(wǎng)絡(luò)不斷生成對(duì)話的能力在2014年左右就已經(jīng)有了，只不過(guò)它不可控，很多結(jié)果質(zhì)量不夠高、看起來(lái)就不夠“智能”。ChatGPT出現(xiàn)以后，生成的內(nèi)容質(zhì)量更高且相對(duì)可控，更加符合人類的預(yù)期，顯示出AGI的能力。
了解語(yǔ)言、通過(guò)語(yǔ)言跟人類對(duì)話，這只是AGI的第一步，未來(lái)還會(huì)加上真正的邏輯推理能力。現(xiàn)在的邏輯推理“現(xiàn)象”是通過(guò)思維鏈激活出來(lái)，本質(zhì)上不是原生，它可能根本不理解里面的邏輯，只是統(tǒng)計(jì)模擬出來(lái)的。所以未來(lái)肯定還會(huì)有更深層的邏輯推理能力出來(lái)，特別是結(jié)合多模態(tài)信息的邏輯推理，現(xiàn)在其實(shí)已經(jīng)可以看到部分研究進(jìn)展了。
張鵬：這是毫無(wú)疑問(wèn)的，生成式AI未必是最終答案。只不過(guò)生成式AI是目前看來(lái)接近AGI的一個(gè)非常有效的途徑。但它也有問(wèn)題，比如幻覺(jué)性、安全性。還需要很多研究，比如在“系統(tǒng)1”的基礎(chǔ)上引入知識(shí)和邏輯推理的“系統(tǒng)2”來(lái)約束和驗(yàn)證“系統(tǒng)1”。目前很多人在研究，我們也一直在強(qiáng)調(diào)未來(lái)認(rèn)知智能的框架是雙系統(tǒng)框架，知識(shí)和數(shù)據(jù)雙輪驅(qū)動(dòng)。現(xiàn)在是數(shù)據(jù)驅(qū)動(dòng)走得快，也就是生成式AI走得快，效果提升明顯。但還需要想想怎么把知識(shí)、記憶、邏輯以“系統(tǒng)2”的方式融入到整個(gè)框架中，這可能會(huì)解決幻覺(jué)性問(wèn)題，也有可能解決安全和隱私問(wèn)題。
“系統(tǒng)1”和“系統(tǒng)2”融合以后，會(huì)帶來(lái)認(rèn)知智能。生成式AI的工作方式是預(yù)測(cè)下一個(gè)token（注：在AI領(lǐng)域token通常指文本處理過(guò)程中的最小單位），強(qiáng)調(diào)的是生成的過(guò)程和算法，但認(rèn)知智能并不局限在生成上，它可能是實(shí)現(xiàn)認(rèn)知智能甚至AGI的重要途徑，但它也有可能不是全部。
王曉航（螞蟻集團(tuán)副總裁、金融大模型負(fù)責(zé)人）：生成式AI只是這一波技術(shù)革命的中樞，但最終要實(shí)現(xiàn)AGI、端到端解決現(xiàn)實(shí)世界的問(wèn)題，需要一個(gè)系統(tǒng)的工程組合技術(shù)。大模型如果真的要往通用智能和更高級(jí)的智能演進(jìn)，比如具身智能，就需要跟現(xiàn)實(shí)世界進(jìn)行連接、互動(dòng)，這包括多模態(tài)理解、傳感和交互技術(shù)。
陳楸帆：對(duì)于AGI的定義本身就有局限性，目前我們只是狹隘地將與人類近似的智能水平定義為“通用人工智能”，但這其中的每個(gè)定語(yǔ)“通用”與“人工”都存在疑問(wèn)。
考慮到宇宙的廣闊與人類的無(wú)知，我相信人類并非唯一的智能生命，甚至在地球上恐怕都不是唯一。我們對(duì)于智能的理解恐怕只在一個(gè)非常初級(jí)的階段，正如杰弗里·辛頓（圖靈獎(jiǎng)得主、深度學(xué)習(xí)三巨頭之一）所說(shuō)，我們無(wú)法完全理解一個(gè)事物，除非能夠造出它。所以打造通用人工智能的最大意義或許正是在于能更好地理解人類本身。
澎湃科技：AGI的下一階段會(huì)是什么，是超級(jí)智能體嗎？
肖仰華：AGI的下一階段一定是ASI（Artificial Super Intelligence，超級(jí)人工智能）。事實(shí)上現(xiàn)在GPT-4已經(jīng)可以認(rèn)為是超級(jí)認(rèn)知智能的具體成果，它在認(rèn)知廣度和深度上已經(jīng)超過(guò)了絕大部分人類，試想一下，我們有哪一個(gè)人的知識(shí)容量能夠達(dá)到GPT-4的水平？它幾乎知道所有學(xué)科，我們可以問(wèn)它任何一個(gè)具體的問(wèn)題，人類都很難記得如此清楚。這些都是大模型的認(rèn)知遠(yuǎn)超人類的方面。
事實(shí)上，機(jī)器認(rèn)知能力超過(guò)人類，這是一個(gè)必然的趨勢(shì)，我們可能未來(lái)要長(zhǎng)期接受這樣的狀態(tài)。事實(shí)上，機(jī)器下棋超過(guò)了人類，計(jì)算超過(guò)了人類，認(rèn)知能力也超過(guò)了人類，所以這將會(huì)是常態(tài)。但這是否就意味著人類就沒(méi)有超越機(jī)器的地方了？我認(rèn)為對(duì)AI的主動(dòng)權(quán)、控制權(quán)，對(duì)其駕馭和使用的能力仍然是人類所獨(dú)有的。人類還是能夠跳脫現(xiàn)有的思維框架，提出新的理論框架，這些都仍然是目前大模型或人工智能體所不具備的。包括人類獨(dú)有的一些生存和發(fā)展智慧，這也是當(dāng)前或未來(lái)的超級(jí)認(rèn)知智能體所不具備的。這里的智慧就是指人能夠針對(duì)適當(dāng)情況，即在何時(shí)何地采取何種策略、何種知識(shí)來(lái)解決問(wèn)題，這種能力都是人類所獨(dú)具的，機(jī)器仍然難以達(dá)到。
張鵬：人類對(duì)AGI的預(yù)期就是這樣。人的腦量有限、精力有限、時(shí)間有限，學(xué)習(xí)能力和速度也有限，能達(dá)到的上限很明顯。造出一個(gè)能超越人的機(jī)器或者通用人工智能，這是人內(nèi)心的執(zhí)念。大家對(duì)AGI的期待一定是超越人的智能水平。
陳磊：短期它可能不能叫超級(jí)智能體，但肯定是智能體，最近研究火熱的就是agent（智能體）。大模型不再是Model as a Service（模型即服務(wù)）的模式，而是一個(gè)決策和控制、與下游溝通交互的體系，從支撐作用變成了決策作用。
王曉航：agent的本質(zhì)是有非常多的技術(shù)組合，可以把很多標(biāo)簽和新技術(shù)往agent的框架里塞，最終的本質(zhì)是不斷解決現(xiàn)實(shí)世界的任務(wù)。這一切是以大模型為中樞，提供落地的連接、知識(shí)存儲(chǔ)，思考和規(guī)劃、規(guī)劃的框架，這是產(chǎn)業(yè)落地的一個(gè)最關(guān)鍵的技術(shù)載體。
陳冉：分久必合，合久必分。公有云、硬件都適配這個(gè)準(zhǔn)則。當(dāng)一個(gè)東西大到一定程度，誰(shuí)來(lái)監(jiān)管它？意思是說(shuō)，大模型肯定會(huì)越來(lái)越大，它肯定會(huì)受監(jiān)管，垂類模型也會(huì)越來(lái)越大，會(huì)不會(huì)有超級(jí)智能體，我認(rèn)為答案是不。各個(gè)國(guó)家都有反壟斷法，世界怎么會(huì)出現(xiàn)一個(gè)超級(jí)智能體？
陳楸帆：我認(rèn)為是能夠跨越物種進(jìn)行交流并協(xié)同計(jì)算的行星級(jí)群體智能網(wǎng)絡(luò)，這里所指的物種包括人類、非人類生命形態(tài)、機(jī)器智能體以及環(huán)境。
澎湃科技：未來(lái)一年，全球范圍的AI監(jiān)管預(yù)計(jì)會(huì)出現(xiàn)哪些進(jìn)展？
陳磊：大方向不會(huì)變，監(jiān)管大模型三個(gè)方面，第一是輸入的數(shù)據(jù)，第二是使用的算法本身，未來(lái)算法本身是否也要強(qiáng)調(diào)可解釋性、合理性。第三是輸出的監(jiān)管。至于大模型對(duì)于社會(huì)的影響，應(yīng)該會(huì)有社會(huì)學(xué)的考量。
王曉航：安全、隱私、倫理、可解釋性會(huì)持續(xù)成為監(jiān)管的關(guān)注對(duì)象。判別式AI是降本增效工具，大模型不是工具，本質(zhì)上是要匹配、賦能，甚至部分替代人、替代專家。醫(yī)療、金融等專業(yè)領(lǐng)域有準(zhǔn)入規(guī)范，都要持證上崗，專業(yè)能力要考核。所以現(xiàn)在有個(gè)趨勢(shì)是，大模型深入到這些產(chǎn)業(yè)時(shí)也不能被豁免，它需要準(zhǔn)入以后才能落地產(chǎn)業(yè)，相當(dāng)于大模型要去職業(yè)考試，這是以前的AI所不存在的一個(gè)問(wèn)題。
張鵬：有很多國(guó)家出臺(tái)了關(guān)于AI的法案，里邊有關(guān)于安全倫理的內(nèi)容和條款，中國(guó)也出臺(tái)了生成式AI的管理辦法。未來(lái)這些要求管理制度會(huì)越來(lái)越細(xì)化，因?yàn)樵缙诖蠹业恼J(rèn)知還參差不齊，也不知道到底會(huì)產(chǎn)生什么樣的問(wèn)題，隨著技術(shù)普及，大家的認(rèn)知加深，會(huì)逐漸認(rèn)識(shí)到問(wèn)題的關(guān)鍵在哪，所以會(huì)努力朝這個(gè)方向去做。比如現(xiàn)在已經(jīng)逐漸從最終的應(yīng)用效果往前延伸，對(duì)模型訓(xùn)練使用的數(shù)據(jù)的安全性、版權(quán)、隱私保護(hù)等制定標(biāo)準(zhǔn)和辦法，對(duì)模型的評(píng)測(cè)、效果的評(píng)測(cè)也會(huì)制定標(biāo)準(zhǔn)和方法。
澎湃科技：對(duì)于AGI或者應(yīng)對(duì)AGI，你最想知道答案的一個(gè)問(wèn)題是什么？
張鵬：實(shí)現(xiàn)AGI是不是真的需要讓機(jī)器擁有自我意識(shí)？邁向AGI有幾個(gè)階段，第一階段是用神經(jīng)網(wǎng)絡(luò)模擬人的大腦，實(shí)現(xiàn)“系統(tǒng)1”能力。第二階段是在“系統(tǒng)1”基礎(chǔ)上構(gòu)建“系統(tǒng)2”，讓智能體具備自我反思以及知識(shí)抽取、蒸餾、存儲(chǔ)、記憶能力，并對(duì)“系統(tǒng)1”的輸出進(jìn)行約束。第三階段進(jìn)一步提升認(rèn)知推理能力時(shí)，人和機(jī)器之間差距仍然這么大，考慮是不是涉及到意識(shí)。
人工智能的智能水平一直逼近不了人，在于它不知道自己不知道，這背后隱含的一個(gè)問(wèn)題是沒(méi)有邊界。人作為一個(gè)智能體，有非常明確的邊界，能區(qū)分“我”和“非我”，哪些事情是我知道的，哪些事情是我不知道的。沒(méi)有邊界就無(wú)法判斷到底知道還是不知道。邊界的產(chǎn)生可能就是自我意識(shí)的產(chǎn)生。
王曉航：價(jià)值對(duì)齊。一旦有一天大模型開(kāi)始有自主意識(shí)以后，最重要的是價(jià)值對(duì)齊，以及對(duì)人類的系統(tǒng)性保護(hù)。所謂價(jià)值對(duì)齊，就是大模型有自主意識(shí)后，當(dāng)它的智能和能力媲美和超過(guò)創(chuàng)造者時(shí)，它需要以什么樣的態(tài)度來(lái)看待創(chuàng)造者？超級(jí)智能在智力和能力上比人更強(qiáng)時(shí)，我們?nèi)绾胃鼈児泊妫窟@是超級(jí)對(duì)齊的本源，也就是我們作為一個(gè)物種跟更高階的新物種一起，安全利用、共處、生存和發(fā)展。但那是高級(jí)階段的，我們現(xiàn)在首先要落地。
梁家恩：如何找到AGI和人協(xié)同演進(jìn)的有效路徑？人適應(yīng)AGI，知道AGI擅長(zhǎng)做什么、在哪些方面能真正幫助人類、本身會(huì)有哪些隱患跟風(fēng)險(xiǎn)，達(dá)成共識(shí)和標(biāo)準(zhǔn)；AGI也在實(shí)際應(yīng)用中演進(jìn)，逐步提升能力并和人類共識(shí)“對(duì)齊”，這是我們的預(yù)期。要實(shí)現(xiàn)預(yù)期，需要在實(shí)際應(yīng)用中，找到有效的算法、技術(shù)和機(jī)制。
現(xiàn)在大模型做到這么大，如果不是那么多用戶參與反饋，哪怕OpenAI也不知道到底哪里會(huì)出現(xiàn)什么樣的問(wèn)題，哪些參數(shù)會(huì)導(dǎo)致出現(xiàn)這種現(xiàn)象，很多問(wèn)題都不可控，所以要有一個(gè)熟悉了解的過(guò)程，再考慮用什么機(jī)制跟方法，針對(duì)這個(gè)問(wèn)題讓它更好地“對(duì)齊”人類的預(yù)期。這肯定不是在實(shí)驗(yàn)室里能拍腦袋想清楚的，需要在迭代過(guò)程中形成有效方法。
陳冉：未來(lái)是否會(huì)出現(xiàn)AGI或AIGC“聯(lián)合國(guó)”？這是人類第一次面臨共同的挑戰(zhàn)和共同的價(jià)值觀挑戰(zhàn)，監(jiān)管有可能全球化，所以什么時(shí)候會(huì)形成這樣的組織，各國(guó)怎么協(xié)作，我拭目以待。
王嘉平：如何讓機(jī)器治理機(jī)器？將來(lái)當(dāng)我們可以將AI看成是某種硅基的有獨(dú)立意識(shí)的個(gè)體，就意味著未來(lái)的社會(huì)活動(dòng)可能不僅僅發(fā)生在人和人之間，也可能是人和機(jī)器，甚至機(jī)器與機(jī)器之間。那么機(jī)器在工作的時(shí)候，它同樣需要有一定的道德法則約束，甚至法律法則的約束。從人類社會(huì)來(lái)講，法律約束起作用的實(shí)際上是少數(shù)時(shí)間，大部分是道德約束在起作用，這樣才能以較低的成本維護(hù)整個(gè)社會(huì)的穩(wěn)定，因?yàn)榉僧吘故呛笾玫摹Ｄ敲催@對(duì)機(jī)器來(lái)說(shuō)怎么起作用？單純靠人類治理，一點(diǎn)時(shí)間上的滯后可能機(jī)器已經(jīng)能做了許多事情。
目前我的思考是，用機(jī)器治理機(jī)器的邏輯首先是機(jī)器最基本的身份問(wèn)題。比如一個(gè)機(jī)器，今天關(guān)了明天重新再開(kāi)，還是同一個(gè)機(jī)器嗎？并在這個(gè)身份上積累社會(huì)價(jià)值，那么這對(duì)它來(lái)說(shuō)換一個(gè)身份就意味著一個(gè)巨大的成本，有了代價(jià)才可能去制約它，當(dāng)它有一定的價(jià)值沉淀在其中，它才會(huì)害怕失去這個(gè)價(jià)值。這個(gè)價(jià)值對(duì)于機(jī)器來(lái)講怎么沉淀、怎么體現(xiàn)？在區(qū)塊鏈里其實(shí)是有一整套體系來(lái)完成這個(gè)任務(wù)，跟人的信用體系非常相似，只不過(guò)機(jī)器的行動(dòng)頻率和速度比人類社會(huì)要快得非常多。所以人類社會(huì)這套原來(lái)的執(zhí)行方式，就不太適合讓機(jī)器去做，機(jī)器可能幾個(gè)毫秒內(nèi)就完成許多事情。這就意味著，機(jī)器的監(jiān)管需要一整套自動(dòng)化的，并且有自己法律或規(guī)則的系統(tǒng)，即機(jī)器治理機(jī)器的邏輯。
顧備（科幻作家）：如何思考人類與數(shù)字生命共存的可能未來(lái)？OpenAI內(nèi)部存在有效加速派和超級(jí)對(duì)齊派兩個(gè)流派。超級(jí)對(duì)齊派一定要讓人工智能符合人類要求，核心需要造福人類。有效加速派則認(rèn)為科技的發(fā)展是不可阻止的，發(fā)展到一定程度，一定可以用科技制約科技。讓人類逃離掉肉體的低級(jí)趣味或者病痛束縛，達(dá)到高級(jí)的精神追求，是人們對(duì)數(shù)字生命的美好展望，然而這不可避免地涉及到技術(shù)普惠等社會(huì)議題。我們需要對(duì)數(shù)字生命進(jìn)一步拓展想象力。人類在使用工具的時(shí)候特別喜歡擬人化，所以老想把數(shù)字生命也擬人化。但數(shù)字生命可能是一種波、一種能量或者以一種信息的狀態(tài)存在，最終數(shù)字生命的存在方式不一定和人一樣。
杜凱（北京大學(xué)人工智能研究院助理研究員）：主要關(guān)于數(shù)字生命，我認(rèn)為數(shù)字生命已經(jīng)進(jìn)入需要被嚴(yán)肅討論的階段。其實(shí)，我們也是生活在一個(gè)虛擬的世界中，周?chē)澜缡俏覀円暰W(wǎng)膜對(duì)世界的重建，每個(gè)人都不一樣。也許有些極具天賦的畫(huà)家，像梵高和畢加索，他們感知到的世界就像他們的畫(huà)作一樣。在這個(gè)意義上，人和機(jī)器沒(méi)有太大區(qū)別。而ChatGPT表現(xiàn)出的“智慧涌現(xiàn)”給意識(shí)研究提供了一種新的思考方式。意識(shí)可能不是被事先定義的，而是涌現(xiàn)出來(lái)的。傳統(tǒng)上，做科學(xué)是由自上而下的方式進(jìn)行的。但由科學(xué)問(wèn)題驅(qū)動(dòng)的研究方式也許沒(méi)辦法去解決意識(shí)的問(wèn)題，但或可通過(guò)工程的方式看看能否產(chǎn)生出意識(shí)。（部分信息來(lái)自于天橋腦科學(xué)研究院“數(shù)字生命與意識(shí)上傳”研討會(huì)）
陳楸帆：什么是意識(shí)？什么是我？什么是存在？這三個(gè)問(wèn)題可能是同一個(gè)。
本文鏈接：有效加速or超級(jí)對(duì)齊？如何實(shí)現(xiàn)AI大愛(ài)人類？http://www.sq15.cn/show-11-1729-0.html
聲明：本網(wǎng)站為非營(yíng)利性網(wǎng)站，本網(wǎng)頁(yè)內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn)，不代表本站觀點(diǎn)，本站不承擔(dān)任何法律責(zé)任。天上不會(huì)到餡餅，請(qǐng)大家謹(jǐn)防詐騙！若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。
上一篇： 人工智能輔助科研要從可用走向可信