人工智能正深刻改變世界。但它如一把“雙刃劍”，既帶來巨大機遇，也引發諸多挑戰——在醫療、教育、交通等領域，人工智能提升了效率，改善了生活質量；然而，它也可能沖擊就業、侵犯隱私、引發算法偏見等。如何握好這把“雙刃劍”，讓人工智能真正成為推動人類進步的力量。
當下的選擇決定未來的走向。本期我們邀請兩位專家，共同探討如何避免風險，引導技術向善。
人工智能技術無疑是新一輪科技革命和產業變革的先導。其中，強調價值對齊、能夠自主定義并完成無限任務的通用人工智能，更是新質生產力的典型代表，已經成為全球科技戰略制高點。但另一方面，由于大模型等人工智能技術具有“黑箱屬性”，導致其決策行為不能被完全透明解釋，它的生成內容也不能被完全預判控制，當這樣的人工智能技術應用部署在國家社會經濟生活中的方方面面時，就可能會出現偏離人類預期甚至危害國家安全和人類整體利益的巨大風險。
1、在國家層面，人工智能技術正在重構國家安全治理的格局
我國已將人工智能安全納入國家戰略，并上升至總體國家安全觀的重要組成部分。這是因為，人工智能技術的迅猛發展正在重構國家安全治理的格局，其中部分風險突破了傳統技術倫理范疇，形成系統性、多維度的威脅。
以當下熱度最高的生成式大模型為例，我們可以關注到這三類安全危機：
首先，是技術安全與自主創新的國際挑戰。大模型的算力、算法與數據，構成新型國家戰略資源，其自主可控性直接關乎國家主權安全。目前，全球算力中心依然集中于少數歐美科技巨頭，英偉達的人工智能芯片占據了超過80%國際市場份額。而就在今年1月底，美國國會首次提交了中美人工智能“脫鉤”的法案，一旦該法案通過，兩國所有人工智能的合作渠道將被截斷。
其次，意識形態與價值倫理的隱性危機。大模型沒有價值認知的功能，但開發者的價值觀可以滲透到大模型對外輸出的文本，構成意識形態方面的安全威脅。比如，一些歐美研發的大模型，其生成的視頻、圖像表達延續歐美影視文化傾向，以西方藝術審美為主體，卻無法識別和“理解”達喀爾建筑等非洲文化造型。眾多案例表明，歐美大模型所蘊含的西方中心主義價值觀值得我們提高警惕。此外，質量參差不齊的國內自媒體信息、不當抓取的境外網頁錯誤信息、由大模型生成的未經審核的合成數據，都可能會“毒化”AI大模型的訓練過程，進而導致輸出內容價值觀的偏差。繁雜的世界觀、人生觀、價值觀數據彌漫在大模型神經網絡的“黑箱”中，導致我們很難分辨出大模型的某些反社會回答（例如“毀滅人類”）究竟是出自語料庫，還是根據模型的行為范式學習推理而來。隨著大模型廣泛應用到各行各業，倘若任由這種不可控的“黑箱”發展下去，我們將很難控制人工智能的價值體系與人類相一致，會造成較大的社會倫理風險。
再次，制度監管滯后與信息不對稱的結構性困境。盡管世界各國已針對人工智能技術帶來的安全風險紛紛出臺相關法案，但這些法律法規的制定完善一般需要漫長復雜的流程，往往滯后于人工智能新產品的發布更新速度。各國人工智能的發展水平與應用程度不同，政府、企業、高?？蒲袡C構、社會大眾對動態更新發展的人工智能技術的認知存在不小的信息差，導致國與國之間、社會各行各業之間推出的人工智能治理措施出現大量無效重合和高度沖突。這類信息不對稱和統一標準的缺失，對外易制造國際人工智能安全治理的合作爭端，對內會使得人工智能監管出現“真空地帶”，造成制度疊加的冗余和推行成本的增長。
2、在社會和個人層面，濫用人工智能技術可能帶來勞動秩序重構、混淆視聽、誘發心理依賴、認知和學習能力下降等問題
在社會和個人層面，除了侵犯個人隱私、引發版權糾紛等，濫用人工智能還會造成不少問題：
社會重新分配，勞動秩序重構。“人工智能+”的落地應用可能會引起“創造性破壞”，也就是普遍擔憂的“人工智能代替人類”——普通勞動者的就業機會被人工智能剝奪。國際貨幣基金組織發布報告稱，人工智能預計將對全球近40%的工作崗位產生影響。創造性和技術需求較低工作的從業者都將面臨失業或轉型的危機，社會勞動分工的結構將經歷一場“大洗牌”。
難辨真假的“網絡垃圾”在信息渠道混淆視聽。對于自然科學、金融、醫學等特定領域的專業問題，諸多大模型沒有經過大規模專業語料訓練，可能會一本正經“胡編亂造”，制造“模型幻覺”。在缺乏必要監管機制的當下，由大模型生成的大量未經辨認審核的文本與圖片流入互聯網，在稀釋真實信息的同時，還容易讓不具備專業知識的大眾信以為真。
過度使用人工智能“角色扮演”功能易誘發心理依賴。經過特定算法和數據庫訓練的大模型，能夠根據用戶的指示扮演符合用戶情感需求的虛擬角色，與用戶交流。如果用戶過度沉迷其中、忽略現實交際，則有可能因身心空虛導致極端性后果。這是因為算法不透明性和“黑箱”操控機制形成了信息的“繭房”，使用者被困于AI挑選和過濾后的“信息泡泡”中。算法通過分析我們的信息偏好，利用人類易產生恐懼焦慮的心理機制、利用青少年心智不完全成熟和對某些信息的獵奇心，不斷投喂和推薦某類特定信息，加強固有的缺陷和偏好，讓人們身陷其中無法自拔，嚴重時可導致AI成癮效應。
過分依賴人工智能進行思考會導致認知和學習能力下降。抖音海外版顧問格雷格·伊森伯格曾提到一名斯坦福大學畢業生，因過度使用ChatGPT，在交談中經常出現思維中斷、言語遲滯的跡象。當認知過程被長期“外包”給人工智能，無論多么優秀的大腦，思考和學習功能都會“用進廢退”。不假思索地全盤接受AI生成的“投喂式”內容，會導致本應在教育過程中塑造并形成的信息收集、篩選、處理、應用、創造的批判性思維、邏輯性思維、創新性思維能力的嚴重退化。
3、構建人工智能安全治理框架，不僅要涵蓋現實中出現的問題，還應從根源入手，避免“頭痛醫頭、腳痛醫腳”
面對人工智能這把“雙刃劍”，我們亟須構建完備的人工智能安全治理體系。它不僅要涵蓋現實中的問題，還應基于系統化、綜合化的人工智能理論，從問題的根源入手，避免“頭痛醫頭、腳痛醫腳”的片面化處理。
加強價值對齊，制定人工智能評級標準。造成人工智能引發的意識形態、價值倫理、信息混亂等問題的根本原因，是生成式大模型缺乏明確的認知架構和價值體系，只能按照人類設定的程序，機械地對問題做出反饋，沒能做到與人類價值對齊。為此，需要一套結合人類價值體系和認知架構的人工智能評級標準，作為評定和開發人工智能的科學標尺，輔助科學家打造更加符合人類需求、更加安全的人工智能。
改進技術，設置防沉迷預警。不僅需要從外部對人工智能設置評級標準，也要從人工智能內部進行分級改造。使用人工智能的社會群體千差萬別、需求各有側重，需要防范的風險也各異。以青少年群體為例，我們應該著重研發輔助課堂學習、引導興趣愛好的人工智能，讓其成為有利于青少年成長的助手與“伙伴”。同時，為防止青少年過度沉迷，應在系統中編入使用時長、特定功能分區的限制，并出具生動詳細的使用教程和預警聲明，保障青少年的身心健康。
預測就業替代風險，加強人工智能職業培訓。如何避免人工智能替代人類，不僅需要勞動者個人順應時代風向、積極主動實現自我提升，還需要政府部門和企事業單位制定保護勞動者、協調人機關系的就業保障機制。在部署“人工智能+”行動時，可以要求企業在應用人工智能的同時，在算法中預置就業考量，實現向善的人工智能倫理規則。企業則應做好就業倫理合規，不應追求用技術完全替代人，而是追求如何用技術賦能生產效率、優化體驗。此外，在進行就業前置性布局的時候，也應當為可能被替代職業或工種的從業者安排相關的技能培訓，增加他們在新環境下的就業機會。
構建平等開放的國際人工智能安全秩序。防范人工智能安全風險是全世界共同面臨的課題，并不是某一國、某一地區的特權或義務。目前，發達國家總體上掌握著比發展中國家更先進的人工智能技術，后者往往因此失去了在國際舞臺上的話語權，并缺乏防范和化解人工智能風險的意識。
需要強調的是，理解與防范人工智能安全風險的目的，并不是要讓大家畏懼、否定科技的進步，而是希望大家具備理性審視和應對潛在風險的能力，學會在人工智能的浪潮中保持清醒的頭腦，掌握駕馭人工智能的主動權。讓我們在享受智能時代紅利的同時，確保自身和社會的安全穩定，實現科技向善、人機和諧共生的美好愿景！
（作者：宋國杰，系北京大學智能學院黨委副書記、長聘副教授）
人工智能正深刻改變世界。但它如一把“雙刃劍”，既帶來巨大機遇，也引發諸多挑戰——在醫療、教育、交通等領域，人工智能提升了效率，改善了生活質量；然而，它也可能沖擊就業、侵犯隱私、引發算法偏見等。如何握好這把“雙刃劍”，讓人工智能真正成為推動人類進步的力量。
當下的選擇決定未來的走向。本期我們邀請兩位專家，共同探討如何避免風險，引導技術向善。
人工智能技術無疑是新一輪科技革命和產業變革的先導。其中，強調價值對齊、能夠自主定義并完成無限任務的通用人工智能，更是新質生產力的典型代表，已經成為全球科技戰略制高點。但另一方面，由于大模型等人工智能技術具有“黑箱屬性”，導致其決策行為不能被完全透明解釋，它的生成內容也不能被完全預判控制，當這樣的人工智能技術應用部署在國家社會經濟生活中的方方面面時，就可能會出現偏離人類預期甚至危害國家安全和人類整體利益的巨大風險。
1、在國家層面，人工智能技術正在重構國家安全治理的格局
我國已將人工智能安全納入國家戰略，并上升至總體國家安全觀的重要組成部分。這是因為，人工智能技術的迅猛發展正在重構國家安全治理的格局，其中部分風險突破了傳統技術倫理范疇，形成系統性、多維度的威脅。
以當下熱度最高的生成式大模型為例，我們可以關注到這三類安全危機：
首先，是技術安全與自主創新的國際挑戰。大模型的算力、算法與數據，構成新型國家戰略資源，其自主可控性直接關乎國家主權安全。目前，全球算力中心依然集中于少數歐美科技巨頭，英偉達的人工智能芯片占據了超過80%國際市場份額。而就在今年1月底，美國國會首次提交了中美人工智能“脫鉤”的法案，一旦該法案通過，兩國所有人工智能的合作渠道將被截斷。
其次，意識形態與價值倫理的隱性危機。大模型沒有價值認知的功能，但開發者的價值觀可以滲透到大模型對外輸出的文本，構成意識形態方面的安全威脅。比如，一些歐美研發的大模型，其生成的視頻、圖像表達延續歐美影視文化傾向，以西方藝術審美為主體，卻無法識別和“理解”達喀爾建筑等非洲文化造型。眾多案例表明，歐美大模型所蘊含的西方中心主義價值觀值得我們提高警惕。此外，質量參差不齊的國內自媒體信息、不當抓取的境外網頁錯誤信息、由大模型生成的未經審核的合成數據，都可能會“毒化”AI大模型的訓練過程，進而導致輸出內容價值觀的偏差。繁雜的世界觀、人生觀、價值觀數據彌漫在大模型神經網絡的“黑箱”中，導致我們很難分辨出大模型的某些反社會回答（例如“毀滅人類”）究竟是出自語料庫，還是根據模型的行為范式學習推理而來。隨著大模型廣泛應用到各行各業，倘若任由這種不可控的“黑箱”發展下去，我們將很難控制人工智能的價值體系與人類相一致，會造成較大的社會倫理風險。
再次，制度監管滯后與信息不對稱的結構性困境。盡管世界各國已針對人工智能技術帶來的安全風險紛紛出臺相關法案，但這些法律法規的制定完善一般需要漫長復雜的流程，往往滯后于人工智能新產品的發布更新速度。各國人工智能的發展水平與應用程度不同，政府、企業、高?？蒲袡C構、社會大眾對動態更新發展的人工智能技術的認知存在不小的信息差，導致國與國之間、社會各行各業之間推出的人工智能治理措施出現大量無效重合和高度沖突。這類信息不對稱和統一標準的缺失，對外易制造國際人工智能安全治理的合作爭端，對內會使得人工智能監管出現“真空地帶”，造成制度疊加的冗余和推行成本的增長。
2、在社會和個人層面，濫用人工智能技術可能帶來勞動秩序重構、混淆視聽、誘發心理依賴、認知和學習能力下降等問題
在社會和個人層面，除了侵犯個人隱私、引發版權糾紛等，濫用人工智能還會造成不少問題：
社會重新分配，勞動秩序重構。“人工智能+”的落地應用可能會引起“創造性破壞”，也就是普遍擔憂的“人工智能代替人類”——普通勞動者的就業機會被人工智能剝奪。國際貨幣基金組織發布報告稱，人工智能預計將對全球近40%的工作崗位產生影響。創造性和技術需求較低工作的從業者都將面臨失業或轉型的危機，社會勞動分工的結構將經歷一場“大洗牌”。
難辨真假的“網絡垃圾”在信息渠道混淆視聽。對于自然科學、金融、醫學等特定領域的專業問題，諸多大模型沒有經過大規模專業語料訓練，可能會一本正經“胡編亂造”，制造“模型幻覺”。在缺乏必要監管機制的當下，由大模型生成的大量未經辨認審核的文本與圖片流入互聯網，在稀釋真實信息的同時，還容易讓不具備專業知識的大眾信以為真。
過度使用人工智能“角色扮演”功能易誘發心理依賴。經過特定算法和數據庫訓練的大模型，能夠根據用戶的指示扮演符合用戶情感需求的虛擬角色，與用戶交流。如果用戶過度沉迷其中、忽略現實交際，則有可能因身心空虛導致極端性后果。這是因為算法不透明性和“黑箱”操控機制形成了信息的“繭房”，使用者被困于AI挑選和過濾后的“信息泡泡”中。算法通過分析我們的信息偏好，利用人類易產生恐懼焦慮的心理機制、利用青少年心智不完全成熟和對某些信息的獵奇心，不斷投喂和推薦某類特定信息，加強固有的缺陷和偏好，讓人們身陷其中無法自拔，嚴重時可導致AI成癮效應。
過分依賴人工智能進行思考會導致認知和學習能力下降。抖音海外版顧問格雷格·伊森伯格曾提到一名斯坦福大學畢業生，因過度使用ChatGPT，在交談中經常出現思維中斷、言語遲滯的跡象。當認知過程被長期“外包”給人工智能，無論多么優秀的大腦，思考和學習功能都會“用進廢退”。不假思索地全盤接受AI生成的“投喂式”內容，會導致本應在教育過程中塑造并形成的信息收集、篩選、處理、應用、創造的批判性思維、邏輯性思維、創新性思維能力的嚴重退化。
3、構建人工智能安全治理框架，不僅要涵蓋現實中出現的問題，還應從根源入手，避免“頭痛醫頭、腳痛醫腳”
面對人工智能這把“雙刃劍”，我們亟須構建完備的人工智能安全治理體系。它不僅要涵蓋現實中的問題，還應基于系統化、綜合化的人工智能理論，從問題的根源入手，避免“頭痛醫頭、腳痛醫腳”的片面化處理。
加強價值對齊，制定人工智能評級標準。造成人工智能引發的意識形態、價值倫理、信息混亂等問題的根本原因，是生成式大模型缺乏明確的認知架構和價值體系，只能按照人類設定的程序，機械地對問題做出反饋，沒能做到與人類價值對齊。為此，需要一套結合人類價值體系和認知架構的人工智能評級標準，作為評定和開發人工智能的科學標尺，輔助科學家打造更加符合人類需求、更加安全的人工智能。
改進技術，設置防沉迷預警。不僅需要從外部對人工智能設置評級標準，也要從人工智能內部進行分級改造。使用人工智能的社會群體千差萬別、需求各有側重，需要防范的風險也各異。以青少年群體為例，我們應該著重研發輔助課堂學習、引導興趣愛好的人工智能，讓其成為有利于青少年成長的助手與“伙伴”。同時，為防止青少年過度沉迷，應在系統中編入使用時長、特定功能分區的限制，并出具生動詳細的使用教程和預警聲明，保障青少年的身心健康。
預測就業替代風險，加強人工智能職業培訓。如何避免人工智能替代人類，不僅需要勞動者個人順應時代風向、積極主動實現自我提升，還需要政府部門和企事業單位制定保護勞動者、協調人機關系的就業保障機制。在部署“人工智能+”行動時，可以要求企業在應用人工智能的同時，在算法中預置就業考量，實現向善的人工智能倫理規則。企業則應做好就業倫理合規，不應追求用技術完全替代人，而是追求如何用技術賦能生產效率、優化體驗。此外，在進行就業前置性布局的時候，也應當為可能被替代職業或工種的從業者安排相關的技能培訓，增加他們在新環境下的就業機會。
構建平等開放的國際人工智能安全秩序。防范人工智能安全風險是全世界共同面臨的課題，并不是某一國、某一地區的特權或義務。目前，發達國家總體上掌握著比發展中國家更先進的人工智能技術，后者往往因此失去了在國際舞臺上的話語權，并缺乏防范和化解人工智能風險的意識。
需要強調的是，理解與防范人工智能安全風險的目的，并不是要讓大家畏懼、否定科技的進步，而是希望大家具備理性審視和應對潛在風險的能力，學會在人工智能的浪潮中保持清醒的頭腦，掌握駕馭人工智能的主動權。讓我們在享受智能時代紅利的同時，確保自身和社會的安全穩定，實現科技向善、人機和諧共生的美好愿景！
（作者：宋國杰，系北京大學智能學院黨委副書記、長聘副教授）
本文鏈接：人工智能：如何握好這把“雙刃劍”http://www.sq15.cn/show-2-11943-0.html
聲明：本網站為非營利性網站，本網頁內容由互聯網博主自發貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。
上一篇： 豆包深度思考模型發布