中新網北京9月8日電 (記者 孫自法)中國科學院自動化研究所9月8日宣布，該所研究團隊最新成功研發并發布類腦脈沖大模型“瞬悉”1.0(SpikingBrain-1.0)，實現兩個首次和多項核心性能突破，為新一代人工智能發展提供了新技術路線，并將啟迪更低功耗的下一代神經形態計算理論和芯片設計。
兩個首次
這是中國首次提出大規模類腦線性基礎模型架構、并首次在國產圖形處理器(GPU)算力集群上構建類腦脈沖大模型的訓練和推理框架。
最新研發發布的類腦脈沖大模型“瞬悉”1.0界面。中國科學院自動化研究所供圖“瞬悉”大模型由中國科學院自動化所李國齊和徐波研究員領導團隊基于“內生復雜性”理論構建，已在國產GPU平臺上完成全流程訓練與推理，實現大模型在超長序列推理上數量級的效率和速度提升，展示出構建國產自主可控的新型大模型架構生態的可行性。
“瞬悉”大模型解決了脈沖驅動限制下的大規模類腦模型性能退化問題，其超長序列處理能力在法律/醫學文檔分析、復雜多智能體模擬、高能粒子物理實驗、DNA序列分析、分子動力學軌跡等超長序列任務建模場景中，具有顯著的潛在效率優勢。
目前，研究團隊已開源“瞬悉”大模型并開放測試網址，還同步公開經工業界大規模驗證的該類腦脈沖大模型中英文技術報告。
四項突破
研究團隊指出，“瞬悉”大模型主要在高效訓練、推理效率、類腦大模型生態構建、多尺度稀疏機制等四項核心性能上實現突破：
極低數據量上的高效訓練方面，訓練階段具有線性或近線性復雜度，顯著提升長序列訓練效率，并能依托高效轉換訓練范式，以約為主流大模型2%的預訓練數據量，實現與眾多開源Transformer(一種基于自注意力機制的深度學習架構)模型在多任務語言理解、中文多任務語言理解、常識推理能力任務上相媲美的性能。
推理效率的數量級提升方面，推理階段結合脈沖神經元事件驅動特性，“瞬悉”大模型具有常數或部分層常數級別的復雜度和存儲開銷，在超長序列處理能力上展現出數量級的效率和速度提升。
國產自主可控類腦大模型生態的構建方面，“瞬悉”大模型適配了面向國產GPU集群的高效訓練和推理框架、有關算子庫、模型并行策略以及集群通信原語，表明構建國產自主可控的新型非Transformer大模型架構生態的可行性。
基于動態閾值脈沖化的多尺度稀疏機制方面，“瞬悉”大模型設計細粒度的兩階段動態閾值脈沖化策略，結合粗粒度的混合專家模型方案，實現超過69.15%的稀疏度，長序脈沖占比約1.85%，為低功耗的類腦大模型運行提供有力支撐。
新型路徑
研究團隊介紹，當前基于Transformer架構的主流大模型，通過增加網絡規模、算力資源和數據量提升模型智能水平，其基本計算單元為簡單的點神經元模型，此路徑被稱為“基于外生復雜性”的通用智能實現方法。
不過，Transformer架構的固有缺點，是訓練時開銷隨序列長度呈平方級增長以及推理時顯存占用也隨序列長度線性增加，構成資源消耗的主要瓶頸，導致其處理超長序列的能力受限。
借鑒大腦神經元內部復雜工作機制，研究團隊提出“基于內生復雜性”的大模型構架方式，成功研發出類腦脈沖大模型“瞬悉”，在理論上建立脈沖神經元內生動力學與線性注意力模型之間的聯系，揭示現有線性注意力機制是樹突計算的特殊簡化形式，從而清晰展示出一條不斷提升模型復雜度和性能的新型可行路徑。
根據新型路經，研究團隊構建并開源基于脈沖神經元、具有線性及混合線性復雜度的新型類腦基礎模型“瞬悉”，它僅需約主流模型2%的數據量，就能在多項語言理解和推理任務中媲美眾多主流模型。(完)
（原標題：中國團隊發布類腦脈沖大模型“瞬悉” 實現兩個首次和多項核心突破）
本文鏈接：中國科學院團隊發布類腦脈沖大模型“瞬悉”http://www.sq15.cn/show-11-25737-0.html
聲明：本網站為非營利性網站，本網頁內容由互聯網博主自發貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。