(文/觀察者網 呂棟 編輯/張廣凱)
6月30日早上,華為正式宣布開源盤古70億參數的稠密模型、盤古Pro MoE 720億參數的混合專家模型和基于昇騰的模型推理技術。
華為表示,此舉是華為踐行昇騰生態戰略的又一關鍵舉措,推動大模型技術的研究與創新發展,加速推進人工智能在千行百業的應用與價值創造。
根據公告,盤古Pro MoE 72B模型權重、基礎推理代碼,已正式上線開源平臺。基于昇騰的超大規模MoE模型推理代碼,已正式上線開源平臺。盤古7B相關模型權重與推理代碼將于近期上線開源平臺。
5月底,華為曾披露,盤古Pro MoE大模型,在參數量僅為720億,激活160億參數量的情況下,通過動態激活專家網絡的創新設計,實現了以小打大的優異性能,甚至可以媲美千億級模型的性能表現。在業界權威大模型榜單SuperCLUE最新公布的2025年5月排行榜上,位居千億參數量以內大模型排行并列國內第一。
“盤古72B是兼顧性能與推理成本的黃金尺寸,最適合行業用戶用AI改造業務。”華為專家曾表示。
隨后在6月,有華為技術專家告訴觀察者網,華為初步計劃會向外開源,首先是盤古72B MoE模型是最有可能開源的模型。其次是小模型,有可能會給高校開源。
“我們以前很少對外發聲,盤古也沒有開源,所以大家對昇騰算力具體的情況不是特別了解,對模型的情況也不了解,外界就充滿了猜疑。甚至認為昇騰訓練不出來先進的大模型。昇騰算力能夠訓練出世界一流的大模型,訓練高效率,推理高性能,系統高可用。第三方模型遷移到昇騰上可以做到:Day0遷移,一鍵部署。”他說道。
除了前述兩款模型,華為近期還推出了參數規模達7180億新模型——盤古Ultra MoE,全流程在昇騰AI計算平臺上訓練。華為同時發布盤古Ultra MoE模型架構和訓練方法的技術報告,披露眾多技術細節。
“生態方面我們還需要努力。我們技術上會持續改進,昇騰的生態也在逐步完善,也包括對業界主流生態的兼容,全力支持好客戶的發展,昇騰未來一定會越來越好。”前述技術專家對觀察者網表示。
當時他透露,華為盤古718B Ultra MoE萬卡集群預訓練MFU(模型算力利用率)達到41%,實驗室已達到45%;CloudMatrix384超節點訓練MoE大模型,MFU超過50%。
“昇騰超節點的是全對等高速互聯的架構,基于系統工程的方法,對計算、內存、通信的極致優化調度,并結合昇騰特點的親和設計和數學算法創新,實現了超級并行,后續歐拉操作系統的優化升級支持各種資源的池化管理與調度,實現業務驅動的系統最佳匹配,訓練效率、推理性能還能再上一個臺階。”這位專家表示。
近期在華為開發者大會(HDC 2025)上,華為云還發布了盤古大模型5.5,對自然語言處理(NLP)、計算機視覺(CV)、多模態、預測、科學計算五大基礎模型進行升級。同時,基于CloudMatrix 384超節點的新一代昇騰AI云服務全面上線。
本文系觀察者網獨家稿件,未經授權,不得轉載。
本文鏈接:國產算力訓練,華為宣布開源盤古7B稠密和72B混合專家模型http://www.sq15.cn/show-3-148063-0.html
聲明:本網站為非營利性網站,本網頁內容由互聯網博主自發貢獻,不代表本站觀點,本站不承擔任何法律責任。天上不會到餡餅,請大家謹防詐騙!若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。
上一篇: 螞蟻集團董事長CEO聯合發布致辭:用AI為小微群體做更多、做更好
下一篇: 國家統計局:6月制造業PMI為49.7%