觀察者網獲悉,本次世界人工智能大會(WAIC),華為將首次線下展出昇騰384超節點真機。
隨著大模型訓練和推理對算力需求的爆炸式增長,傳統計算架構已難以支撐AI技術的代際躍遷。華為昇騰384超節點,首創將384顆昇騰NPU和192顆鯤鵬CPU通過全新高速網絡MatrixLink全對等互聯,形成一臺超級“AI服務器”,單卡推理吞吐量躍升到2300 Tokens/s。
在高速互聯總線聯接下,昇騰384超節點共由12個計算柜和4個總線柜構成,是目前業界最大規模的超節點,算力總規模達300Pflops,是英偉達NVL72的1.7倍;網絡互聯總帶寬達269TB/s,比英偉達NVL72提升107%;內存總帶寬達1229TB/s,比英偉達NVL72提升113%。 更重要的是,通過最佳負載均衡組網等方案,昇騰超節點還能進一步擴展為包含數萬卡的Atlas 900 SuperCluster超節點集群,未來可以支撐更大規模的模型演進。
并且,超節點架構還能更好地支持混合專家MoE大模型的推理,可以實現“一卡一專家”,一個超節點可以支持384個專家并行推理,極大提升效率。同時,超節點還可以支持“一卡一算力任務”,靈活分配資源,提升任務并行處理,減少等待,將算力有效使用率(MFU)提升50%以上。
本文鏈接:華為將首次展出“算力核彈”真機http://www.sq15.cn/show-3-149663-0.html
聲明:本網站為非營利性網站,本網頁內容由互聯網博主自發貢獻,不代表本站觀點,本站不承擔任何法律責任。天上不會到餡餅,請大家謹防詐騙!若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。
上一篇: 字節跳動新加坡員工中毒事件宣判:云海肴被罰7000新元
下一篇: “雪糕刺客”鐘薛高:從高端狂飆到破產收場