觀察者網獲悉，本次世界人工智能大會（WAIC），華為將首次線下展出昇騰384超節點真機。
隨著大模型訓練和推理對算力需求的爆炸式增長，傳統計算架構已難以支撐AI技術的代際躍遷。華為昇騰384超節點，首創將384顆昇騰NPU和192顆鯤鵬CPU通過全新高速網絡MatrixLink全對等互聯，形成一臺超級“AI服務器”，單卡推理吞吐量躍升到2300 Tokens/s。
在高速互聯總線聯接下，昇騰384超節點共由12個計算柜和4個總線柜構成，是目前業界最大規模的超節點，算力總規模達300Pflops，是英偉達NVL72的1.7倍；網絡互聯總帶寬達269TB/s，比英偉達NVL72提升107%；內存總帶寬達1229TB/s，比英偉達NVL72提升113%。 更重要的是，通過最佳負載均衡組網等方案，昇騰超節點還能進一步擴展為包含數萬卡的Atlas 900 SuperCluster超節點集群，未來可以支撐更大規模的模型演進。
并且，超節點架構還能更好地支持混合專家MoE大模型的推理，可以實現“一卡一專家”，一個超節點可以支持384個專家并行推理，極大提升效率。同時，超節點還可以支持“一卡一算力任務”，靈活分配資源，提升任務并行處理，減少等待，將算力有效使用率（MFU）提升50%以上。
本文鏈接：華為將首次展出“算力核彈”真機http://www.sq15.cn/show-3-149663-0.html
聲明：本網站為非營利性網站，本網頁內容由互聯網博主自發貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。
上一篇： 字節跳動新加坡員工中毒事件宣判：云海肴被罰7000新元
下一篇： “雪糕刺客”鐘薛高：從高端狂飆到破產收場