(文/觀察者網 呂棟 編輯/張廣凱)
“芯片重不重要?重要。但更重要的是,能夠提供客戶所需要的計算結果?!?月28日,在中國國際大數據產業博覽會開幕式上,華為常務董事、華為云計算CEO張平安說道。
這是華為云被傳出組織架構大調整后,張平安首次公開發聲。他表示,華為云正在堅定不移地造算力黑土地,通過昇騰AI云服務和Tokens服務滿足客戶的“最終計算結果”。
在當下,大模型發展對AI基礎設施提出了更高要求,未來十年,算力的需求可能會有數萬倍的增長。但是相比英偉達、AMD等海外廠商,國產芯片的發展受到美國層層圍堵。
在芯片工藝受限的情況下,中國如何提升算力性能和規模?張平安表示,華為可以發揮“大雜燴”的優勢——綜合在光通信、網絡、供電等多方面的技術,以系統補單點,以空間換算力,以帶寬換算力,以能源換算力,通過云上算力集群,獲得規模優勢和提升性能。
今年4月,華為云發布了CloudMatrix384超節點,將384顆昇騰NPU和192顆鯤鵬CPU,通過全新高速網絡MatrixLink全對等互聯,形成一臺超級“AI服務器”,算力規模達到300 PFlops。此外,對于萬億、十萬億參數的大模型訓練任務,可以通過橫向擴展方式,將432個超節點連在一起,組成一個16萬卡的AI集群。如果這個集群用于訓練千億參數大模型,可以同時支持1300個。
在這次大會上,華為云宣布其Tokens服務接入CloudMatrix384超節點,通過xDeepServe架構創新,單芯片最高可實現2400TPS、50msTPOT的高吞吐、低時延,超過業界水平。
觀察者網從現場了解到,xDeepServe是以Transformerless的極致分離架構,把MoE大模型拆成可獨立伸縮的Attention、FFN、Exper三個微模塊,相當于在一臺CloudMatrix384上把“大模型”拆成“積木”,并分派到不同的NPU上同步處理任務。之后,再用基于內存語義的微秒級XCCL通信庫與FlowServe自研推理引擎,把它們重新拼成一個超高吞吐的LLM服務平臺,即Tokens的“超高速流水線”。通過xDeepServe不斷調優,最終實現了從非超節點單卡吞吐600tokens/s至超節點單卡吞吐2400tokens/s的提升。
“昇騰AI云服務,我們可以稱之為國產的,我們不在意它是7納米、5納米還是10納米,我們在意的是這樣的AI云服務,能夠為客戶提供算力服務,提供Token服務,來服務客戶的最終計算結果。很高興告訴大家,現在我們超節點的Token服務,在50ms時延下,每卡可以生產出2400個Token,這個效率是H20的三倍。除盤古外,我們還支持主流的DeepSeek、Kimi等開源大模型?!睆埰桨苍诖髸媳硎?。
CloudMatrix384超節點
根據大會上的信息,目前華為云正圍繞貴安、烏蘭察布、和林格爾、蕪湖三大核心樞紐,打造“全國算力一張網”,其中在貴州已部署超40套CloudMatrix384超節點。相比去年同期,華為云整體算力規模增長接近250%,昇騰AI云服務客戶從從去年的321家增長到今年1714家,重大事故為零的記錄連續保持了756天。
與此同時,華為云圍繞智能駕駛領域集中發布CloudVeo智能駕駛云服務等解決方案和成果,華為云貴安汽車專區正式上線,長安天樞智駕搭載華為云CloudMatrix 384超節點也同步亮相。
華為云透露,中國最大的智能駕駛(輔助)企業引望已經跑在昇騰上。多個項目的實際測試結果顯示,在典型感知模型、E2E、VLA模型上,CloudMatrix 384超節點可以達到或者超過H1002.5-3倍。
就在這次大會前,華為云組織架構調整引發諸多關注。市場傳言稱,華為云多個部門被裁撤整合。調整后,華為云將聚焦3+2+1業務:3包括通算、智算、存儲;2包括AI PaaS、數據庫;1則主要為安全業務。
Canalys數據顯示,今年一季度,華為云在中國大陸云服務市場中排名第二,占據18%的份額,與阿里云33%的份額仍有差距。而阿里云AI相關工作負載已連續七個季度實現三位數增長,成為其云業務的核心引擎。
在分析人士看來,市場主流需求已從“上云”轉向“上AI”,客戶對AI的旺盛需求正重塑云計算應用方式。華為云此次組織“陣痛”是一次必然的戰略抉擇,就是通過砍掉協同效應弱、資源消耗大的外圍研發,將所有力量都集中到能最大化“昇騰AI+盤古”組合優勢的核心場景上。
這次大會上,華為副總裁、中國云業務部部長陳林也談到組織架構調整一事。他表示,“原因很簡單,就是聚焦AI飽和投入。當前是人工智能應用行業落地的加速期,中國擁有千行萬業的業務場景,各行各業都在積極的擁抱AI,中國非常有機會在各行業構筑起全球領先的優勢?!?span style="display:none">cI3速刷資訊——每天刷點最新資訊,了解這個世界多一點SUSHUAPOS.COM
“我們希望大模型能在昇騰云上跑的更快更好。”張平安也提到,在蒸汽機發明的時候,人們曾經嘗試著給三輪車裝上蒸汽機,這讓火車的發明推遲了四十年,因此,在AI時代來臨的時候,要積極擁抱AI原生思維,用AI原生的思維來構筑AI,圍繞AI重新構建應用、數據、流程、人員。
“今天是硅基輔助人來干活,AI是工具;未來AI可能會成為執行任務的主體,人的任務就是管理AI,控制AI的開關。對于希望用AI構筑領先優勢的企業來說,只有通過AI原生思維來擁抱AI,才能充分發揮AI的潛力,提高效率,創新業務模式,抓住智能時代機遇,實現智能躍遷?!彼硎尽?span style="display:none">cI3速刷資訊——每天刷點最新資訊,了解這個世界多一點SUSHUAPOS.COM
本文系觀察者網獨家稿件,未經授權,不得轉載。
本文鏈接:華為云CEO:384超節點每卡性能可達英偉達H20三倍http://www.sq15.cn/show-3-153486-0.html
聲明:本網站為非營利性網站,本網頁內容由互聯網博主自發貢獻,不代表本站觀點,本站不承擔任何法律責任。天上不會到餡餅,請大家謹防詐騙!若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。