自美國開放人工智能研究中心（OpenAI）發布聊天機器人程序ChatGPT及其背后的GPT系列大語言模型以來，人工智能大模型熱潮持續蔓延，全球科技企業競相宣布研發或推出自己的大模型，數量迅速增長的大模型如何實現商業化落地成為行業關注焦點。
除了OpenAI、谷歌等公司采取的提供云端大模型應用程序編程接口（API）的商業模式之外，另一條備受關注的商業化路徑是銷售“軟硬件結合”的大模型訓推一體機。這種商業模式在中國市場上熱度較高，特別是多家中小型科技企業都推出了大模型訓推一體機產品。這類“開箱即用”的人工智能產品可以在企業內進行本地化部署，使最新人工智能技術能夠方便地在工業場景中落地應用，實現從人工智能技術到生產力的轉化，加速人工智能與產業深度融合。
大模型訓推一體機一般指集成了大模型訓練和推理功能的“全棧式”人工智能設備，通常包含中央處理器（CPU）、圖形處理器（GPU）、存儲器、操作系統、深度學習模型等軟硬組件，能通過大規模數據訓練掌握數據處理和預測等能力。
與通過應用程序編程接口使用大模型功能相比，企業利用訓推一體機實現大模型部署具有多方面優勢。首先，訓推一體機可以針對企業的特定業務需求提供“開箱即用”的定制化大模型解決方案，并通過軟硬件協同優化提高性能，降低大模型部署、業務方案建設和調適的門檻。例如，佳都科技基于華為“昇騰AI”基礎軟硬件平臺推出了“佳都知行交通行業大模型訓推一體機”，可面向軌道交通、城市交通、城市安全等智慧城市重點建設領域，提供智能化、高效實時的解決方案和決策支持。
其次，由于訓推一體機將所有計算資源集中到一臺設備上，在大規模數據訓練中可大幅減少數據傳輸時間，提高計算速度和模型訓練效率，使企業能夠更快捷地使用和管理資源。
此外，本地化部署的訓推一體機能最大程度保障數據隱私和模型安全可控，滿足企業對數據安全監管的需求。英國《金融時報》日前報道說，在企業內部署的大模型訓推一體機產品正在對一些大型科技企業提供的基于公共云的人工智能服務形成沖擊。
該報道說，近期曝出的人工智能企業安全漏洞加劇了用戶對數據安全的擔憂。例如，ChatGPT將用戶的搜索歷史分享給他人，以及韓國三星的員工在使用ChatGPT處理工作時無意間泄露了公司的商業機密等。報道援引中國科大訊飛董事長劉慶峰的話說，機構需要能夠保護他們的數據，而建立私有云是防止有價值數據泄露的方法。
但也有觀點認為，訓推一體機的性能會受到硬件技術限制，這提高了技術持有和更新的成本。《金融時報》的報道援引半導體行業研究機構SemiAnalysis的首席分析師迪倫·帕特爾的話說，相比于公共云服務或使用應用程序編程接口接入大模型，訓推一體機的效率更低下。該模式對人工智能大模型的使用非常零散，這意味著企業持有的昂貴人工智能硬件沒有得到充分利用。
許多企業在衡量利弊后選擇了訓推一體機，這正在成為中國算力行業的趨勢之一。2023年7月，華為聯合多家伙伴共同發布“昇騰AI”大模型訓推一體化解決方案，加速大模型在各個行業落地應用。目前，科大訊飛等多家中國科技企業都發布了基于華為“昇騰AI”基礎軟硬件平臺的訓推一體機產品。
華為董事、ICT（信息與通信技術）產品與解決方案總裁楊超斌在今年3月舉行的華為中國合作伙伴大會上表示，2024年中國區人工智能訓推一體機市場規模有望達到168億元人民幣。
自美國開放人工智能研究中心（OpenAI）發布聊天機器人程序ChatGPT及其背后的GPT系列大語言模型以來，人工智能大模型熱潮持續蔓延，全球科技企業競相宣布研發或推出自己的大模型，數量迅速增長的大模型如何實現商業化落地成為行業關注焦點。
除了OpenAI、谷歌等公司采取的提供云端大模型應用程序編程接口（API）的商業模式之外，另一條備受關注的商業化路徑是銷售“軟硬件結合”的大模型訓推一體機。這種商業模式在中國市場上熱度較高，特別是多家中小型科技企業都推出了大模型訓推一體機產品。這類“開箱即用”的人工智能產品可以在企業內進行本地化部署，使最新人工智能技術能夠方便地在工業場景中落地應用，實現從人工智能技術到生產力的轉化，加速人工智能與產業深度融合。
大模型訓推一體機一般指集成了大模型訓練和推理功能的“全棧式”人工智能設備，通常包含中央處理器（CPU）、圖形處理器（GPU）、存儲器、操作系統、深度學習模型等軟硬組件，能通過大規模數據訓練掌握數據處理和預測等能力。
與通過應用程序編程接口使用大模型功能相比，企業利用訓推一體機實現大模型部署具有多方面優勢。首先，訓推一體機可以針對企業的特定業務需求提供“開箱即用”的定制化大模型解決方案，并通過軟硬件協同優化提高性能，降低大模型部署、業務方案建設和調適的門檻。例如，佳都科技基于華為“昇騰AI”基礎軟硬件平臺推出了“佳都知行交通行業大模型訓推一體機”，可面向軌道交通、城市交通、城市安全等智慧城市重點建設領域，提供智能化、高效實時的解決方案和決策支持。
其次，由于訓推一體機將所有計算資源集中到一臺設備上，在大規模數據訓練中可大幅減少數據傳輸時間，提高計算速度和模型訓練效率，使企業能夠更快捷地使用和管理資源。
此外，本地化部署的訓推一體機能最大程度保障數據隱私和模型安全可控，滿足企業對數據安全監管的需求。英國《金融時報》日前報道說，在企業內部署的大模型訓推一體機產品正在對一些大型科技企業提供的基于公共云的人工智能服務形成沖擊。
該報道說，近期曝出的人工智能企業安全漏洞加劇了用戶對數據安全的擔憂。例如，ChatGPT將用戶的搜索歷史分享給他人，以及韓國三星的員工在使用ChatGPT處理工作時無意間泄露了公司的商業機密等。報道援引中國科大訊飛董事長劉慶峰的話說，機構需要能夠保護他們的數據，而建立私有云是防止有價值數據泄露的方法。
但也有觀點認為，訓推一體機的性能會受到硬件技術限制，這提高了技術持有和更新的成本。《金融時報》的報道援引半導體行業研究機構SemiAnalysis的首席分析師迪倫·帕特爾的話說，相比于公共云服務或使用應用程序編程接口接入大模型，訓推一體機的效率更低下。該模式對人工智能大模型的使用非常零散，這意味著企業持有的昂貴人工智能硬件沒有得到充分利用。
許多企業在衡量利弊后選擇了訓推一體機，這正在成為中國算力行業的趨勢之一。2023年7月，華為聯合多家伙伴共同發布“昇騰AI”大模型訓推一體化解決方案，加速大模型在各個行業落地應用。目前，科大訊飛等多家中國科技企業都發布了基于華為“昇騰AI”基礎軟硬件平臺的訓推一體機產品。
華為董事、ICT（信息與通信技術）產品與解決方案總裁楊超斌在今年3月舉行的華為中國合作伙伴大會上表示，2024年中國區人工智能訓推一體機市場規模有望達到168億元人民幣。
本文鏈接：大模型訓推一體機：“開箱即用”的人工智能http://www.sq15.cn/show-2-6119-0.html
聲明：本網站為非營利性網站，本網頁內容由互聯網博主自發貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。
上一篇： 充分激發釋放科技人才紅利
下一篇： 科技“原始創新”為新質生產力發展蓄勢賦能