10月15日，由中國電子信息行業聯合會主辦的第27屆中國國際軟件博覽會在鄭州舉辦。百度集團副總裁、深度學習技術及應用國家工程研究中心副主任吳甜分享了大模型時代AI基礎平臺驅動軟件生態帶來的新變化。
在開幕式暨主題峰會環節，吳甜表示，大模型具有效果好、泛化性強、研發流程標準化等特點，正引領人工智能的發展。在這一階段，AI研發范式帶來了開發、計算、部署的新挑戰，尤其是大模型的高效訓練和推理部署，需要軟硬件協同發力。
吳甜在第27屆軟博會上。百度 供圖
具體而言，大模型高效訓練的關鍵要素包括訓練吞吐、訓練有效時間和收斂效率，這背后涉及框架、芯片、集群、算法等軟硬件不同組合的協同優化。對大模型的推理部署來說，效果無損、低時延高吞吐、成本效益等要素極為關鍵，需要模型壓縮與量化、并行推理、軟硬件協同優化等技術的支持。
吳甜表示，要解決大模型研發所帶來的一系列挑戰，深度學習平臺關鍵需要具備大規模并行計算、高性能推理部署、全流程工程化三方面能力。以百度飛槳為例，作為百度自研的產業級深度學習開源開放平臺，飛槳從核心框架、基礎模型庫到端到端開發套件、工具與組件，以及星河社區等，全方位支持了文心大模型的演進過程。飛槳在核心框架和芯片之間構建了硬件適配層，打造多硬件統一適配方案，已適配60多款系列芯片，相比PyTorch，芯片基礎適配的接口數減少56%，代碼量減少80%。在深度學習平臺與大模型聯合優化下，文心大模型的能力得到了拓展、效率得到了提升。
此外她還談到，大模型在各行各業的落地，應用生態建設至關重要。為此，百度進行了模型及相應配套工具的開源。目前，文心大模型4.5系列已開源11款模型，涵蓋47B、3B激活參數的混合專家（MoE）模型與0.3B參數的稠密型模型，并配套開源了文心大模型開發套件ERNIEKit、大模型高效部署套件FastDeploy等，方便開發者在此基礎上實現高效的模型開發和部署，進而在更廣泛的行業加速AI的落地應用。
為方便開發者，目前星河社區已上線700萬個實踐項目、600多門公開課以及400多場AI競賽。開發者也在應用中反過來推動AI基礎技術平臺的完善。目前，飛槳框架貢獻者俱樂部成員達到195位，飛槳開發者技術專家411位，全球各地開發者自主建立運營的飛槳領航團超過400個。
本文鏈接：第27屆軟博會召開，百度吳甜：AI落地需軟硬協同http://www.sq15.cn/show-11-27124-0.html
聲明：本網站為非營利性網站，本網頁內容由互聯網博主自發貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。
上一篇： 影目INMO GO3新品發布
下一篇： 深秋寒意濃 醫生提醒謹防“情緒感冒”