開發(fā)AI應(yīng)用就像“把大象塞入冰箱”一樣簡(jiǎn)單
編輯部 整理自 AIGC峰會(huì)
量子位 | 公眾號(hào) QbitAI
AI手機(jī)、AI PC硬件新物種正嶄露頭角。
高通作為技術(shù)及芯片廠商，所提供的產(chǎn)品和解決方案正在推動(dòng)AIGC相關(guān)產(chǎn)業(yè)的規(guī)?；瘮U(kuò)展。
在本次AIGC產(chǎn)業(yè)峰會(huì)上，高通公司Al產(chǎn)品技術(shù)中國(guó)區(qū)負(fù)責(zé)人萬(wàn)衛(wèi)星分享了這樣的觀點(diǎn)：
2024年，高通會(huì)重點(diǎn)支持多模態(tài)模型以及更高參數(shù)量的大語(yǔ)言模型在端側(cè)的部署。而高通頂尖的異構(gòu)計(jì)算設(shè)計(jì)使AI能力貫穿整個(gè)SoC，將CPU、GPU和NPU的能力都充分釋放給開發(fā)者。
同時(shí)，借助高通AI Hub，開發(fā)者可以輕松地開發(fā)自己的創(chuàng)新AI應(yīng)用，就 像“把大象塞入冰箱”一樣簡(jiǎn)單。
為了完整體現(xiàn)萬(wàn)衛(wèi)星的思考，在不改變?cè)獾幕A(chǔ)上，量子位對(duì)演講內(nèi)容進(jìn)行了編輯整理，希望能給你帶來(lái)更多啟發(fā)。
中國(guó)AIGC產(chǎn)業(yè)峰會(huì)是由量子位主辦的行業(yè)峰會(huì)，20位產(chǎn)業(yè)代表與會(huì)討論。線下參會(huì)觀眾近千人，線上直播觀眾300萬(wàn)，獲得了主流媒體的廣泛關(guān)注與報(bào)道。
話題要點(diǎn)
- 基于圖像語(yǔ)義理解的多模態(tài)大模型發(fā)展是當(dāng)下的重要趨勢(shì)。
- 芯片廠商如何滿足生成式AI多樣化的要求。
- 虛擬化身AI助手，充分利用高通異構(gòu)計(jì)算能力的端到端用例解析。
- 利用高通AI Hub進(jìn)行應(yīng)用開發(fā)的過程就像“把大象塞進(jìn)冰箱”一樣簡(jiǎn)單。
以下為萬(wàn)衛(wèi)星演講全文：
終端側(cè)生成式AI時(shí)代已經(jīng)來(lái)臨
我們相信，終端側(cè)生成式AI時(shí)代已經(jīng)來(lái)臨。
高通在2023年10月發(fā)布的第三代驍龍8和驍龍X Elite兩款產(chǎn)品上，已經(jīng)實(shí)現(xiàn)了大語(yǔ)言模型完整地在端側(cè)運(yùn)行，并且已經(jīng)或即將為眾多AI手機(jī)和AI PC提供支持。
在手機(jī)方面，去年年底和今年年初，包括三星、小米、榮耀、OPPO和 vivo 等眾多OEM廠商發(fā)布的Android旗艦產(chǎn)品，都已經(jīng)具備了在端側(cè)運(yùn)行生成式AI的能力。
基于圖像語(yǔ)義理解的多模態(tài)大模型發(fā)展是當(dāng)下的重要趨勢(shì)。
在今年2月的MWC巴塞羅那期間，高通也展示了全球首個(gè)在Android手機(jī)上運(yùn)行的多模態(tài)大模型（LMM）。
具體來(lái)說，我們?cè)诖钶d第三代驍龍8的參考設(shè)計(jì)上運(yùn)行了基于圖像和文本輸入、超過70億參數(shù)的大語(yǔ)言和視覺助理大模型（LLaVa），可基于圖像輸入生成多輪對(duì)話。
具有語(yǔ)言理解和視覺理解能力的多模態(tài)大模型能夠賦能諸多用例，例如識(shí)別和討論復(fù)雜的視覺圖案、物體和場(chǎng)景。
設(shè)想一下，有視覺障礙的用戶就可以在終端側(cè)利用這一技術(shù)，實(shí)現(xiàn)在城市內(nèi)的導(dǎo)航。同時(shí)，高通在驍龍X Elite上也演示了全球首個(gè)在Windows PC上運(yùn)行的音頻推理多模態(tài)大模型。
接下來(lái)看看高通作為技術(shù)及芯片廠商，如何滿足生成式AI多樣化的要求。
不同領(lǐng)域的生成式AI用例具有多樣化的要求，包括按需型、持續(xù)型和泛在型用例，其背后所需的AI模型也是千差萬(wàn)別，很難有一種處理器可以完美適用所有生成式AI用例或非生成式AI用例。
比如，有些用例需要進(jìn)行順序控制，對(duì)時(shí)延比較敏感；有些用例是持續(xù)型的，對(duì)算力和功耗比較敏感；有些用例需要始終在線，對(duì)功耗尤其敏感。
高通公司推出的高通AI引擎就是領(lǐng)先的異構(gòu)計(jì)算系統(tǒng)，它包含多個(gè)處理器組件，包括通用硬件加速單元CPU和GPU、專門面向高算力需求的NPU，以及高通傳感器中樞，它們?cè)贏I推理過程中扮演不同角色。
前面提到的順序執(zhí)行的按需型任務(wù)，可以運(yùn)行在CPU或GPU上；對(duì)AI算力要求比較高的持續(xù)型任務(wù)，例如影像處理、生成式AI等，都可以運(yùn)行在NPU上；對(duì)于需要始終在線、對(duì)功耗尤其敏感的任務(wù)，可以運(yùn)行在高通傳感器中樞上。
簡(jiǎn)單介紹一下高通NPU的演進(jìn)路線，這是非常典型的由上層用例驅(qū)動(dòng)底層硬件設(shè)計(jì)的案例。
2015年及更早之前，AI主要用于一些比較簡(jiǎn)單的圖像識(shí)別、圖像分類用例，所以我們給NPU配置了標(biāo)量和向量加速器。
2016—2022年間，計(jì)算攝影概念開始流行，我們把研究方向從圖像分類轉(zhuǎn)移到了AI計(jì)算攝影及視頻等等，包括對(duì)自然語(yǔ)言理解和處理的支持，以及對(duì)Transformer模型的支持，我們給NPU硬件在標(biāo)量和向量加速器的基礎(chǔ)之上，增加了張量加速器。
2023年，大模型熱度很高，我們?cè)跇I(yè)內(nèi)率先完成了端側(cè)的大模型支持，給NPU配置了專門的Transformer加速模塊。
2024年，我們會(huì)重點(diǎn)支持多模態(tài)模型，以及更高參數(shù)量的大語(yǔ)言模型在端側(cè)的部署。
接下來(lái)為大家更深入的介紹高通Hexagon NPU。
第三代驍龍8上的Hexagon NPU不僅進(jìn)行了微架構(gòu)升級(jí)，還專門配置了獨(dú)立的供電軌道，以實(shí)現(xiàn)最佳的能效。
我們還通過微切片推理技術(shù)支持網(wǎng)絡(luò)深度融合，獲取更極致的性能。
此外Hexagon NPU還集成了專門為生成式AI打造的Transformer加速模塊，更高的DDR傳輸帶寬，更高的主頻等先進(jìn)技術(shù)。
所有這些技術(shù)相結(jié)合，使得Hexagon NPU成為面向終端側(cè)生成式AI的行業(yè)領(lǐng)先NPU。
接下來(lái)看一個(gè)具體案例，虛擬化身AI助手——這是非常典型的充分利用高通異構(gòu)計(jì)算能力的端到端用例。
它包括眾多復(fù)雜AI工作負(fù)載，首先需要自動(dòng)語(yǔ)音識(shí)別（ASR）模型負(fù)責(zé)將語(yǔ)音信號(hào)轉(zhuǎn)成文本，這部分工作負(fù)載可以運(yùn)行在高通傳感器中樞上；接下來(lái)會(huì)由大語(yǔ)言模型負(fù)責(zé)處理文本輸入，生成回復(fù)和對(duì)話，這部分工作負(fù)載可以運(yùn)行在NPU上；再通過文本生成語(yǔ)音（TTS）模型把文本輸出轉(zhuǎn)變成語(yǔ)音信號(hào)，這部分負(fù)載可以運(yùn)行在CPU；最后由GPU模塊負(fù)責(zé)基于語(yǔ)音輸出同步完成虛擬化身渲染，這樣就能得到一個(gè)端到端的用語(yǔ)音來(lái)交互的虛擬化身助手用例。
前面介紹了硬件技術(shù)，接下來(lái)分享一下高通平臺(tái)的AI性能。
在智能手機(jī)領(lǐng)域，第三代驍龍8不管是在魯大師AIMark V4.3、安兔兔AITuTu這些AI基準(zhǔn)測(cè)試的總分方面，還是在MLCommon MLPerf推理：
Mobile V3.1的具體模型推理性能測(cè)試方面，表現(xiàn)都遠(yuǎn)超于競(jìng)品。在PC方面，驍龍X Elite在面向Windows的UL Procyon AI推理基準(zhǔn)測(cè)試中，表現(xiàn)也超過了基于X86架構(gòu)的競(jìng)品。
高通除了提供領(lǐng)先的硬件平臺(tái)設(shè)計(jì)之外，也推出了一個(gè)跨平臺(tái)、跨終端、跨操作系統(tǒng)的統(tǒng)一軟件棧，叫做高通AI軟件棧（Qualcomm AI Stack）。
高通AI軟件棧支持所有目前主流的訓(xùn)練框架和執(zhí)行環(huán)境，我們還為開發(fā)者提供不同級(jí)別、不同層次的優(yōu)化接口，以及完整的編譯工具鏈，讓開發(fā)者可以在驍龍平臺(tái)上更加高效的完成模型的開發(fā)、優(yōu)化和部署。
值得強(qiáng)調(diào)的是，高通AI軟件棧是一個(gè)跨平臺(tái)、跨終端的統(tǒng)一解決方案，所以開發(fā)者只要在高通和驍龍的一個(gè)平臺(tái)上完成模型的優(yōu)化部署工作，便可以非常方便的將這部分工作遷移到高通和驍龍的其他所有產(chǎn)品上。
今年MWC巴塞羅那期間，高通發(fā)布了非常重量級(jí)的產(chǎn)品，高通AI Hub（Qualcomm AI Hub）。該產(chǎn)品面向第三方開發(fā)者和合作伙伴，可以幫助開發(fā)者更加充分的利用高通和驍龍底層芯片的硬件算力，開發(fā)出自己的創(chuàng)新AI應(yīng)用。
利用高通AI Hub進(jìn)行應(yīng)用開發(fā)的過程就像“把大象塞進(jìn)冰箱”一樣簡(jiǎn)單。
第一步，根據(jù)用例選擇所需模型。
第二步，選擇需要部署的高通或驍龍平臺(tái)。
第三步，只需要寫幾行腳本代碼，就可以完成整個(gè)模型部署，在終端側(cè)看到應(yīng)用或算法的運(yùn)行效果。
目前，高通AI Hub已經(jīng)支持約100個(gè)模型，其中有大家比較關(guān)心的生成式AI模型，包括語(yǔ)言、文本和圖像生成，也包括傳統(tǒng)AI模型，例如圖像識(shí)別、圖像分割，自然語(yǔ)言理解、自然語(yǔ)言處理等等。具體的模型信息，歡迎大家訪問高通AI Hub網(wǎng)站進(jìn)行查詢。
最后總結(jié)一下高通的AI領(lǐng)先優(yōu)勢(shì)。
第一，高通支持實(shí)現(xiàn)無(wú)與倫比的終端側(cè)AI性能。
第二，高通具備頂尖的異構(gòu)計(jì)算能力，使AI能力能夠貫穿整個(gè)SoC，將CPU、GPU、NPU和高通傳感器中樞的能力都充分釋放給應(yīng)用開發(fā)者。
第三，高通提供可擴(kuò)展的AI軟件工具，即前面提到的高通AI軟件棧等。
最后，高通可以支持廣泛的生態(tài)系統(tǒng)和AI模型。
高通AI Hub
AIHUB.QUALCOMM.COM
本文鏈接：高通萬(wàn)衛(wèi)星：終端側(cè)生成式AI時(shí)代已經(jīng)來(lái)臨｜中國(guó)AIGC產(chǎn)業(yè)峰會(huì)http://www.sq15.cn/show-2-5204-0.html
聲明：本網(wǎng)站為非營(yíng)利性網(wǎng)站，本網(wǎng)頁(yè)內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn)，不代表本站觀點(diǎn)，本站不承擔(dān)任何法律責(zé)任。天上不會(huì)到餡餅，請(qǐng)大家謹(jǐn)防詐騙！若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。
上一篇： 小冰徐元春：AIGC已經(jīng)讓普通人開始賺錢 | 中國(guó)AIGC產(chǎn)業(yè)峰會(huì)
下一篇： GPT-4化身黑客搞破壞，成功率87%！OpenAI要求保密提示詞，網(wǎng)友復(fù)現(xiàn)ing