天工多模態大模型的演進落地
文生圖、文生音頻、文生視頻、AI搜索引擎……大模型在多模態的進程可謂是愈演愈烈。
而聚焦在國內，有這么一家公司在AIGC大熱潮的前后，單是“首個”就占了四席：
- 發布中國首個開源文本大模型
- 國內首個對標ChatGPT的雙千億級大模型
- 中國首個AI搜索
- 國內首個在線提供服務的MoE大模型
不賣關子，這家公司正是昆侖萬維，并且就在最近，它還解鎖了“中國首個音樂SOTA模型——天工音樂大模型”。
那么昆侖萬維在多模態大模型的道路中是如何演進的？為何能夠如此精準的先邁出每一步？
在本次中國AIGC產業峰會上，昆侖萬維董事長兼CEO方漢回答了一切。
為了完整體現方漢的思考，在不改變原意的基礎上，量子位對演講內容進行了編輯整理，希望能給你帶來更多啟發。
中國AIGC產業峰會是由量子位主辦的行業峰會，20位產業代表與會討論。線下參會觀眾近千人，線上直播觀眾300萬，獲得了主流媒體的廣泛關注與報道。
話題要點
- 天工3.0發布，全面超越MoE大模型Grok-1
- 天工3.0在多輪搜索、搜索“研究模式”、智能體方面能力提升
- 中國首個音樂AIGC的SOTA模型
- ……
以下為方漢演講全文：
天工3.0正式發布
我今天的演講主題是“天工多模態大模型的演進落地”。
大家知道昆侖萬維是從2022年12月發布了中國首個開源文本大模型，在2023年4月17日「天工1.0」發布，2023年8月23日發布了國內首個AI搜索產品——天工AI搜索。
在今天，我們發布了「天工3.0」，這是中國首個在音樂AIGC領域達到SOTA的模型，同時我們將開源4000億參數全球最大規模的MOE大模型，并且開始啟動公測。
首先，「天工3.0」目前性能已經全面超越3140億參數的MOE大模型Grok-1，是全球第一，這兩個大模型目前都是開源的。
我們可以看到在MMbench和MMbench-CN這兩個測試集中，我們在性能指標上已經全面超越GPT-4V，綜合排名全球領先。
「天工3.0」目前在模型技術支持能力上提升超過20%，在數學、推理、代碼、文創能力上提升超過30%。
通過專項的Agent訓練，可以應付復雜的需求能力，在內容創作能力上全面升級，目前是能搜能寫能讀能聊能說能畫能聽能唱，在多模態能力上非常全面。
下面可以看到，「天工3.0」在多輪搜索與綜合工具的調用能力上有了大幅提高。
例如，搜索“成都迪斯尼怎么去”大家知道，“成都迪斯尼”是個梗，我們能夠準確識別出來“成都迪斯尼”是成都的一個小區，同時，大模型把“成都迪斯尼”的攻略生成出來之后，還會把它總結成一個攻略。
再比如，在問天氣怎么樣的時候，大模型會把上海的天氣以卡片的形式展現給用戶，最后生成相對應的圖片。
視頻地址：
https://mp.weixin.qq.com/s/9_tE4IvcwaeEKuNY8XthLQ
再來看一下 「天工3.0」在搜索能力上的“研究模式”，大家可能知道，學生在閱讀文獻的時候，需要總結大綱，再自己畫腦圖。
視頻地址：
https://mp.weixin.qq.com/s/9_tE4IvcwaeEKuNY8XthLQ
在以前這類工作非常煩瑣，現在我們可以自動對搜索內容進行總結、自動生成大綱、拷貝到PowerPoint，就能自動生成PPT，同時最后再自動生成腦圖。這對所有的研究工作者非常有幫助。
下面我們看一下「天工3.0」在智能體方面的進展，大家可以很方便地通過非代碼的形式生成智能體，我們看現在生成的智能體在使用之后，可以生成一個關于特斯拉和小米SU7車型對比的表格，而且是多模態的生成，這個非常方便。
視頻地址：
https://mp.weixin.qq.com/s/9_tE4IvcwaeEKuNY8XthLQ
首個音樂AIGC的SOTA模型
目前，昆侖萬維以AI大模型為底座，已經擁有AI社交、AI游戲、AI搜索、AI大模型、AI音樂、AI視頻等六大業務矩陣。
我再給大家分享一下多模態大模型天工SkyMusic，這是目前首個音樂AIGC的SOTA模型。給大家聽一下案例，這是龐博（喜劇明星）利用天工AI音樂創作的一首歌曲。
視頻地址：
https://mp.weixin.qq.com/s/9_tE4IvcwaeEKuNY8XthLQ
我們天工SkyMusic與SONO V3的版本對比，首先，在人聲&BGM音質、人聲自然度、發音可懂度等領域都有明顯地提升。
我們這個技術模型的架構是類似Sora的DiT架構，目前數據集已經將近2000萬首音樂，這才能在音樂指標上可以超過SUNO，達到目前的SOTA，也就是技術指標第一。
我們獨家優勢在于根據示例音源生成音樂的能力，而不是根據標簽來生成音樂。
根據示例音源生成音樂的能力可以讓很多專業創作者用自己的一段小旋律生成完整的音樂，同時在人聲合成方面支持單一語種方案輸出能力，目前已經支撐粵語、四川話、北京話、上海話等多個方言。
最后，我們生成更具辨識度的自然人聲，大家都知道如何區分每個歌手的人聲，在合成上是有比較大的技術難度，我們目前基本上可以根據輸入的語音達到更好的克隆。
目前天工SkyMusic音樂創作能力，首先，能夠極大降低音樂創作門檻，人人皆可以歌明志。
大家可以看到，今天在我們公測的天工SkyMusic的功能下方，網友們創作的歌曲非常多，創作形式也非常多樣。
之前制作一首歌的成本非常昂貴，因為首先要有音樂的基礎能力，才能去作曲、才能編曲，還要有樂隊幫助你去演奏合成，最后還得有專業的演唱能力，才能完成一首歌的制作。
通過天工SkyMusic，一個人只要花幾分鐘時間可以完整創作出一首可以發布的歌曲，這樣極大降低了音樂創作門檻。讓每個人可以創作出自己的歌曲。
同時，極大降低了音樂創作成本，對于全體內容行業來說是一個福音。大家知道，在各行各業使用音樂的地方非常多。
之前都有著比較昂貴的授權費用，在今天可以讓各行各業使用的所有通過AI生成，成本可以迅速從幾萬塊錢降到幾分錢。
最后，我們也證明了中國研發可以在垂直領域做到全球的SOTA，這也是非常有意義的。大家知道，SOTA這個詞是“State of the art”，當前技術指標第一的意思。
OpenAI為什么現在是全球估值最高的大模型企業？
因為在文本大模型以及視頻生成大模型方面，它一直是全球的SOTA。對于中國公司來說，能否在垂直領域取得SOTA，也是你的企業能夠獲得技術紅利的一個重要因素。
最后我跟大家分享一下，昆侖萬維的使命與目標，是實現通用人工智能，讓每個人更好地塑造和表達自我。
為什么我們把這個分成了兩段？
實現通用人工智能就是對標AGI，我們堅信通過文本大模型和多模態大模型不斷演進，一定會實現通用人工智能；但與此同時，我們也可以通過AIGC能力的不斷拓展，讓每個人更好地塑造和表達自我。
我們可以看到從文本生成到圖像生成，再到音樂生成以及視頻生成，AIGC技術的演進能夠讓全世界創作內容的成本極大降低，從而打破強勢文化利用資源來達到的壟斷地位，讓每個少數族群都能夠創作屬于自己的內容，實現真正的文化平權。
這也是我們作為一家在全球幾十個國家都擁有業務的全球互聯網平臺企業所希望看到的一個愿景。
本文鏈接：解密中國首個“音樂版Sora” | 中國AIGC產業峰會http://www.sq15.cn/show-2-5566-0.html
聲明：本網站為非營利性網站，本網頁內容由互聯網博主自發貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。