2步生成Rap版《高速運轉的機械》
繼Suno、Udio帶火AI音樂生成大模型之后，第一個國產“音樂版Sora”，終于來了！
話不多說，直接“開箱”聽效果，看看到底怎么事。
我們開始就上一下難度，讓它根據《高速運轉的機械》這個網絡段子來做首個歌。
若是讓它爆改一下文字較為工整的古詩詞，AI又該如何接招？
有請李清照的《聲聲慢》：
效果聽起來還算不錯，那么操作上是否會很麻煩呢？不，巨簡單。
簡單2步就能做首歌
目前，SkyMusic已經集成到了手機上的天工APP，入口就在主頁頂部的“音樂”一欄中。
要想生成剛才那樣的音樂，只需點擊“開始寫歌”就可以了。
在接下來的界面中，正如上文所言，你只要執行2個操作即可：
- 填寫歌詞（300字內）
- 選擇參考曲目
如果在寫歌詞的過程中沒有靈感，你還可以通過“AI寫詞”的功能讓大模型給你幫忙哦~
最后，點擊底部的“生成歌曲”按鈕，大約1到2分鐘左右（親測），就會出結果了。
而且還不是只有1首，是直接給到3個完全不同的版本！
除此之外，在天工APP“音樂”欄目的下方，也有展示用戶篩出來的AI作品。
如果你在聽完某首歌曲之后覺得效果不錯，也想嘗試生成類似風格的音樂，可以點擊旁邊的“做同款”按鈕，只需填寫歌詞就能再生成一首不一樣的歌曲了。
從目前的結果來看，天工SkyMusic可以支持生成80秒左右時長的歌曲；不過一個好消息是，昆侖萬維表示馬上就會開放3分鐘版本了~
而也正如剛才所言，天工SkyMusic是國內首個“音樂版Sora”，并且也取得了不錯的效果。
如此又快又穩，昆侖萬維又是如何做到的呢？
全球首個公開的技術路線
在AI生成音樂這件事上，即使是像Suno、Udio這樣掀起熱潮的玩家，也同Sora一樣，并沒有公開其背后的技術細節內容。
但值得一提的是，昆侖萬維此次不僅是把AI生成音樂的產品給發布出來這么簡單，更是做到了在技術上的“全球首家公開”。
在聊SkyMusic關鍵技術之前，我們需要了解的是，AI音樂生成從技術角度來看，可以分為兩大流派：
- 符號音樂生成路線
- 大模型音樂音頻生成路線
符號音樂生成比較典型的技術就是MIDI（Musical Instrument Digital Interface，樂器數字接口），通常需要先對大量的樂譜做標注的工作，再對模型進行訓練。
其結果最后得到是樂譜，而并非是真正意義上的音樂，還需要其它的工具來對樂譜做“善后”的工作。
雖然此前學術界也嘗試了在MIDI這樣的技術基礎上，后期加入人聲、樂器、旋律、音色等元素，但所得到的結果并不是非常理想。
而天工SkyMusic選擇的大模型音樂音頻生成，則是與之截然相反的技術路線——
是通過直接地學習來生成音頻波形，并做到把樂器、人聲、旋律、音量、音符等等元素都“一鍋出”。但這條路線需要大量的研發投入和資金支持，讓大多數人望而卻步。即使強如Google、Meta等科技巨頭，目前也沒有發布在這條路線上的突破性成果。
同時，這條路線又分為Song、BGM、Speach三個細分領域；由于行業內普遍都在研究無人聲的BGM領域，導致行業內對有人聲的Song領域近乎沒有很好的解決方案，更沒有開源的方案可借鑒。
也正因如此，音樂屆的“Sora時刻”才會來得比圖像和視頻更晚一些。
為了解決這兩個老大難的問題，昆侖萬維自研出一套架構來解決，它主要由Encoder、DiT和Decoder三個模塊組成
具體而言，其采用的架構可視為音樂音頻領域的類Sora模型：
- Large-scale Transformer：負責譜曲，來學習Music Patches的上下文依賴關系，同時完成音樂可控性；
- Diffusion Transformer：負責演唱，通過LDM讓Music Patches被還原成高質量音頻。
這也是天工SkyMusic能夠支持生成80秒44100Hz采樣率雙聲道立體聲歌曲的關鍵所在。
在我們與昆侖萬維的交流中，研究人員進一步表示：
從效果中來看，天工SkyMusic在音樂中的咬字（尤其是中文）、情緒、技巧等元素的效果也是達標的。
昆侖萬維董事長兼CEO方漢和量子位CEO孟鴻在昨天的對話直播中，便現場展示了比較有意思的幾個曲子。
例如把《道德經》和寶媽一天的“吐槽”喂給天工SkyMusic，它生成的音樂是這樣的：
在全球權威多模態性能測試MMBench和MMBench-CN的評估中，天工3.0不僅在A屬性推理、關系推理、細粒度感知-交叉實例、粗略感知四項性能拿下第一，綜合評分更超越GPT-4V、Gemini Pro等知名文本大模型。
同時昆侖萬維還將將天工3.0“上架”自家的天工APP。
效果怎么樣？一言蔽之：
- 更聰明：技術知識能力提升20%，數學/推理/代碼/文創能力提升30%
- 更獨立：獨立規劃、調用、組合外部工具及整合信息來完成復雜需求
- 更全能：提升了專項Agent應對復雜需求的能力
- 多才多藝：內容創作能力全面升級，包括搜、寫、讀、聊、說、畫、聽、唱
例如“弱智吧Benchmark”難不倒天工大模型：
在AI搜索方面，天工3.0APP在調用能力上做了增強，甚至在“研究”模式下還能自動生成大綱、圖譜、思維導圖等內容。
以搜索“AIGC產業發展”為例，現在的打開方式可以是這樣的：
在大火的Agent技術方面，天工3.0也專門開設了“智能體”廣場，用戶可以自行構建專屬的超強AI智能體，也可以在廣場中pick自己想要的那一個。
以工作、生活都比較常用到的“擴圖”為例，只需要丟給它一張圖并提出要求，智能體就能生成4種不同的擴圖效果。
總而言之，現在的天工3.0整體體驗的最直觀感受就是面面俱到，最前沿、最fashion的技術和應用統統都可以擁有。
最后，對于國內首發“音樂版Sora”這事，還有個話題值得聊一聊：
為什么是昆侖萬維？
自從Sora問世引爆全球AIGC大熱潮以來，昆侖萬維絕對稱得上是眾多入局百模大戰選手中的黑馬。
此前，或許很多人對于昆侖萬維的印象還停留在“游戲”、“出海”，但現在，“AIGC”已然成為它最鮮明的標簽。
深入探究昆侖萬維在AIGC領域的發展歷程，我們可以清晰地看到其迅猛的發展步伐。
就在Sora發布僅一個月后，2022年12月，昆侖萬維便發布了自主研發的全系列AIGC算法及模型，這套模型不僅具備先進的文本對話功能，還覆蓋了圖像生成、音樂創作、文本理解等多個模態領域。
從起步開始，昆侖萬維就把“格局打開”，劍指多模態，而這正是今年AI產業最火熱的賽道之一。
2023年4月17日，昆侖萬維正式發布其自研的千億級大語言模型“天工”，并于同年7月在天工APP上線。緊隨其后，8月又推出了國內首款AI搜索產品——天工AI搜索，成為首批將AI大模型直接推向市場并服務于C端用戶的企業。
在這場“AI一日，人間一年”的產業競賽中，昆侖萬維并沒有安于現狀，而是持續死磕技術：從公開測試多模態大模型Skywork-MM，到開源百億參數級別的大語言模型天工Skywork-13B系列，繼而又推出天工SkyAgents平臺，并在今年2月，將國內首個采用MoE架構的大語言模型天工2.0免費向全社會開放。
而現在，正值天工大模型發布一周年之際，昆侖萬維在2個月內將其迭代到3.0版本，再次拿下兩個業界之最。
至此，也就不難回答“為什么是昆侖萬維”這個疑問。因為昆侖萬維始終堅守并踐行“All in AGI 與 AIGC”戰略，憑借敏銳的前瞻性和高效的行動力，始終站在AIGC技術發展的最前沿。
本文鏈接：直播網友AI寫歌征婚，實測最新登榜音樂SOTA模型：免費無限次，一鍵生成http://www.sq15.cn/show-2-5184-0.html
聲明：本網站為非營利性網站，本網頁內容由互聯網博主自發貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。