騰訊混元聯(lián)合清華和港科大推出
單擊畫(huà)面中的火箭，輸入“發(fā)射”prompt，瞬間起飛！
就連想要回收火箭，也只需要輸入“Launch down”，再輕輕一點(diǎn)擊：
馬斯克看了都要自我懷疑一下，這火箭發(fā)射這么簡(jiǎn)單，自家星艦成功進(jìn)入太空怎么那么難（開(kāi)個(gè)小玩笑）？？
以上效果來(lái)自一個(gè)新的圖生視頻模型Follow-Your-Click，由騰訊混元、清華大學(xué)和香港科技大學(xué)聯(lián)合推出。
食用方法非常友好：
任意一張照片輸入模型，只需要點(diǎn)擊對(duì)應(yīng)區(qū)域，加上少量簡(jiǎn)單的提示詞，就可以讓圖片中原本靜態(tài)的區(qū)域動(dòng)起來(lái)，一鍵轉(zhuǎn)換成視頻。
就連《一人之下》的諸葛青和《唐伯虎點(diǎn)秋香》里的星爺也……
相關(guān)研究論文已經(jīng)掛上了arXiv，GitHub上也放出代碼，首日就小有戰(zhàn)績(jī)，攬星280+。
想動(dòng)哪里點(diǎn)哪里，so easy
注意看這個(gè)樓梯上的動(dòng)畫(huà)小鼠形象，只需單擊小鼠腹部，再輸入“跳舞”，它就能瞬間扭動(dòng)起來(lái)。
同時(shí)，畫(huà)面的其他部分保持原有的靜止?fàn)顟B(tài)。
不只是人物、卡通形象可以控制，圖片的其余部分，通過(guò)點(diǎn)擊和輸入簡(jiǎn)短提示詞，也能動(dòng)起來(lái)。
，時(shí)長(zhǎng)00:08
進(jìn)一步測(cè)試，是可以實(shí)際感知到Follow-Your-Click對(duì)畫(huà)面動(dòng)態(tài)部分的精準(zhǔn)控制的。
同樣是鳥(niǎo)圖，點(diǎn)擊小鳥(niǎo)，輸入“動(dòng)動(dòng)腦袋”：
輸入“扇扇翅膀”：
輸入“跳個(gè)舞吧”：
輸入“不如搖擺”：
總結(jié)，就是想要哪里動(dòng)，就點(diǎn)哪里。
研究團(tuán)隊(duì)還將Follow-Your-Click和其他視頻生成模型進(jìn)行了同題對(duì)比，以下是實(shí)驗(yàn)效果：
一鍵點(diǎn)，萬(wàn)物動(dòng)
此前圖生視頻模型的生成方法，一般都需要用提示詞描述運(yùn)動(dòng)區(qū)域，并提供運(yùn)動(dòng)指令的詳細(xì)描述。
從生成效果來(lái)看，過(guò)往技術(shù)在指定圖像移動(dòng)部分缺乏控制，往往是讓整個(gè)場(chǎng)景動(dòng)起來(lái)，而不是具體到圖像上的某個(gè)區(qū)域。
為了解決這些問(wèn)題，騰訊混元大模型團(tuán)隊(duì)、清華和港科大聯(lián)合項(xiàng)目提出了更實(shí)用和可控的圖像到視頻生成模型Follow-Your-Click。
實(shí)現(xiàn)方式上，F(xiàn)ollow-Your-Click首先整合了圖像語(yǔ)義分割工具Segment-Anything，將用戶(hù)點(diǎn)擊轉(zhuǎn)換為二進(jìn)制區(qū)域Mask，將其作為網(wǎng)絡(luò)條件之一。
其次，為了更好地正確學(xué)習(xí)時(shí)間相關(guān)性，團(tuán)隊(duì)還引入了一種有效的首幀掩模策略。
這種方式對(duì)模型生成的視頻質(zhì)量有較大的性能提升，不論是在畸變還是首幀的重構(gòu)效果上都有很大的幫助。
此外，為了實(shí)現(xiàn)簡(jiǎn)短提示詞的文字驅(qū)動(dòng)能力，研究團(tuán)隊(duì)構(gòu)建了一個(gè)名為WebVid-Motion的數(shù)據(jù)集——利用大模型來(lái)過(guò)濾和注視視頻標(biāo)題，并強(qiáng)調(diào)人類(lèi)情感、動(dòng)作和常見(jiàn)物體的運(yùn)動(dòng)，通過(guò)數(shù)據(jù)集提升模型對(duì)動(dòng)詞的響應(yīng)和識(shí)別能力。
聯(lián)合研究團(tuán)隊(duì)還設(shè)計(jì)了一個(gè)運(yùn)動(dòng)增強(qiáng)模塊，主要用途一方面是更好地適應(yīng)數(shù)據(jù)集，一方面用來(lái)增強(qiáng)模型對(duì)運(yùn)動(dòng)相關(guān)詞語(yǔ)的響，同時(shí)理解簡(jiǎn)短提示指令。
在視頻中，不同類(lèi)型的物體可能表現(xiàn)出不同的運(yùn)動(dòng)速度。
以往的工作中，每秒幀數(shù)（FPS）主要作為全局的動(dòng)作幅度控制參數(shù)，間接調(diào)整多個(gè)物體的運(yùn)動(dòng)速度。然而，它無(wú)法有效控制移動(dòng)物體的速度。
舉個(gè)
，一個(gè)展示雕塑的視頻可能具有很高的FPS，但是沒(méi)有物體的運(yùn)動(dòng)速度。
為了實(shí)現(xiàn)對(duì)運(yùn)動(dòng)速度的準(zhǔn)確學(xué)習(xí)，研究團(tuán)隊(duì)提出了一種基于光流的運(yùn)動(dòng)幅度控制，使用光流模長(zhǎng)作為新的視頻運(yùn)動(dòng)幅度控制參數(shù)。
以上這些新提出的方法，加上各模塊的組合，F(xiàn)ollow-Your-Click大大提升了可控圖生視頻的效率和可控性，最終實(shí)現(xiàn)了用簡(jiǎn)單文本指令來(lái)實(shí)現(xiàn)圖像局部動(dòng)畫(huà)。
One More Thing
小道消息！
Follow-Your-Click聯(lián)合項(xiàng)目組中的騰訊混元大模型團(tuán)隊(duì)，正努力研究和探索多模態(tài)技術(shù)。
此前，該團(tuán)隊(duì)已經(jīng)作為技術(shù)合作伙伴，支持了《人民日?qǐng)?bào)》的原創(chuàng)視頻《江山如此多嬌》。
該說(shuō)不說(shuō)，2024年，一定是多模態(tài)卷到爆炸的一年……
項(xiàng)目主頁(yè)：https://follow-your-click.github.io/
論文鏈接：https://arxiv.org/pdf/2403.08268.pdf
GitHub：https://github.com/mayuelala/FollowYourClick
本文鏈接：騰訊混元最新圖生視頻模型！想動(dòng)哪里點(diǎn)哪里，諸葛青睜眼原來(lái)長(zhǎng)這樣 | 開(kāi)源http://www.sq15.cn/show-2-3862-0.html
聲明：本網(wǎng)站為非營(yíng)利性網(wǎng)站，本網(wǎng)頁(yè)內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn)，不代表本站觀點(diǎn)，本站不承擔(dān)任何法律責(zé)任。天上不會(huì)到餡餅，請(qǐng)大家謹(jǐn)防詐騙！若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。
上一篇： 國(guó)產(chǎn)大模型創(chuàng)業(yè)一哥：秀商業(yè)化，布局Sora，“全線(xiàn)對(duì)標(biāo)OpenAI”