多模態(tài)模型年內(nèi)推出
衡宇 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
繼2月以投后約25億美金估值炸場后，楊植麟的大模型公司月之暗面終于有了一次公開對媒體的活動(dòng)。
雖然楊植麟本人并未露面，但是發(fā)布了更長上下文窗口的版本：
200萬字上下文版本，今天即刻在Kimi上開啟內(nèi)測。
并且在與Kimi對話過程中，加入了（不打斷模型思路的）“繼續(xù)”功能按鈕。
月之暗面工程副總裁許欣然（同時(shí)也是Infra負(fù)責(zé)人）在會(huì)議室咚、咚、咚把好幾摞厚厚的打印紙重重地放在桌面上，分別是打印出來的《中醫(yī)中醫(yī)內(nèi)科學(xué)》《中醫(yī)診斷學(xué)》、英偉達(dá)2023年年度財(cái)報(bào)、《甄嬛傳》劇本版。
一摞比一摞厚。
現(xiàn)場放話：“歡迎大家體驗(yàn)”。
去年10月，月之暗面第一次公開亮相，發(fā)布了20萬字上下文窗口的Kimi模型。
5個(gè)月過去——5個(gè)月，對AI世界已經(jīng)是非常久的時(shí)間了，Kimi主要在3個(gè)方面有所提升：
- 遵循更復(fù)雜的指令
- 更強(qiáng)的信息檢索能力
- 網(wǎng)頁版、Android、iOS、小程序
提出“Kimi 10分鐘速成定律”
此次月之暗面最主要的動(dòng)作，就是將自家模型的上下文窗口提升了一個(gè)數(shù)量級(jí)。
即從發(fā)布之初的20萬字，拓展到200萬字。
同時(shí)據(jù)許欣然透露，5個(gè)月過去，相同成本、相同設(shè)備情況下，模型響應(yīng)速度提升了3倍左右。
為了達(dá)到更好的長窗口無損壓縮性能，月之暗面的研發(fā)和技術(shù)團(tuán)隊(duì)從模型預(yù)訓(xùn)練到對齊、推理環(huán)節(jié)均進(jìn)行了原生的重新設(shè)計(jì)和開發(fā)，不走“滑動(dòng)窗口”、“降采樣”等技術(shù)捷徑，攻克了很多底層技術(shù)難點(diǎn)。
200萬字上下文窗口，意味著Kimi模型能夠吃下更長的文檔內(nèi)容，完成更長和更復(fù)雜的任務(wù)。
包括但不限于，快速整理N多文件，如從500份簡歷中提取信息：
現(xiàn)場月之暗面還提出了“Kimi 10分鐘速成定律”。
即無關(guān)領(lǐng)域大眾小眾，也無關(guān)資料或多或少，只要把資料一股腦丟給模型，10分鐘內(nèi)，Kimi都能快速入門一個(gè)新領(lǐng)域。
比如德州撲克、中醫(yī)內(nèi)科、開（某個(gè)特定型號(hào)的）飛機(jī)、大模型推理……
現(xiàn)場還演示了Kimi模型挖掘長篇故事情節(jié)中深層次信息的能力。
案例自然是被人類開發(fā)程度不足10%的甄嬛傳（笑死）。
值得注意的是，月之暗面在媒體溝通會(huì)現(xiàn)場提出了一個(gè)新說法，即大模型們最近的新競速賽道，“大海撈針”功能，恐怕全綠也沒什么太大意義了。
最初，大海撈針其實(shí)是一個(gè)非常好的評(píng)測標(biāo)準(zhǔn)，因?yàn)楫?dāng)時(shí)大家都沒有針對這個(gè)case去優(yōu)化過。
但現(xiàn)在它已經(jīng)不是一個(gè)很好的評(píng)測指標(biāo)了，當(dāng)大家都去關(guān)注它的時(shí)候，就一定會(huì)想盡辦法去優(yōu)化它，慢慢就失去了原本的參考意義。
如果大海撈針不行了，有什么新的評(píng)測標(biāo)準(zhǔn)能夠檢測模型長文本能力嗎？
“暫時(shí)還沒有。”許欣然笑道。
他表示，模型窗口越來越長，評(píng)測的緯度變得非常非常多，不過團(tuán)隊(duì)已經(jīng)在和學(xué)術(shù)界團(tuán)隊(duì)共同探討這個(gè)開放性的問題。
期望打造“個(gè)人麥肯錫”
從20萬字上下文窗口，迭代為今天開始內(nèi)測的200萬字上下文窗口，具體的模型應(yīng)用場景又有什么新的亮眼之處？會(huì)不會(huì)只是從“處理50封簡歷”到“處理500封簡歷”的簡單線性外擴(kuò)？
一味拓展大模型上下文窗口的邊界，會(huì)不會(huì)打造出一把普通人想象中的“皇帝的金鋤頭”？
“實(shí)際上，可能會(huì)不斷地出現(xiàn)更多的現(xiàn)實(shí)場景，只有足夠長的context才能完成。”月之暗面表示，在200萬字版本推出后，接下來Kimi模型會(huì)在以下幾個(gè)方向發(fā)展：
第一，領(lǐng)域?qū)＜摇?/strong>
利用長文本能力吃掉一個(gè)領(lǐng)域里幾乎所有的相關(guān)資料，使調(diào)研一個(gè)行業(yè)成為簡單的事情。
第二，可完成復(fù)雜多步任務(wù)的Agent，月之暗面內(nèi)部稱之為“個(gè)人麥肯錫”。
希望模型未來不只是像能處理“幫我翻譯一下這個(gè)PDF”這類非常具體的任務(wù)，也能自動(dòng)完成抽象、復(fù)雜的任務(wù)。
第三，多模態(tài)能力。
Context長了之后，Kimi模型可以容納更多高清的、時(shí)間更長的這種視頻，從而讓我們模型很方便地去拓展到更多的模態(tài)。
據(jù)月之暗面聯(lián)合創(chuàng)始人周昕宇現(xiàn)場的答復(fù)，Sora出來以前，月之暗面就在根據(jù)自己的節(jié)奏推進(jìn)多模態(tài)能力的研發(fā)，Sora的出現(xiàn)也并沒有打亂原有的安排。
“預(yù)計(jì)今年會(huì)推出我們自己的多模態(tài)模型/產(chǎn)品。”
One More Thing
最后，他家大模型還悄么聲地改名了：
Kimi Chat??Kimi智能助手
Moonshot大模型??Kimi大模型
本文鏈接：月之暗面Kimi模型升級(jí)：200萬字窗口版可申請，新增“繼續(xù)”功能http://www.sq15.cn/show-2-4203-0.html
聲明：本網(wǎng)站為非營利性網(wǎng)站，本網(wǎng)頁內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn)，不代表本站觀點(diǎn)，本站不承擔(dān)任何法律責(zé)任。天上不會(huì)到餡餅，請大家謹(jǐn)防詐騙！若有侵權(quán)等問題請及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。
上一篇： 月銷量為0？越野奶爸車回應(yīng)了