多模態(tài)模型年內(nèi)推出
衡宇 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
繼2月以投后約25億美金估值炸場后,楊植麟的大模型公司月之暗面終于有了一次公開對媒體的活動(dòng)。
雖然楊植麟本人并未露面,但是發(fā)布了更長上下文窗口的版本:
200萬字上下文版本,今天即刻在Kimi上開啟內(nèi)測。
并且在與Kimi對話過程中,加入了(不打斷模型思路的)“繼續(xù)”功能按鈕。

月之暗面工程副總裁許欣然(同時(shí)也是Infra負(fù)責(zé)人)在會(huì)議室咚、咚、咚把好幾摞厚厚的打印紙重重地放在桌面上,分別是打印出來的《中醫(yī)中醫(yī)內(nèi)科學(xué)》《中醫(yī)診斷學(xué)》、英偉達(dá)2023年年度財(cái)報(bào)、《甄嬛傳》劇本版。
一摞比一摞厚。
現(xiàn)場放話:“歡迎大家體驗(yàn)”。

去年10月,月之暗面第一次公開亮相,發(fā)布了20萬字上下文窗口的Kimi模型。
5個(gè)月過去——5個(gè)月,對AI世界已經(jīng)是非常久的時(shí)間了,Kimi主要在3個(gè)方面有所提升:
- 遵循更復(fù)雜的指令
- 更強(qiáng)的信息檢索能力
- 網(wǎng)頁版、Android、iOS、小程序
提出“Kimi 10分鐘速成定律”
此次月之暗面最主要的動(dòng)作,就是將自家模型的上下文窗口提升了一個(gè)數(shù)量級(jí)。
即從發(fā)布之初的20萬字,拓展到200萬字。
同時(shí)據(jù)許欣然透露,5個(gè)月過去,相同成本、相同設(shè)備情況下,模型響應(yīng)速度提升了3倍左右。
為了達(dá)到更好的長窗口無損壓縮性能,月之暗面的研發(fā)和技術(shù)團(tuán)隊(duì)從模型預(yù)訓(xùn)練到對齊、推理環(huán)節(jié)均進(jìn)行了原生的重新設(shè)計(jì)和開發(fā),不走“滑動(dòng)窗口”、“降采樣”等技術(shù)捷徑,攻克了很多底層技術(shù)難點(diǎn)。
200萬字上下文窗口,意味著Kimi模型能夠吃下更長的文檔內(nèi)容,完成更長和更復(fù)雜的任務(wù)。
包括但不限于,快速整理N多文件,如從500份簡歷中提取信息:

現(xiàn)場月之暗面還提出了“Kimi 10分鐘速成定律”。
即無關(guān)領(lǐng)域大眾小眾,也無關(guān)資料或多或少,只要把資料一股腦丟給模型,10分鐘內(nèi),Kimi都能快速入門一個(gè)新領(lǐng)域。
比如德州撲克、中醫(yī)內(nèi)科、開(某個(gè)特定型號(hào)的)飛機(jī)、大模型推理……

現(xiàn)場還演示了Kimi模型挖掘長篇故事情節(jié)中深層次信息的能力。
案例自然是被人類開發(fā)程度不足10%的甄嬛傳(笑死)。

值得注意的是,月之暗面在媒體溝通會(huì)現(xiàn)場提出了一個(gè)新說法,即大模型們最近的新競速賽道,“大海撈針”功能,恐怕全綠也沒什么太大意義了。
最初,大海撈針其實(shí)是一個(gè)非常好的評(píng)測標(biāo)準(zhǔn),因?yàn)楫?dāng)時(shí)大家都沒有針對這個(gè)case去優(yōu)化過。
但現(xiàn)在它已經(jīng)不是一個(gè)很好的評(píng)測指標(biāo)了,當(dāng)大家都去關(guān)注它的時(shí)候,就一定會(huì)想盡辦法去優(yōu)化它,慢慢就失去了原本的參考意義。
如果大海撈針不行了,有什么新的評(píng)測標(biāo)準(zhǔn)能夠檢測模型長文本能力嗎?
“暫時(shí)還沒有。”許欣然笑道。
他表示,模型窗口越來越長,評(píng)測的緯度變得非常非常多,不過團(tuán)隊(duì)已經(jīng)在和學(xué)術(shù)界團(tuán)隊(duì)共同探討這個(gè)開放性的問題。

期望打造“個(gè)人麥肯錫”
從20萬字上下文窗口,迭代為今天開始內(nèi)測的200萬字上下文窗口,具體的模型應(yīng)用場景又有什么新的亮眼之處?會(huì)不會(huì)只是從“處理50封簡歷”到“處理500封簡歷”的簡單線性外擴(kuò)?
一味拓展大模型上下文窗口的邊界,會(huì)不會(huì)打造出一把普通人想象中的“皇帝的金鋤頭”?
“實(shí)際上,可能會(huì)不斷地出現(xiàn)更多的現(xiàn)實(shí)場景,只有足夠長的context才能完成。”月之暗面表示,在200萬字版本推出后,接下來Kimi模型會(huì)在以下幾個(gè)方向發(fā)展:
第一,領(lǐng)域?qū)<摇?/strong>
利用長文本能力吃掉一個(gè)領(lǐng)域里幾乎所有的相關(guān)資料,使調(diào)研一個(gè)行業(yè)成為簡單的事情。
第二,可完成復(fù)雜多步任務(wù)的Agent,月之暗面內(nèi)部稱之為“個(gè)人麥肯錫”。
希望模型未來不只是像能處理“幫我翻譯一下這個(gè)PDF”這類非常具體的任務(wù),也能自動(dòng)完成抽象、復(fù)雜的任務(wù)。
第三,多模態(tài)能力。
Context長了之后,Kimi模型可以容納更多高清的、時(shí)間更長的這種視頻,從而讓我們模型很方便地去拓展到更多的模態(tài)。
據(jù)月之暗面聯(lián)合創(chuàng)始人周昕宇現(xiàn)場的答復(fù),Sora出來以前,月之暗面就在根據(jù)自己的節(jié)奏推進(jìn)多模態(tài)能力的研發(fā),Sora的出現(xiàn)也并沒有打亂原有的安排。
“預(yù)計(jì)今年會(huì)推出我們自己的多模態(tài)模型/產(chǎn)品。”

One More Thing
最后,他家大模型還悄么聲地改名了:
Kimi Chat??Kimi智能助手
Moonshot大模型??Kimi大模型
本文鏈接:月之暗面Kimi模型升級(jí):200萬字窗口版可申請,新增“繼續(xù)”功能http://www.sq15.cn/show-2-4203-0.html
聲明:本網(wǎng)站為非營利性網(wǎng)站,本網(wǎng)頁內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn),不代表本站觀點(diǎn),本站不承擔(dān)任何法律責(zé)任。天上不會(huì)到餡餅,請大家謹(jǐn)防詐騙!若有侵權(quán)等問題請及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。
上一篇: 月銷量為0?越野奶爸車回應(yīng)了