“技術驅動的多模態交互Native產品將形成新的產品習慣”
香港也有大模型公司了。
Weitu AI，一家全力打造多模態Native產品的公司，其創始人王歷偉博士在介紹時，特別強調了“多模態Native”這個關鍵詞 。
就在前不久，Weitu AI推出了自家的150億參數多模態大模型WeituAI 1.0，在諸多國際權威評測榜單如MMMU[1]，MMBench[2]，CMMMU[3]，SEED-Bench[4]和MM-Vet[5]等上一路高歌猛進。
雖然參數規模不算大，但不僅力壓200億參數量以下的同量級模型，甚至在一些榜單直接超車LLaVA-NeXT-34B、MM1-30B-Chat等更大模型。
這些評測結果不僅反映模型的性能優勢，也反映了其多模態能力的全面性。
例如，在由俄亥俄州立大學，滑鐵盧大學，卡內基梅隆大學和普林斯頓大學等機構聯合發布的大規模多學科多模態理解和推理數據集MMMU上，WeituAI 1.0取得了百億參數模型中的優異成績，僅次于一系列規模更大的模型，如GPT-4V等[1]。
在由香港科技大學、中科院自動化所和北京大學等機構組織的中文學科多模態數據集CMMMU上，WeituAI 1.0在200億參數量以下模型中排名第一[3]。
探索算法創新，瞄準多模態交互Native
為什么首先是百億參數模型？
據王歷偉博士介紹，因為這個參數規模的模型在打造實際多模態場景產品的時候，有非常靈活的想象空間。
此次在這些多模態大模型評測基準上展示了基礎的多模態理解能力，但是目前上述的評測基準大多以理解能力為主，尚沒有完全展示Weitu AI大模型最擅長和最有特點的多模態交互能力。
Weitu AI針對多模態交互做了很多結構優化，不僅讓WeituAI 1.0模型在傳統的多模態理解任務上保持優勢，更讓其在多模態交互Native場景大放異彩。
事實上，作為深耕多模態（視覺和自然語言結合領域）十多年的資深專家，王歷偉博士對當下大模型的局限有著敏銳洞察。
當問到為什么會出現這樣的情況，王歷偉博士指出，“原因很多，但是有一個非常本質且當前諸多多模態模型尚未完全解決的問題是，?傳統的圖像文本映射到同一個向量特征空間(embedding)的表達方法對視覺和跨模態建模具有局限性。 ”
總結起來就是，多模態大模型技術其實還有很多可以改進的地方，而Weitu AI也在不斷探索算法上的創新。
技術驅動產品，“雙輪驅動”成就多模態新機遇
在王歷偉博士看來，一款成功的多模態Native產品，離不開技術和產品力的“雙輪驅動”，缺一不可。
和移動互聯網時代的產品相比，要打造一款成功的多模態Native產品有何不同？
王歷偉博士認為，需要同時滿足兩個因素：第一個是產品力，第二個就是人工智能多模態技術。
據悉，截止到4月，Weitu AI的多模態圖像語言理解等技術被全球化的產品公司調用功能即將超過一億次，而且這個數字會未來會持續增長。
但在王歷偉博士看來，這還遠遠不夠。
他認為，Weitu AI的細粒度跨模態理解能力持續給這些全球化的客戶平臺公司輸送提高產品智能交互能力的“燃料”，而且這種細顆粒度理解能力只是Weitu AI多模態著力打造的多項技術優勢中的一種。
不僅如此，Weitu AI自己的一款充滿想象力的C端產品也在努力打造中。未來 Weitu AI將致力于打造豐富的多模態交互Native產品矩陣，而這些產品矩陣的基礎，就是Weitu AI不斷進化和發展的多模態交互大模型。
站在用戶和市場的角度，多模態大有可為
最后，王歷偉博士分享了他對創業的感悟:
Weitu AI的故事，恰恰詮釋了技術與產品力的“同理心”。他們在多模態技術的攻堅上不遺余力，更以對用戶痛點的洞察，為這項前沿技術找到落地的場景。于是，我們看到的不再是簡單的技術堆砌，而是與人的交互習慣深度融合的“多模態新產品”。
如果對打造這個新產品感興趣，歡迎多模態大模型、AIGC、模型訓練、推理和部署等方向的技術研發，前端和后端工程師，C端產品經理、產品運營、產品增長等方向的優秀人才投送簡歷至：?job@weitu.ai
商務洽談，也歡迎郵件聯系contact@weitu.ai
評測榜單鏈接 （其中WeituAI 1.0模型名稱 Weitu-VL-1.0）
[1] https://mmmu-benchmark.github.io/
[2] https://mmbench.opencompass.org.cn/leaderboard
[3] https://cmmmu-benchmark.github.io/
[4] https://huggingface.co/spaces/AILab-CVC/SEED-Bench_Leaderboard
[5] https://paperswithcode.com/sota/visual-question-answering-on-mm-vet
本文鏈接：香港大模型公司Weitu AI首秀，打造多模態Native的技術和產品http://www.sq15.cn/show-2-4675-0.html
聲明：本網站為非營利性網站，本網頁內容由互聯網博主自發貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。