花小成本用好大模型
百億token補(bǔ)貼，4月起免費(fèi)！
這次的羊毛來自清華系A(chǔ)I公司無問芯穹，企業(yè)與個(gè)人皆可薅～
這家公司成立于2023年5月，目標(biāo)是打造大模型軟硬件一體化最佳算力解決方案。
就在剛剛，它發(fā)布了基于多芯片算力底座的無穹Infini-AI大模型開發(fā)與服務(wù)平臺，供開發(fā)者體驗(yàn)、對比各種模型和芯片效果。
大模型浪潮涌起之后，有人調(diào)侃：
比起“造福人類”，大模型更應(yīng)該先呼吁“給我場景”。
然而，無問芯穹認(rèn)為，經(jīng)歷了互聯(lián)網(wǎng)時(shí)代的高速發(fā)展，中國市場并不缺應(yīng)用場景。
大模型的落地難，癥結(jié)在于行業(yè)內(nèi)正在持續(xù)遭遇的算力難題。
比起“給我場景”，更應(yīng)該先呼吁“解決算力”。
而無問芯穹正在做的，就是這么一件事。
讓開發(fā)者花小成本、用好工具和充沛算力
今天，無問芯穹發(fā)布了基于多芯片算力底座的無穹Infini-AI大模型開發(fā)與服務(wù)平臺。
還宣布自3月31日起，正式開放全量注冊，給所有實(shí)名注冊的個(gè)人和企業(yè)用戶提供百億tokens免費(fèi)配額。
開發(fā)者可以在這個(gè)平臺上體驗(yàn)、對比各種模型能力和芯片效果。
通過簡單拖、拽各種參數(shù)按鈕的動作，就能精調(diào)出更貼合業(yè)務(wù)的大模型，并部署在無穹Infini-AI上；再以非常優(yōu)惠的千tokens單價(jià)向用戶提供服務(wù)。
目前，無穹Infini-AI已支持了Baichuan2、ChatGLM2、ChatGLM3、ChatGLM3閉源模型、Llama2、Qwen、Qwen1.5系列等共20多個(gè)模型，以及AMD、壁仞、寒武紀(jì)、燧原、天數(shù)智芯、沐曦、摩爾線程、NVIDIA等10余種計(jì)算卡，支持多模型與多芯片之間的軟硬件聯(lián)合優(yōu)化和統(tǒng)一部署。
第三方平臺或自定義訓(xùn)練、微調(diào)而來的模型也可以無縫遷移托管到無穹Infini-AI，并獲得細(xì)粒度定制化的按token計(jì)費(fèi)方案。
“我們對模型品牌和芯片品牌的覆蓋率還會持續(xù)提升，隨著時(shí)間的推移，無穹Infini-AI的性價(jià)比優(yōu)勢會越來越突出。”無問芯穹聯(lián)合創(chuàng)始人兼CEO夏立雪表示，未來，無穹Infini-AI還將支持更多模型與算力生態(tài)伙伴的產(chǎn)品上架，讓更多大模型開發(fā)者能夠“花小錢、用大池”，持續(xù)降低AI應(yīng)用的落地成本。
一個(gè)月前，同道獵聘在部分城市發(fā)布了AI驅(qū)動的數(shù)字人面試官產(chǎn)品，并且還有更多的AI功能正在籌備中。
這就是由無問芯穹提供的彈性算力使用方案，并在無問芯穹的平臺上基于開源大模型微調(diào)而成。
相比市面上的其他方案，實(shí)現(xiàn)了更高的推理加速，也大幅降低了新功能上線的成本。夏立雪表示，這一效果讓無穹團(tuán)隊(duì)很有信心。
因此，除了開放全量注冊，也正式啟動了大算力需求方的測試邀請，提供更具性價(jià)比的算力、且在算法和硬件上更有縱深的算力優(yōu)化服務(wù)。
那些遇到算力難題的企業(yè)
想在成熟場景中應(yīng)用大模型的企業(yè)，找到了算力但不會用，無法做出差異化的產(chǎn)品實(shí)現(xiàn)業(yè)務(wù)升級。
想創(chuàng)造AI-Native應(yīng)用的企業(yè)，算力成本難負(fù)擔(dān)，工具鏈也不好用，產(chǎn)品啟動投產(chǎn)比不合理。
自行訓(xùn)練模型的企業(yè)，隨著業(yè)務(wù)的拓展，往往找不到也買不起所需體量的算力，業(yè)務(wù)運(yùn)行成本過高。
截至2023年年末，我國算力總規(guī)模達(dá)到每秒1.97萬億億次浮點(diǎn)運(yùn)算（197E FLOPs），位居全球第二，算力規(guī)模近5年年均增速近30％。
如此增速，為何行業(yè)內(nèi)仍然感到算力尤其難？
背后的原因是，AI行業(yè)發(fā)展恰逢工程師人才紅利爆發(fā)，加速了我國大模型行業(yè)的蓬勃發(fā)展，需求端“嗷嗷待哺”，而市面上仍存在大量未被收集和充分利用的算力資源，缺少一種足夠成體系的“大模型原生”商業(yè)模式，將算力供給轉(zhuǎn)化為滿足市場需求的產(chǎn)品和服務(wù)。
算力性價(jià)比大幅提升，源自多芯片優(yōu)化實(shí)力
“市面上有很多未被激活的有效算力，硬件本身差距在快速縮小，但大家在使用時(shí)總會遇到‘生態(tài)問題’?！毕牧⒀┱f，這是因?yàn)橛布牡俣瓤偸潜溶浖r(jià)格更高，軟件開發(fā)者不希望工作中出現(xiàn)除自身研發(fā)工作之外的其他“變量”，因而總是會傾向于直接使用有成熟生態(tài)的芯片。
無問芯穹希望幫助所有做大模型的團(tuán)隊(duì)“控制變量”，即在使用無問芯穹的算力服務(wù)時(shí)，用戶不需要也不會感覺到底層算力的品牌差異。
成立不足一年的無問芯穹，何以能夠在這么短時(shí)間內(nèi)跑通多種計(jì)算卡上的性能優(yōu)化？
2022年底，大模型引發(fā)社會廣泛關(guān)注后，夏立雪和他的導(dǎo)師汪玉認(rèn)為，國內(nèi)整體算力水平距離國際先進(jìn)還有明顯差距，光靠芯片工藝提升或是多元芯片的迭代已遠(yuǎn)遠(yuǎn)不夠，需要建立一個(gè)大模型生態(tài)系統(tǒng)，讓不同模型能自動部署到不同硬件上，讓各種算力得到有效利用。
一年后，無問芯穹宣布了在英偉達(dá)GPU和AMD等芯片上取得的優(yōu)化效果，實(shí)現(xiàn)了大模型任務(wù)2-4倍的推理速度提升。
隨后，AMD中國宣布與無問芯穹達(dá)成戰(zhàn)略合作關(guān)系，雙方將攜手聯(lián)合提高商用AI應(yīng)用性能。
兩年之后，無問芯穹在發(fā)布會上展示了其在10種芯片上的性能優(yōu)化數(shù)據(jù)，在每張卡上都顯示已取得了目前行業(yè)內(nèi)最優(yōu)的性能優(yōu)化效果。
“我們與各個(gè)模型、芯片伙伴都建立了強(qiáng)信任關(guān)系，”夏立雪表示，“一方面來自于我們面向大模型的計(jì)算優(yōu)化實(shí)力，另一方面無問芯穹非常注重保護(hù)伙伴的數(shù)據(jù)安全。無問芯穹會持續(xù)保持中立性，并且也不會與客戶產(chǎn)生利益沖突，這是我們業(yè)務(wù)開展的基礎(chǔ)?！?span style="display:none">X5v速刷資訊——每天刷點(diǎn)最新資訊，了解這個(gè)世界多一點(diǎn)SUSHUAPOS.COM
做“大模型原生”的加速技術(shù)棧與系統(tǒng)
“Transformer統(tǒng)一了這一輪的模型結(jié)構(gòu)，并且表現(xiàn)出持續(xù)取得應(yīng)用突破的趨勢?！蓖粲裨陂_場發(fā)言中說，“從前我們在AI1.0時(shí)代做上一家公司，只能做很小一部分AI任務(wù)。今時(shí)不同往日，大模型結(jié)構(gòu)統(tǒng)一了，依靠生態(tài)建立起來的硬件壁壘正在‘變薄’。”
得益于世界范圍內(nèi)正涌起的AI浪潮，以及中國市場的獨(dú)特機(jī)會，無問芯穹面對的是一次巨大的技術(shù)機(jī)遇。
Transformer在設(shè)計(jì)時(shí)天然基于并行計(jì)算架構(gòu)，規(guī)模越大的大模型帶來的智能效果越好，使用的人越多，其所需的計(jì)算量也越大。
“無問芯穹正在做的是‘大模型原生’的加速技術(shù)棧?！睙o問芯穹的聯(lián)合創(chuàng)始人兼CTO顏深根表示，大模型落地依賴算法、算力、數(shù)據(jù)，還有系統(tǒng)。算力決定了大模型的速度，設(shè)計(jì)優(yōu)良的系統(tǒng)則能釋放出更多硬件潛力。
無問芯穹的團(tuán)隊(duì)曾搭建過數(shù)萬片GPU級的大規(guī)模高性能AI計(jì)算平臺，具備萬卡納管能力，并基于自運(yùn)營集群成功搭建了云管系統(tǒng)，已實(shí)現(xiàn)跨域多云間的統(tǒng)一調(diào)度。
One More Thing
“在端側(cè)，人們則更加傾向于快速將大模型的能力落到人機(jī)交互的界面上，提升實(shí)用體驗(yàn)?！睙o問芯穹聯(lián)合創(chuàng)始人兼首席科學(xué)家戴國浩認(rèn)為，未來，凡是有算力的地方，都會有AGI級別的智能涌現(xiàn)。而每一個(gè)端上的智能來源，就是大模型專用處理器LPU。
大模型處理器LPU可以提升大模型在各種端側(cè)硬件上的能效與速度。
戴國浩在發(fā)布會上向觀眾展示了“一張卡跑大模型”，其團(tuán)隊(duì)于今年1月初推出的全球首個(gè)基于FPGA的大模型處理器，通過大模型高效壓縮的軟硬件協(xié)同優(yōu)化技術(shù)，使得LLaMA2-7B模型的FPGA部署成本從4塊卡減少至1塊卡，并且性價(jià)比與能效比均高于同等工藝GPU。未來，無問芯穹的端側(cè)大模型專用處理器IP，可以被模塊化地集成到各類端側(cè)芯片中。
“從云到端，我們要將軟硬件一體聯(lián)合優(yōu)化進(jìn)行到底。大幅降低大模型在各個(gè)場景中的落地成本，讓更多好用的AI能力更好、更平價(jià)地走進(jìn)更多人的生活?！贝鲊菩?，無穹LPU將于2025年面世。
本文鏈接：百億tokens免費(fèi)額度，清華系明星AI公司的羊毛薅起來http://www.sq15.cn/show-2-4430-0.html
聲明：本網(wǎng)站為非營利性網(wǎng)站，本網(wǎng)頁內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn)，不代表本站觀點(diǎn)，本站不承擔(dān)任何法律責(zé)任。天上不會到餡餅，請大家謹(jǐn)防詐騙！若有侵權(quán)等問題請及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。