據(jù)美國(guó)科學(xué)促進(jìn)會(huì)旗下網(wǎng)站11月19日?qǐng)?bào)道，美國(guó)普林斯頓大學(xué)和斯坦福大學(xué)團(tuán)隊(duì)開發(fā)出一種新壓縮算法CALDERA，能精簡(jiǎn)大型語(yǔ)言模型（LLM）的海量數(shù)據(jù)，為L(zhǎng)LM“瘦身”。這項(xiàng)算法不僅有助保護(hù)數(shù)據(jù)隱私、節(jié)約能源、降低成本，還能推動(dòng)LLM在手機(jī)和筆記本電腦上高效使用。
團(tuán)隊(duì)舉例稱，當(dāng)人們使用ChatGPT時(shí)，請(qǐng)求會(huì)被發(fā)送到OpenAI公司的后端服務(wù)器進(jìn)行處理。這一過程不僅成本高昂、能耗巨大，通常還很慢。如果用戶想要使用消費(fèi)級(jí)圖形處理單元運(yùn)行LLM，就需要對(duì)這些LLM進(jìn)行壓縮。
CALDERA算法通過減少LLM冗余并降低信息層的精度來(lái)發(fā)揮作用。“瘦身”后的LLM更加精簡(jiǎn)，可在手機(jī)或筆記本電腦等設(shè)備上存儲(chǔ)和訪問，同時(shí)提供了與未壓縮版本幾乎一樣準(zhǔn)確而微妙的性能。
雖然CALDERA并非首個(gè)壓縮LLM的算法，但其獨(dú)特之處在于兼具“低精度”和“低排序”兩種特性。其中，“低精度”減少了比特?cái)?shù)，加快了數(shù)據(jù)存儲(chǔ)和處理速度。而“低排序”則降低了LLM數(shù)據(jù)中的冗余。
團(tuán)隊(duì)表示，使用CALDERA壓縮的LLM可能適用于那些對(duì)精度要求不是最高的場(chǎng)景。此外，用戶可在智能手機(jī)或筆記本電腦等設(shè)備上對(duì)壓縮后的LLM進(jìn)行微調(diào)，這使其能根據(jù)特定需求調(diào)整模型來(lái)增強(qiáng)隱私，而無(wú)需與第三方共享敏感數(shù)據(jù)。
不過團(tuán)隊(duì)也提醒道，在智能手機(jī)或筆記本電腦上運(yùn)行LLM，可能會(huì)占用設(shè)備內(nèi)存。
據(jù)美國(guó)科學(xué)促進(jìn)會(huì)旗下網(wǎng)站11月19日?qǐng)?bào)道，美國(guó)普林斯頓大學(xué)和斯坦福大學(xué)團(tuán)隊(duì)開發(fā)出一種新壓縮算法CALDERA，能精簡(jiǎn)大型語(yǔ)言模型（LLM）的海量數(shù)據(jù)，為L(zhǎng)LM“瘦身”。這項(xiàng)算法不僅有助保護(hù)數(shù)據(jù)隱私、節(jié)約能源、降低成本，還能推動(dòng)LLM在手機(jī)和筆記本電腦上高效使用。
團(tuán)隊(duì)舉例稱，當(dāng)人們使用ChatGPT時(shí)，請(qǐng)求會(huì)被發(fā)送到OpenAI公司的后端服務(wù)器進(jìn)行處理。這一過程不僅成本高昂、能耗巨大，通常還很慢。如果用戶想要使用消費(fèi)級(jí)圖形處理單元運(yùn)行LLM，就需要對(duì)這些LLM進(jìn)行壓縮。
CALDERA算法通過減少LLM冗余并降低信息層的精度來(lái)發(fā)揮作用。“瘦身”后的LLM更加精簡(jiǎn)，可在手機(jī)或筆記本電腦等設(shè)備上存儲(chǔ)和訪問，同時(shí)提供了與未壓縮版本幾乎一樣準(zhǔn)確而微妙的性能。
雖然CALDERA并非首個(gè)壓縮LLM的算法，但其獨(dú)特之處在于兼具“低精度”和“低排序”兩種特性。其中，“低精度”減少了比特?cái)?shù)，加快了數(shù)據(jù)存儲(chǔ)和處理速度。而“低排序”則降低了LLM數(shù)據(jù)中的冗余。
團(tuán)隊(duì)表示，使用CALDERA壓縮的LLM可能適用于那些對(duì)精度要求不是最高的場(chǎng)景。此外，用戶可在智能手機(jī)或筆記本電腦等設(shè)備上對(duì)壓縮后的LLM進(jìn)行微調(diào)，這使其能根據(jù)特定需求調(diào)整模型來(lái)增強(qiáng)隱私，而無(wú)需與第三方共享敏感數(shù)據(jù)。
不過團(tuán)隊(duì)也提醒道，在智能手機(jī)或筆記本電腦上運(yùn)行LLM，可能會(huì)占用設(shè)備內(nèi)存。
本文鏈接：壓縮算法為大語(yǔ)言模型“瘦身”http://www.sq15.cn/show-2-9427-0.html
聲明：本網(wǎng)站為非營(yíng)利性網(wǎng)站，本網(wǎng)頁(yè)內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn)，不代表本站觀點(diǎn)，本站不承擔(dān)任何法律責(zé)任。天上不會(huì)到餡餅，請(qǐng)大家謹(jǐn)防詐騙！若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。
上一篇： “跨芯片”量子糾纏實(shí)現(xiàn) 有助建構(gòu)更強(qiáng)大的量子計(jì)算能力
下一篇： 世界互聯(lián)網(wǎng)大會(huì)藍(lán)皮書顯示 我國(guó)已建近萬(wàn)家數(shù)字化車間和智能工廠