基于Llama架構
瀾舟科技官宣：孟子3-13B大模型正式開源！
這一主打高性價比的輕量化大模型，面向學術研究完全開放，并支持免費商用。
在MMLU、GSM8K、HUMAN-EVAL等各項基準測評估中，孟子3-13B都表現出了不錯的性能。
尤其在參數量20B以內的輕量化大模型領域，在中英文語言能力方面尤為突出，數學和編程能力也位于前列。
據介紹，孟子3-13B大模型是基于Llama架構，數據集規(guī)模高達3T Tokens。
語料精選自網頁、百科、社交、媒體、新聞，以及高質量的開源數據集。通過在萬億tokens上進行多語言語料的繼續(xù)訓練，模型的中文能力突出并且兼顧多語言能力。
孟子3-13B大模型開源
只需兩步，就能使用孟子3-13B大模型了。
首先進行環(huán)境配置。
pip?install?-r?requirements.txt
然后快速開始。
import?torch
from?transformers?import?AutoModelForCausalLM, AutoTokenizer
tokenizer =
AutoTokenizer.from_pretrained(“Langboat/Mengzi3-13B-Base”, use_fast=False, trust_remote_code=True)
model =
AutoModelForCausalLM.from_pretrained(“Langboat/Mengzi3-13B-Base”, device_map=”auto”, trust_remote_code=True)
inputs = tokenizer(‘指令：回答以下問題。輸入：介紹一下孟子。輸出：’, return_tensors=’pt’)
if?torch.cuda.is_available():
inputs = inputs.to(‘cuda’)
pred = model.generate(**inputs, max_new_tokens=512, repetition_penalty=1.01, eos_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(pred[0], skip_special_tokens=True))
此外，他們還提供了一個樣例代碼，可用于基礎模型進行單輪交互推理。
cd?examples
python examples/base_streaming_gen.py –model model_path –tokenizer tokenizer_path
如果想要進行模型微調，他們也提供了相關文件和代碼。
事實上，早在3月18日的瀾舟大模型技術和產品發(fā)布會現場，就透露了孟子3-13B大模型的諸多細節(jié)。
當時他們表示，孟子3-13B大模型訓練已經完成。
對于選擇13B版本的原因，周明解釋道：
首先，瀾舟明確以服務ToB場景為主，ToC為輔。
實踐發(fā)現，ToB場景使用頻率最高的大模型參數量多為7B、13B、40B、100B，整體集中在10B-100B之間。
其次，在這個區(qū)間范圍內，從ROI（投資回報率）角度來講，既滿足場景需求，又最具性價比。
因此，在很長一段時間內，瀾舟的目標都是在10B-100B參數規(guī)模范圍內，打造優(yōu)質的行業(yè)大模型。
作為國內最早一批大模型創(chuàng)業(yè)團隊，去年3月，瀾舟就發(fā)布了孟子GPT V1（MChat）。
今年1月，孟子大模型GPT V2（含孟子大模型-標準、孟子大模型-輕量、孟子大模型-金融、孟子大模型-編碼）對公眾開放。
好了，感興趣的朋友可戳下方鏈接體驗一下。
GitHub鏈接：
https://github.com/Langboat/Mengzi3
HuggingFace：
https://huggingface.co/Langboat/Mengzi3-13B-Base
ModelScope：
https://www.modelscope.cn/models/langboat/Mengzi3-13B-Base
Wisemodel：
https://wisemodel.cn/models/Langboat/Mengzi3-13B-Base
本文鏈接：0門檻免費商用！孟子3-13B大模型正式開源，萬億token數據訓練http://www.sq15.cn/show-2-4453-0.html
聲明：本網站為非營利性網站，本網頁內容由互聯(lián)網博主自發(fā)貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯(lián)系，我們將在第一時間刪除處理。
上一篇： 百度攜手優(yōu)必選，共探AI大模型+人形機器人創(chuàng)新應用
下一篇： 機器狗首次陣亡！美國警方披露詳情