武裝多個國民級應用
進入2024，大模型的風向變了。
當初“百模大戰”時，只要簡單粗暴拿個Demo搞MaaS（模型即服務），也就是讓用戶直接和大模型交互就足以上牌桌。
但現在，精耕細作搞應用，無論是原生AI應用，還是在已有產品上整合AI功能，成了最新潮流趨勢。
就連一向低調神秘的騰訊混元大模型團隊，也對外公布了應用落地進展：
這里面有很多為人熟知的“國民級”App，如企業微信、騰訊文檔、騰訊會議，都已經被AI全副武裝。
還有更多騰訊云SaaS產品，如企業知識學習平臺騰訊樂享、電子合同管理工具騰訊電子簽等，也都有了AI加持。
騰訊混元大模型去年9月才首次亮相，是否有意在加速趕進度？
面對這個問題，騰訊混元大模型應用負責人張鋒的回答就有點“凡爾賽”了：
在國內大模型廠商中，騰訊為何走出這樣一條獨特的路線？我們與張鋒深入聊了聊。
騰訊AI產品，已經在打磨用戶體驗了
騰訊這么多年來一直以產品見長，AI時代也延續了這種風格。
就拿大模型的門面騰訊混元助手來說，“已經在打磨用戶體驗了”還真不是一句空話。
比如讓它做一道簡單的數學題，就可以發現AI在分析思路時非常流暢，還判斷出題目中缺少條件，但最后給出結果前卻稍有停頓。
這并不符合大模型預測下一個token的運作原理，反倒像是真的在計算。
張鋒揭秘，背后其實是AI先寫了一段代碼，在后端執行再返回結果。
不得不說，這是一種解決大模型計算不準確問題的巧妙思路。但為什么不像GPT-4代碼解釋器版一樣，把代碼在前臺顯示出來？
騰訊混元助手一個重要場景是在微信小程序里使用，移動端展示代碼就會顯得特別長。張鋒認為，現在的策略更符合用戶體驗習慣。
產品策略有了，但實現起來并不是一件簡單的事。首先需要大模型明白當前用戶需求需要精準計算，接著要生成合適的代碼，最后還要成功通過函數調用來執行代碼。
像這樣從細節出發，打磨用戶體驗的例子還有很多。
比如大家很熟悉的騰訊會議，比起簡單的AI語音轉寫和會議紀要總結，也做了不少差異化功能。
人的口頭表達免不了停頓磕絆，騰訊會議AI在轉寫時把“嗯嗯啊啊”這樣的部分智能規整，讓會后文字記錄看起來更整潔。
騰訊會議正在思考的另一個問題是，AI 生成的會議總結格式應該根據會議類型做出適當調整。
有明確主題和議程的會議，與大家暢所欲言的頭腦風暴會議，需要的總結的格式就截然不同。因此，除了按時間分章節生成會議紀要外，騰訊會議也將推出按發言人/主題生成會議紀要的功能。
騰訊樂享，作為企業知識協作平臺，在AI問答功能中就做到了識別提問者身份，做到回答千人千面。
如果是企業HR問AI有關薪酬結構的問題，就可以得到正面回答，其他崗位問同樣的問題AI會拒絕提供。做到在便利的同時還非常安全。
湖南的律師事務所曠真接入了樂享助手去做AI知識庫， 員工調研顯示，對典型問題的AI回答滿意度高達93分，端到端問題準確率達91%。
騰訊電子簽，利用AI智能文件審查系統，識別合同風險條款，便于企業把控合同風險。企業對合同的風險控制需求各不相同。騰訊電子簽還利用大模型和few-shot技術訓練適合客戶行業的垂類小模型，實現低成本運行。同時，通過混合云的模式，支持數據、模型的私有化部署，解決效率問題的同時保證合規。
總計400+的應用場景中，像這樣的例子還比比皆是，這里不再贅述。
值得探討的下一個問題是，騰訊如何做到在短時間內把AI產品打磨成熟的。
應用落地完整流程已跑通
根據張鋒介紹，騰訊混元大模型研發過程中迭代速度很快，基本一個月就有四到五個版本。
這種速度就來自于和業務應用團隊的高效合作，業務團隊提出需求并貢獻微調數據，研發團隊就能有針對性的加強大模型的能力。上線測試過程中不斷發現Bad case，也能迅速為大模型補齊短板。
在這種研發時就考慮到實際應用需求的模式下，騰訊混元大模型定位成了“實用級通用大模型”。
在國內大模型中，騰訊混元率先完成MoE（Mix of Experts，專家混合）架構升級，也就是從單個稠密模型升級到多個專家組成的稀疏模型。
MoE架構在激活參數不變情況下，總參數量加大，可以吞吐更多的token，同時，得益于較小的實際激活量，可顯著降低訓推成本。
這種路線的快速轉型，也得益于與早期就了解了業務應用一方需求。
在與業務應用相互打磨的過程中，騰訊混元著重提升了通用模型的三個能力：
指令跟隨能力，提出各種各樣復雜的結構化長指令，騰訊混元都能按要求執行。
網頁及文檔理解能力，滿足用戶經常需要AI來總結長文本內容、減輕認知負的需求。
函數調用能力，也是騰訊混元團隊判斷大模型下一階段的趨勢之一。
通用大模型只是一個開始。
張鋒介紹，在實際應用中，除了MoE主模型，如果調用量很大，從性價比的角度，各業務可以考慮使用不同尺寸的小模型，或者采用根據業務數據微調后的垂直小模型。
微調（Fine-Tuning）是學術界通用叫法，在騰訊內部更愿意用“精調”。
從數據管理到自研AngelPTM訓練框架、AngelHCF推理框架，再到模型評測、部署都有一股精耕細作的勁兒。
那么，面對如今 400+場景，以及未來更多業務都要上大模型的情況，研發團隊顯然無法分出精力逐個精調，如何解決這個問題呢？
答案是通過混元一站式平臺，許多需求業務團隊自己就能輕松搞定。
混元一站式平臺不僅支持通過API接口直接調用混元大模型服務，還把大模型從訓練到部署的很多流程都做到可視化，不用寫代碼只需鼠標點點就能快速完成。
有了混元一站式平臺很多AI工程師都不怎么去折騰代碼了，而不精通機器學習的業務工程師也能輕松上手操作。
接下來根據一個完整的模型精調到上線的過程，來了解混元一站式平臺的能力。
首先是模型方面，平臺提供了各種尺寸的基座模型矩陣。又分為通用模型、針對典型場景的優化模型、針對更垂直領域任務的子模型三個層次。
通用模型前面已經介紹過，場景優化模型可以舉兩個例子：開發Agent類應用，就可以用到強化了函數調用能力的模型來做；在知識密度高的場景，則可以選擇優化摘要能力的模型。
如果不光有垂直的應用場景，還有垂直的數據集，混元一站式平臺上就可以完成針對私有數據集的二次訓練，讓垂直子模型不僅有很好的通用理解能力，也很擅長專業領域的知識也很擅長。
接下來便要說到靠混元一站式平臺的數據處理能力。
對于來自不同來源、質量參差的數據，從數據清洗流程如質檢、去重，到統計調配不同主題數據的比例，再到更困難的數據價值觀對齊，去除其中包含的偏見，都能靠自動化手段高效完成。
即使模型上線之后，再發現由于某類數據缺失造成模型某方面能力不強，也能迅速把補充數據投入到持續訓練，支持模型的快速迭代。
有了基座模型和數據，就能通過精調來按需求打造專屬模型。無論是速度快成本低的Lora精調，還是全參數深度精調都能在混元一站式平臺完成。
精調后模型的評測、部署上線也都做到了自動化，特別是部署可以做到一鍵發布，是混元一站式平臺的核心技術之一。
總結來看，相較于傳統的機器學習平臺，混元一站式平臺的最大特點在于：提供預訓練好的基座模型、自動化優化數據處理流程，以及精簡高效的模型精調和應用集成工作流。該平臺通過自動化和智能工具應對海量訓練數據、模型定制和部署等挑戰，極大地降低了業務接入大模型的門檻，實現了速度快、效果好、接入方式多樣的目標。
一言以蔽之：已跑通從模型研發到應用落地的完整流程。
內部流程徹底跑通、并經過400+場景驗證，外部開發者和企業可以通過騰訊云上API直接調用騰訊混元能力，接下來就要在助力合作伙伴業務智能化升級上發力了。
One More Thing
在這次交流的最后，量子位把在測試騰訊混元助手過程中發現的，模型仍無法很好解決的問題提交給了團隊。
結束后已經是北京時間晚上6點多，比原定的結束時間推遲了近2個小時。
騰訊混元團隊大部分成員都準備動身去往機場，要趕回深圳研發總部。
張鋒沒有與大家一同離開會議室。
簡單告別后，他又一屁股坐回沙發上，一心沉醉到琢磨怎么改進Bad case的世界里了。
本文鏈接：揭秘騰訊混元大模型：400+場景落地，協作SaaS產品全面接入http://www.sq15.cn/show-2-5392-0.html
聲明：本網站為非營利性網站，本網頁內容由互聯網博主自發貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。