(文/觀察者網(wǎng) 呂棟)
“以往醫(yī)生看病理切片,就像在森林中找一片異常的樹葉。中國的病理醫(yī)生每天要在顯微鏡下看300多張片子,而歐美的病理醫(yī)生每天只需要看50張左右,所以我們三甲醫(yī)院病理醫(yī)生的工作量是美國醫(yī)院的5-6倍,很容易產生漏診和誤診。現(xiàn)在用AI大模型來看的話,一是能解決效率問題,二是能在一定程度上提高準確率。”在上海交通大學醫(yī)學院附屬瑞金醫(yī)院(下稱:瑞金醫(yī)院),一位技術專家對觀察者網(wǎng)說道。
近日,瑞金醫(yī)院聯(lián)合華為宣布開源RuiPath病理模型。該模型是由瑞金醫(yī)院在華為團隊支持下研發(fā)的臨床級多模態(tài)病理大模型,涵蓋泛癌種視覺特征提取、視覺-語言跨層表征對齊、長序列的深度思考模型訓練機制等能力,用于全流程臨床病理輔助診斷,目前已覆蓋中國每年全癌種發(fā)病人數(shù)90%的19個常見癌種,涵蓋上百個輔助診斷任務。
“原來每個診斷任務,病理醫(yī)生需要通過顯微鏡一個個進行皮膚侵犯檢測、乳頭侵犯檢測等,現(xiàn)在AI把每個步驟提前做完,醫(yī)生只需要去確認,判斷采納還是不采納,相當于一個Copilot模式,醫(yī)生從原來大量看片子,變成最終確認AI的結果,這樣就避免了在樹林里找不正常的樹葉,每個步驟都是AI提前把數(shù)據(jù)找到,醫(yī)生去確認好還是不好。”技術專家表示。
此次開源的是RuiPath病理模型的核心“視覺基礎模型”,依托瑞金醫(yī)院百萬張高質量數(shù)字病理切片數(shù)據(jù),使用華為AI全流程工具鏈ModelEngine進行標注、訓練和模型精調而成。
圖源:觀察者網(wǎng)
現(xiàn)場專家介紹,在業(yè)界12個主流公開數(shù)據(jù)集的14個輔助診斷任務測試中,RuiPath病理模型有7個達到業(yè)界領先水平(SOTA),而美國哈佛大學的病理視覺模型UNI2,只有6個達到了SOTA。并且,RuiPath已具備臨床驗證能力,本次開源配套提供測試數(shù)據(jù)集,覆蓋了肺癌、結直腸癌、甲狀腺癌、胃癌、乳腺癌、前列腺癌、胰腺癌等7個常見癌種。華為同步還開放了基于以上開源模型的工具及實踐指南,加速推動人工智能在醫(yī)療行業(yè)的落地。
技術專家對觀察者網(wǎng)坦言,中國的病理科醫(yī)生只有不到2萬,缺口高達14萬,這是國內醫(yī)院比較大的挑戰(zhàn)。像瑞金這樣的大型三甲醫(yī)院把病理模型做出來并開源后,一是可以解決效率問題,原來病理科醫(yī)生一天能看200-300張病理切片,現(xiàn)在能看400-500張甚至更多;二是能提高診斷準確率,通過AUC、ACC和F1 Score等指標確保模型能達到極致精準度。
“我們希望通過RuiPath病理模型的開源,來帶動中國數(shù)字病理標準的規(guī)范。如果其他醫(yī)院的跟瑞金的標準很接近,幾乎不需要做任何訓練就可以直接使用,瑞金怎么用,其他醫(yī)院就怎么用,需要的是部署硬件。但如果標準不一樣,就需要在數(shù)據(jù)上做增量訓練,但訓練成本相對會低很多,因為瑞金100多萬張切片已經(jīng)提取完特征了。”這位技術專家補充道。
華為數(shù)據(jù)存儲產品線總裁周躍峰
研發(fā)一款病理大模型并不容易,即便像瑞金醫(yī)院這樣的國內頂級醫(yī)院,已經(jīng)積累了大量的數(shù)字切片,但在前期訓練大模型的過程中,依然面臨數(shù)據(jù)格式不統(tǒng)一和標注工作量大等難題。
2022年初,華為輪值董事長胡厚崑、華為數(shù)據(jù)存儲產品線總裁周躍峰等一行曾到訪瑞金醫(yī)院。胡厚崑表示,在數(shù)字化病理等場景中,華為將為瑞金醫(yī)院專家團隊提供充分的技術支撐,發(fā)揮云、網(wǎng)、邊、端的技術協(xié)同優(yōu)勢,在真正有剛需的場景中深度合作,聯(lián)合創(chuàng)新。此后三年里,華為與瑞金醫(yī)院病理模型的合作共經(jīng)歷了“數(shù)字化”和“智慧化”兩個階段。
第一階段病理數(shù)字化,在瑞金醫(yī)院采用統(tǒng)一數(shù)字病理格式(CSP)高效存放數(shù)據(jù)(空間節(jié)省45%),實現(xiàn)病理切片數(shù)據(jù)的標準化落地。從2023年聯(lián)合業(yè)界發(fā)布《數(shù)字化智慧病理科建設白皮書》,到2025年共積累了百萬規(guī)模高質量數(shù)字化病理數(shù)據(jù),為后續(xù)的智慧化打下堅實基礎。
第二階段病理智慧化,華為天才少年團隊入駐瑞金醫(yī)院,進行數(shù)據(jù)工程、模型工程、應用工程的聯(lián)合研發(fā)。基于高質量數(shù)據(jù),通過“醫(yī)生+AI工程師”進行模型蒸餾、知識蒸餾、模型精調。改變傳統(tǒng)單癌種小模型開發(fā)模式,實現(xiàn)大模型從泛癌種精準識別、輔助診斷任務到上層應用的端到端落地,使得其貫穿醫(yī)生診斷全流程。
圖源:觀察者網(wǎng)
“原來10-20分鐘標注一張的工作量很大,現(xiàn)在一天能標注700張以上。”技術專家對觀察者網(wǎng)介紹道,華為提供并開源的ModelEngine,讓醫(yī)生從逐條標注變?yōu)榕繉徍耍史瓟?shù)倍,并保證專業(yè)性和準確性。同時基于ModelEngine應用工程能力,實現(xiàn)應用系統(tǒng)接口的標準化對接和病理報告模板可視化編排,單病種AI診斷應用上線周期從10天降到2天。
以往談起大模型的訓練和推理,行業(yè)的普遍印象是高成本和高投入,尤其美國企業(yè)動不動就要用到海量的GPU卡進行訓練,這種高成本國內多數(shù)企業(yè)和醫(yī)院難以承受。但在瑞金,華為采用算存網(wǎng)協(xié)同、模型及算法優(yōu)化技術,僅用16卡集群完成了RuiPath病理模型開發(fā)及部署。
“中國每家醫(yī)院都有信息中心,但沒有人工智能中心,缺乏人工智能人才,瑞金跟華為在做的事情,就是讓醫(yī)療大模型落地過程簡化,其他醫(yī)院照著一步步就能用,而不是必須要有個大模型的專家,讓大家能夠更快速的去做整個行業(yè)模型的落地。”技術專家對觀察者網(wǎng)說道。
技術只有服務于人才有價值。中國工程院院士、瑞金醫(yī)院院長寧光表示,希望此次開源與成果共享,集聚上海力量、中國力量,讓更多同道參與到病理輔助診斷模型的研究與應用中,加速RuiPath病理模型臨床應用落地,共同提高醫(yī)療水平,讓AI醫(yī)療能力持續(xù)惠及全社會。
本文系觀察者網(wǎng)獨家稿件,未經(jīng)授權,不得轉載。
本文鏈接:中國病理醫(yī)生工作量遠超歐美,瑞金醫(yī)院聯(lián)手華為欲破解難題http://www.sq15.cn/show-3-148578-0.html
聲明:本網(wǎng)站為非營利性網(wǎng)站,本網(wǎng)頁內容由互聯(lián)網(wǎng)博主自發(fā)貢獻,不代表本站觀點,本站不承擔任何法律責任。天上不會到餡餅,請大家謹防詐騙!若有侵權等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。
上一篇: 長江存儲首席科學家:我國三維閃存芯片技術實現(xiàn)從落后到趕超
下一篇: 華為盤古團隊聲明:嚴格遵循開源要求