將物理機理等領域知識引入AI
西風 發自 凹非寺
量子位 | 公眾號 QbitAI
為了讓AI更像科學家，他們將人類知識注入大模型…
正如教孩子解難題，你可以讓他們自己反復試錯找到正確方法，也可以教他們一些基礎規則和技巧提高解題效率。
類似地，將規則和技巧等人類知識融入到ChatGPT、Sora等基于數據驅動的AI模型訓練中，有可能提高模型的效率和推理能力。
△該圖由AI模型StableDiffusionXL生成
但關鍵問題是如何平衡數據和知識對模型的影響。
為了解決這一問題，美國國家工程院院士張東曉、寧波東方理工大學（暫名）助理教授陳云天領銜，提出了一個新框架——
它首次對知識的價值進行定量評估，從而增強深度學習模型的預測能力。
實驗證明，該框架可在物理、化學、工程學等不同領域有廣泛的實際應用，比如使用該方法優化機器學習模型來解決多變量方程、預測薄層色譜實驗的結果優化未來的實驗化學條件等。
目前，該研究已刊于Cell Press交叉學科領域期刊Nexus。
此外值得一提的是，雖然Sora發布后被認為可以理解“事物在現實世界中的存在方式”，但本文研究人員認為它不能準確模擬許多基本交互的物理特性：
如果沒有對世界的基本理解，模型本質上就是動畫，而不是一個模擬。
新框架長啥樣？
在數據科學中，知識可被視為是數據在時間和空間維度中復雜關系的體現。深度學習領域，先驗知識對于彌補數據驅動模型的缺陷至關重要。
然而，要想將物理機理等知識融入大模型仍然存在挑戰——
如何評估先驗知識的價值？數據和知識之間的關系是什么？如何使先驗知識更好地發揮作用？
為解決這幾點問題，本文研究框架的核心提出了兩個新的概念：
- 規則重要性（Rule Importance, RI）
- 完全重要性（Full Importance, FI）
其中，規則重要性（RI）用于量化每條規則對模型預測精度的邊際貢獻，研究特定規則或組合如何影響模型的預測準確性。
本文提到的“規則”指的是在知情機器學習（informed machine learning）框架中，用于指導模型學習和預測的先驗知識。
計算過程如下圖：
對于模型中納入的第i條規則，定義它的邊際貢獻為：
為了進行比較，完全重要性（FI）表示在所有其他規則存在的情況下，某條規則的重要性，計算公式可以表示為：
值得一提的是，研究人員還建立了一種基于擾動的高效計算RI的方法，避免了每次都從頭訓練模型。
（更多細節，感興趣的家人們可以查看原論文）
數據和規則的基本原理
接下來，研究人員通過一系列系統實驗，揭示了數據和規則之間的一些內在原理和關系。
具體來說，他們選擇了四個典型的物理過程作為實驗案例，涉及的規則包括控制偏微分方程（PDEs）、邊界條件（BCs）和初始條件（ICs）。
研究人員發現，在分布內（in-distribution）預測場景中，隨著訓練數據量增加，RI會逐漸降低。尤其是局部規則（local rules）如初始條件，RI下降得更快。
這表明在數據量較大時，模型可以通過學習數據本身來提高預測精度，而不需要依賴于規則來限制可能的分布范圍。
分布外（out-of-distribution）預測場景中，不同類型規則的RI會隨數據量變化呈現出不同趨勢。全局規則（global rules）如PDE，RI會隨數據量的增加而升高，而局部規則如初始條件的RI會隨著數據量的增加而降低。
全局規則在指導模型全局分布方面發揮更關鍵的作用，而局部規則與觀測數據緊密相關，過多的數據可能導致過擬合。
研究人員總結，規則之間存在著依賴（Dependence）、協同（Synergism）和替代（Substitution）等復雜交互作用。
- 依賴性體現為規則內部之間的依賴（inner dependence）和規則與依賴變量之間的外部依賴（outer dependence）。內部依賴指的是規則之間相互依賴以發揮作用，而外部依賴則是指規則對模型預測的依賴程度。
- 協同作用體現為：在某些情況下，多條規則共同作用產生的效應大于它們各自效應的總和。
- 替代作用體現為：在某些情況下，一個規則的功能可以被數據或其他規則替代。
值得一提的是，研究人員表示該框架在實際應用中具有實際效用，不僅能夠提高知情機器學習（informed machine learning）的性能，還能夠通過改善模型的規則選擇來提高模型的安全性和可靠性。
作者簡介
論文通訊作者
張東曉，美國工程院院士，美國地質學會會士，國際石油工程師協會SPE最高榮譽會員。
現任寧波東方理工大學（暫名）常務副校長兼教務長，主要從事智慧能源與碳中和領域研究。
陳云天，東方理工助理教授，博導。清華大學能源與動力工程系學士，北京大學力學（能源與資源工程）博士，鵬城實驗室博士后。
研究方向為科學機器學習，主要專注于：物理驅動與數據驅動的融合、AI輔助的科學知識發現。
論文一作
徐浩，北京大學工學院博士研究生。
擅長運用人工智能技術輔助科學探索，相關研究曾發表在Nature Communications、Chem和Advanced Science等期刊。
參考鏈接：
[1]https://www.eurekalert.org/news-releases/1036117
[2]https://www.cell.com/nexus/fulltext/S2950-1601(24)00001-9
本文鏈接：讓Sora和ChatGPT更可靠！只需這個知識價值定量評估新框架http://www.sq15.cn/show-2-3868-0.html
聲明：本網站為非營利性網站，本網頁內容由互聯網博主自發貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。