近年來，深度學習網絡憑借卓越的能力，在不同領域取得了成果，但訓練出高質量的深度學習網絡面臨挑戰。盡管可視化方法為深度學習網絡訓練提供了輔助，但當前主流的事后分析策略在實際應用中存在較多問題，如數據量龐大導致存儲困難、I/O開銷過高以及無法實現實時干預等。特別是對于深度學習網絡訓練過程產生的海量時間序列數據，現有工具難以從中提取出詳細的訓練過程信息，這阻礙了模型優化。
中國科學院計算機網絡信息中心先進交互式應用與發展部團隊創新性地提出了針對深度學習模型訓練數據的原位可視分析框架，形成了原位特征提取算法和神經元學習模式抽象算法。原位特征提取算法在模型運行時復用內存數據，實時分析動態數據，解決了傳統事后分析的數據存儲和I/O瓶頸問題；而神經元學習模式抽象算法則基于原位特征數據，抽象出神經元的三種學習模式，為可視分析提供支持。
這一框架在性能方面表現良好，對千萬參數深度神經網絡模型的時序訓練數據壓縮率可達1% ，能夠支撐訓練全過程的問題可視分析與回溯，可以實現batch level神經元信息可視化，為深度學習模型優化提供全新視角和支持。
相關研究成果被IEEE Transactions on Visualization and Computer Graphics錄用。研究工作得到國家自然科學基金和中國科學院戰略性先導科技專項的支持。
深度學習模型原位分析流程
深度學習模型原位可視分析系統
本文鏈接：深度學習模型的原位可視分析研究取得進展http://www.sq15.cn/show-12-664-0.html
聲明：本網站為非營利性網站，本網頁內容由互聯網博主自發貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。