圖像復原領域長期面臨一個難題：要么追求質量卻耗時漫長，要么追求速度卻犧牲細節。如何把一張老照片修復得又快又好？
7月28日，中國科學院深圳先進技術研究院數字所研究員董超團隊發布了一項名為HYPIR的圖像復原大模型，不僅比現有的圖像復原技術快數十倍，更在高清分辨率、文字保真、理解能力、用戶控制靈活性等方面展現出了優異性能，為圖像復原技術的實際應用提供了更高效的解決方案，更為文化傳承與保護、影視修復等領域帶來新的可能性。
1985年的深圳南頭半島（下圖，攝影：陳宗浩）與4倍超分修復（上圖）后的對比圖
突破傳統技術瓶頸，圖像修復更高效
傳統方法中，基于預訓練擴散模型的復原技術顯著提升了圖像復原效果，但存在計算復雜度高、推理速度慢、訓練資源消耗大以及生成結果可控性不足等問題，成為了限制圖像復原技術發展的瓶頸問題。
去年，董超團隊提出了智能畫質增強大模型SUPIR，將低質量的圖像恢復到接近原始狀態的高清圖像，有效修復多種退化類型的圖像。而此次圖像大模型HYPIR作為升級版，舍棄了迭代式的擴散模型訓練，改用單步的對抗生成模型訓練方式，將原有的算法速度提升了數倍，同時采用更新的文生圖基模型進一步提升算法效果，實現了8K級別的細節生成，在生成圖像的穩定性和可控性方面遠超SUPIR大模型。
HYPIR大模型處理圖片紋理細節的效果展示。研究團隊供圖
“以往圖像復原方法中往往包括擴散模型蒸餾、ControlNet適配器或者多步推理過程。而HYPIR則不需要依賴這些步驟，使用方法更加簡單。在訓練和推理速度上較傳統方法提升了一個數量級以上，且性能更優?！倍榻B，HYPIR主要有兩個創新點，一是使用預訓練擴散模型初始化復原網絡；二是從理論角度出發解釋這一簡單方法背后蘊含的深刻原理。
實驗數據顯示，在單張顯卡（圖像處理器）上，HYPIR僅需1.7秒即可完成一張1024x1024分辨率圖像的復原。相比現有的圖像復原方法，研究人員提出的HYPIR在復原圖像的質量上性能更優，且能夠適用于各種尺寸的預訓練擴散模型，為不同應用場景提供了靈活性。
多種性能優異，應用前景廣闊
在應用層面，研究人員介紹，HYPIR在圖像高清分辨率、文字保真、理解能力、用戶控制靈活性等方面均展現出了優異的性能。
例如，在老照片修復方面，研究人員運用HYPIR修復了國內外經典電影、電視劇老照片，讓模糊的影像重現清晰的細節，為文化記憶傳承提供了技術支持。在高分辨率圖像修復領域，HYPIR同樣表現出色，因其兼具速度與效果，HYPIR成功攻克了傳統方法在生成8k分辨率圖像時往往面臨速度慢或效果不佳的難題。
HYPIR大模型修復圖像效果展示。研究團隊供圖
在文字保真方面，傳統基于擴散模型的方法常導致復原出的文字模糊或扭曲，缺乏精確性，而HYPIR則能夠使復原出的文字保持高保真度和清晰度，無論是簡單的標識還是復雜的文檔，HYPIR都能精準地還原其原始形態，使圖像中的文字清晰可讀。
值得一提的是，HYPIR還具備了突出的自然語言理解能力，能夠精準捕捉和理解用戶的輸入指令，在圖像復原過程中準確地反映用戶的意圖。此外，用戶可以根據需求靈活調節生成與復原的平衡，或精細控制圖像細節程度，從而獲得符合自身偏好的結果。這種用戶友好的設計使得HYPIR不僅適用于專業領域，也能滿足普通用戶的需求。
HYPIR不僅展示了圖像修復技術上的創新性，也體現了對實際應用需求的理解。通過打破傳統思維定式，該技術在文化傳承與保護、影視修復、高分辨率圖像生成等領域提供了切實可行的解決方案，為圖像復原技術的發展注入了新的活力。
一直以來，董超帶領團隊致力于底層視覺技術研究，在圖像處理領域取得了多個重要突破，并出版了人工智能專著《底層視覺之美》。他介紹，目前HYPIR大模型的開源代碼和模型已上傳至GitHub開放使用并已成功部署于公開平臺，同時與深圳市南山區檔案館合作對部分館藏照片進行修復，后續該大模型還將進一步推進產業化。
本文鏈接：圖像復原“黑科技”實現1.7秒快速復原高清大片http://www.sq15.cn/show-11-23972-0.html
聲明：本網站為非營利性網站，本網頁內容由互聯網博主自發貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。
上一篇： 楊維康：睡在車底的科學家