“不用最昂貴的鏡頭，也能拍出高清照片。”近年來(lái)，面對(duì)人們快速增加的影像清晰度需求，眾多手機(jī)、數(shù)碼相機(jī)廠商不斷探索如何在控制成本的情況下，使用AI模型進(jìn)一步提升像素級(jí)。這一次，同樣的技術(shù)理念，卻被復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院教授顏波帶領(lǐng)的團(tuán)隊(duì)遷移到了生命科學(xué)實(shí)驗(yàn)室里的常用研究工具“熒光顯微鏡”上。
4月12日，科學(xué)期刊《自然-方法》刊發(fā)團(tuán)隊(duì)成果，他們發(fā)明的跨任務(wù)、多維度圖像增強(qiáng)基礎(chǔ)AI模型，實(shí)現(xiàn)了對(duì)現(xiàn)有熒光顯微成像極限的突破。
研究成果刊發(fā)。復(fù)旦大學(xué)供圖
何為熒光顯微鏡？這類顯微鏡利用部分物質(zhì)受紫外線照射后可發(fā)熒光的特性，以及通過(guò)染色讓本不具有該特性的物質(zhì)發(fā)出熒光，可以觀察細(xì)胞內(nèi)物質(zhì)的吸收、運(yùn)輸、化學(xué)物質(zhì)的分布及定位等。在分辨率方面，它遠(yuǎn)超普通光學(xué)顯微鏡0.2微米極限，到達(dá)觀測(cè)分子的納米尺度，是生命科學(xué)領(lǐng)域不可或缺的研究工具。
盡管熒光顯微鏡的觀測(cè)分辨率已達(dá)到納米尺度，但科學(xué)家們并不滿足于此。過(guò)去幾年中，生命科學(xué)和計(jì)算機(jī)領(lǐng)域的科學(xué)家們開(kāi)始攜手探索用AI的路徑來(lái)增強(qiáng)圖像質(zhì)量的辦法。然而，成像模式多樣、降質(zhì)類型復(fù)雜、增強(qiáng)過(guò)程迥異等一系列問(wèn)題，使得這一任務(wù)極具挑戰(zhàn)性，于是，大多數(shù)科學(xué)家選擇“每次解決一個(gè)問(wèn)題”，聚焦于研制針對(duì)單一需求的“專有”AI模型。
來(lái)自復(fù)旦大學(xué)的這支AI for Science團(tuán)隊(duì)則選擇直擊挑戰(zhàn)，以“一站式集成”為目標(biāo)，直接構(gòu)建了首個(gè)“統(tǒng)一”的熒光顯微鏡圖像增強(qiáng)AI基礎(chǔ)模型（UniFMIR），大幅提升在“圖像超分辨率重構(gòu)、各向同性重構(gòu)、3D去噪、圖像投影和過(guò)程重建”五大任務(wù)方向上的性能。
通過(guò)收集的大規(guī)模數(shù)據(jù)集對(duì)模型進(jìn)行預(yù)訓(xùn)練，并使用不同圖像增強(qiáng)任務(wù)的數(shù)據(jù)微調(diào)模型參數(shù)，UniFMIR展現(xiàn)出比專有模型更好的增強(qiáng)性能和泛化性。
這意味著，加載了UniFMIR的熒光顯微鏡可能成為生命科學(xué)實(shí)驗(yàn)室中的“神器”。科學(xué)家們能更清晰地觀察到活細(xì)胞內(nèi)部的微小結(jié)構(gòu)和復(fù)雜過(guò)程，加速全球生命科學(xué)、醫(yī)學(xué)研究、疾病診斷相關(guān)領(lǐng)域的科學(xué)發(fā)現(xiàn)和醫(yī)療創(chuàng)新；同時(shí)，在半導(dǎo)體制造、新材料研發(fā)等領(lǐng)域，該成果可以用來(lái)提升觀察和分析材料微觀結(jié)構(gòu)的質(zhì)量，從而優(yōu)化制造工藝和提高產(chǎn)品質(zhì)量。
UniFMIR的成功研發(fā)標(biāo)志著我國(guó)在關(guān)鍵科學(xué)儀器領(lǐng)域“國(guó)產(chǎn)設(shè)備+基礎(chǔ)模型”的組合能有效減少對(duì)進(jìn)口設(shè)備的依賴，也為全球科研領(lǐng)域的進(jìn)步貢獻(xiàn)了中國(guó)智慧和力量。
復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院數(shù)字媒體實(shí)驗(yàn)室成員。復(fù)旦大學(xué)供圖
“這次我們想到把AI圖像增強(qiáng)技術(shù)應(yīng)用于熒光顯微鏡上，并構(gòu)建UniFMIR，出發(fā)點(diǎn)就是AI for Science。我們的模型為熒光顯微鏡圖像增強(qiáng)提供了一個(gè)通用的解決方案，通過(guò)簡(jiǎn)單的參數(shù)微調(diào)便可應(yīng)用于不同任務(wù)、成像模式和生物結(jié)構(gòu)。未來(lái)，生命科學(xué)實(shí)驗(yàn)室的科學(xué)家們可通過(guò)進(jìn)一步擴(kuò)展訓(xùn)練數(shù)據(jù)的數(shù)據(jù)量和豐富度來(lái)不斷強(qiáng)化UniFMIR的圖像重構(gòu)能力。”顏波對(duì)UniFMIR被用于更多類型實(shí)驗(yàn)的可能性充滿信心。
“不用最昂貴的鏡頭，也能拍出高清照片。”近年來(lái)，面對(duì)人們快速增加的影像清晰度需求，眾多手機(jī)、數(shù)碼相機(jī)廠商不斷探索如何在控制成本的情況下，使用AI模型進(jìn)一步提升像素級(jí)。這一次，同樣的技術(shù)理念，卻被復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院教授顏波帶領(lǐng)的團(tuán)隊(duì)遷移到了生命科學(xué)實(shí)驗(yàn)室里的常用研究工具“熒光顯微鏡”上。
4月12日，科學(xué)期刊《自然-方法》刊發(fā)團(tuán)隊(duì)成果，他們發(fā)明的跨任務(wù)、多維度圖像增強(qiáng)基礎(chǔ)AI模型，實(shí)現(xiàn)了對(duì)現(xiàn)有熒光顯微成像極限的突破。
研究成果刊發(fā)。復(fù)旦大學(xué)供圖
何為熒光顯微鏡？這類顯微鏡利用部分物質(zhì)受紫外線照射后可發(fā)熒光的特性，以及通過(guò)染色讓本不具有該特性的物質(zhì)發(fā)出熒光，可以觀察細(xì)胞內(nèi)物質(zhì)的吸收、運(yùn)輸、化學(xué)物質(zhì)的分布及定位等。在分辨率方面，它遠(yuǎn)超普通光學(xué)顯微鏡0.2微米極限，到達(dá)觀測(cè)分子的納米尺度，是生命科學(xué)領(lǐng)域不可或缺的研究工具。
盡管熒光顯微鏡的觀測(cè)分辨率已達(dá)到納米尺度，但科學(xué)家們并不滿足于此。過(guò)去幾年中，生命科學(xué)和計(jì)算機(jī)領(lǐng)域的科學(xué)家們開(kāi)始攜手探索用AI的路徑來(lái)增強(qiáng)圖像質(zhì)量的辦法。然而，成像模式多樣、降質(zhì)類型復(fù)雜、增強(qiáng)過(guò)程迥異等一系列問(wèn)題，使得這一任務(wù)極具挑戰(zhàn)性，于是，大多數(shù)科學(xué)家選擇“每次解決一個(gè)問(wèn)題”，聚焦于研制針對(duì)單一需求的“專有”AI模型。
來(lái)自復(fù)旦大學(xué)的這支AI for Science團(tuán)隊(duì)則選擇直擊挑戰(zhàn)，以“一站式集成”為目標(biāo)，直接構(gòu)建了首個(gè)“統(tǒng)一”的熒光顯微鏡圖像增強(qiáng)AI基礎(chǔ)模型（UniFMIR），大幅提升在“圖像超分辨率重構(gòu)、各向同性重構(gòu)、3D去噪、圖像投影和過(guò)程重建”五大任務(wù)方向上的性能。
通過(guò)收集的大規(guī)模數(shù)據(jù)集對(duì)模型進(jìn)行預(yù)訓(xùn)練，并使用不同圖像增強(qiáng)任務(wù)的數(shù)據(jù)微調(diào)模型參數(shù)，UniFMIR展現(xiàn)出比專有模型更好的增強(qiáng)性能和泛化性。
這意味著，加載了UniFMIR的熒光顯微鏡可能成為生命科學(xué)實(shí)驗(yàn)室中的“神器”。科學(xué)家們能更清晰地觀察到活細(xì)胞內(nèi)部的微小結(jié)構(gòu)和復(fù)雜過(guò)程，加速全球生命科學(xué)、醫(yī)學(xué)研究、疾病診斷相關(guān)領(lǐng)域的科學(xué)發(fā)現(xiàn)和醫(yī)療創(chuàng)新；同時(shí)，在半導(dǎo)體制造、新材料研發(fā)等領(lǐng)域，該成果可以用來(lái)提升觀察和分析材料微觀結(jié)構(gòu)的質(zhì)量，從而優(yōu)化制造工藝和提高產(chǎn)品質(zhì)量。
UniFMIR的成功研發(fā)標(biāo)志著我國(guó)在關(guān)鍵科學(xué)儀器領(lǐng)域“國(guó)產(chǎn)設(shè)備+基礎(chǔ)模型”的組合能有效減少對(duì)進(jìn)口設(shè)備的依賴，也為全球科研領(lǐng)域的進(jìn)步貢獻(xiàn)了中國(guó)智慧和力量。
復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院數(shù)字媒體實(shí)驗(yàn)室成員。復(fù)旦大學(xué)供圖
“這次我們想到把AI圖像增強(qiáng)技術(shù)應(yīng)用于熒光顯微鏡上，并構(gòu)建UniFMIR，出發(fā)點(diǎn)就是AI for Science。我們的模型為熒光顯微鏡圖像增強(qiáng)提供了一個(gè)通用的解決方案，通過(guò)簡(jiǎn)單的參數(shù)微調(diào)便可應(yīng)用于不同任務(wù)、成像模式和生物結(jié)構(gòu)。未來(lái)，生命科學(xué)實(shí)驗(yàn)室的科學(xué)家們可通過(guò)進(jìn)一步擴(kuò)展訓(xùn)練數(shù)據(jù)的數(shù)據(jù)量和豐富度來(lái)不斷強(qiáng)化UniFMIR的圖像重構(gòu)能力。”顏波對(duì)UniFMIR被用于更多類型實(shí)驗(yàn)的可能性充滿信心。
本文鏈接：復(fù)旦團(tuán)隊(duì)利用AI打造“實(shí)驗(yàn)神器”：顯微鏡秒變高清相機(jī)http://www.sq15.cn/show-2-4833-0.html
聲明：本網(wǎng)站為非營(yíng)利性網(wǎng)站，本網(wǎng)頁(yè)內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn)，不代表本站觀點(diǎn)，本站不承擔(dān)任何法律責(zé)任。天上不會(huì)到餡餅，請(qǐng)大家謹(jǐn)防詐騙！若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。