共聚焦原理解析（九）：如何利用自適應(yīng)反卷積提取圖像信息
圖像信息提取
共聚焦激光掃描顯微鏡（）是真正三維分辨熒光成像的標準�？焖俟鈱W切片采用靈活的掃描策略，結(jié)合同時多色、高靈敏度和低噪聲信號檢測，在空間和時間域提供了最大的分辨率。結(jié)合現(xiàn)代的圖像信息提取方法，有助于研究者從獲取的圖像中挖掘盡可能多的信息。圖像信息提取是指利用圖像系統(tǒng)的先驗知識進行圖像增強的智能過程。從簡單的眩光控制和光學開發(fā)到智能和巧妙的模型提取，有許多方法可以看到圖像之外的信息。
盡管具有非常好的三維掃描質(zhì)量，但在成像過程中會出現(xiàn)物理上的衍射現(xiàn)象，這種現(xiàn)象是每個成像系統(tǒng)的特征，可以用所謂的點擴展函數(shù)()來描述。通過光學系統(tǒng)成像的物體是該物體與成像系統(tǒng)的光學特性()的疊加（卷積）的結(jié)果。這些衍射現(xiàn)象會物體產(chǎn)生一種“涂抹”效果，導致有效分辨率降低和單個光子精確位置成像不正確。此外，在掃描生物樣品期間發(fā)生的背景和噪聲影響，這反過來又會進一步減少圖像原始數(shù)據(jù)的實際信息內(nèi)容。
這些效果均可以用顯微鏡的神奇三角的錐體來顯示，該三角錐由分辨率、速度、靈敏度和光譜范圍組成，它們分別位于各自的角上。增強任何一個因素會相應(yīng)地減弱其他因素。
但有好幾種辦法進一步突破這些限制：通過復雜的智能模型識別干擾信號，并通過反卷積過程將單個光子與其原始位置相關(guān)聯(lián)，來擴大金字塔的覆蓋區(qū)域并消除其限制。
可以接近實時地突破這些極限，以高效的方式提取共焦數(shù)據(jù)的原始信息，從而使共焦成像不僅超越衍射極限[1]，而且并行地提高了有效靈敏度和時間分辨率。通過自適應(yīng)圖像信息提取，獲得了底層標本真實性質(zhì)的清晰圖像。相比下述傳統(tǒng)方法，基于實際情況的自適應(yīng)反卷積代表了可量化、可復制和可信的信息恢復的最佳可用程序。
是一種新方法，利用極快的并行處理從共焦數(shù)據(jù)中近實時地進行全自動智能信息提取。與傳統(tǒng)方法相比，主要區(qū)別在于體素精度和實時評估圖像屬性。這個過程完全連接到成像系統(tǒng)基于探測器的光學接口，從而完全整合到相應(yīng)的數(shù)據(jù)和數(shù)據(jù)采集流中。在此基礎(chǔ)上，為每個相關(guān)體積段確定后續(xù)反卷積的最佳參數(shù)。這種將反卷積參數(shù)空間與局部圖像屬性相關(guān)聯(lián)的自適應(yīng)過程不僅能夠在相應(yīng)的圖像數(shù)據(jù)中實現(xiàn)完全自動化的體素精確信息恢復，而且特別適用于任何生物樣品和應(yīng)用（見圖1）。該方法的另一個特點是由于特定地點的最優(yōu)重建過程而保留了信息攜帶信號。
圖1：的自適應(yīng)過程允許任意圖像數(shù)據(jù)和應(yīng)用的完全自動化信息提取。
相比之下，傳統(tǒng)反卷積方法使用全局思維，不考慮圖像屬性的位置依賴差異。這意味著這些過程不能全自動應(yīng)用，但始終基于“最佳猜測”方法，通過該方法在創(chuàng)建全局反卷積參數(shù)空間時尋求最大可能的平衡。這種方法的缺點自然在于它沒有考慮到圖像屬性中的不均勻性，這導致信息攜帶信號很有可能被錯誤地拒絕，或者相反，諸如背景或噪聲之類的無用信號會被解釋為信息單元并得到增強。
在中，原始共聚焦數(shù)據(jù)始終保留在經(jīng)典的反卷積（非自適應(yīng)）或后處理過程中。而且，也可以在類似于經(jīng)典反卷積的非自適應(yīng)模式下使用。
傳統(tǒng)反卷積
理想情況下，反卷積的目的不是通過丟棄失焦信號，而是通過將信號重新分配到其原始位置來去除失焦信號，從而保持成像體積中的總信號或光子計數(shù)。反卷積的一般方法是基于對顯微鏡原始數(shù)據(jù)進行適當?shù)念A處理，然后進行實際的傳統(tǒng)反卷積處理（見圖2）。
圖2：使用傳統(tǒng)方法從顯微鏡原始數(shù)據(jù)到反卷積圖像的整個反卷積過程（包括預處理）的圖形表示。使用全局有效的單個(=1)參數(shù)空間來運行反卷積。
預處理是利用圖像處理的一般方法對圖像原始數(shù)據(jù)進行修正，并為反卷積做準備。通常，這會用到適用于確定背景信號和信噪比()的平滑方法。然后使用先前定義的全局反卷積參數(shù)執(zhí)行反卷積。這些參數(shù)包括顯微鏡的特征值，例如，如顯微鏡硬件的配置文件中列出的激發(fā)/發(fā)射波長和物鏡的規(guī)格。此外，像一般背景和信噪比等彈性值，尤其是反卷積相關(guān)參數(shù)（見下文）需要由用戶設(shè)置，以定義反卷積的參數(shù)空間。這些值對反卷積的準確性和可信性均有很大影響。
與顯微鏡配置無關(guān)，相關(guān)和全局設(shè)置的參數(shù)由迭代反卷積過程中的反卷積步驟數(shù)和正則化定義（見圖3）。迭代次數(shù)和正則化決定了反卷積的精確度/可信度的度量，并且必須主要根據(jù)信噪比進行非常仔細的平衡。正則化過程發(fā)生在各個反卷積步驟之間，通�；谒^的使用快速傅立葉變換（）的-過程。
正則化：正則化參數(shù)表示算法將信號解釋為背景或噪聲的一種方法。因此，正確估計該參數(shù)對于避免產(chǎn)生偽影（背景或噪聲，可解釋為信息攜帶信號），或相反，對于已被錯誤識別為背景或噪聲的信息攜帶單元的分類至關(guān)重要。
迭代：迭代執(zhí)行反卷積過程本身，直到達到適當?shù)闹兄箿蕜t，從而停止反卷積過程并完成數(shù)據(jù)處理。
圖3：反卷積過程。
因此，整個反卷積參數(shù)空間由與以下內(nèi)容相關(guān)的參數(shù)組成：
顯微鏡硬件、成像和實驗裝置；激發(fā)/發(fā)射波長、物鏡、分辨率、樣品基質(zhì)、浸沒/嵌入介質(zhì)等。
圖像特征：背景、信噪比、正則化、迭代次數(shù)等。
自適應(yīng)反卷積
反卷積方法基于一種全新的自適應(yīng)方法，它在圖像采集（預處理）過程中讀取局部圖像性質(zhì)，并提取合適的反卷積參數(shù)用于正則化過程。這實現(xiàn)了完全自動化的反卷積處理，無需用戶手動輸入（參見圖4）。
圖4：圖解中的自適應(yīng)反卷積方法。與傳統(tǒng)重建方法相比，該方法使用了特定于體素的圖像屬性重建方案。
預處理
在預處理步驟中，以體素精度確定關(guān)于背景和信噪比的局部圖像屬性：
背景：首先識別全局背景，該全局背景與用于局部背景估計值(，)對應(yīng)的局部信噪比相關(guān)。
信噪比：信噪比由每個像素的灰度值(，)的適當估計（具體取決于其鄰域）和用于平滑的特定內(nèi)核確定。
決策掩碼
的關(guān)鍵要素基于應(yīng)用一種快速運轉(zhuǎn)的自適應(yīng)動態(tài)過程，且完全集成在系統(tǒng)數(shù)據(jù)流中，該過程使用基于局部圖像屬性的最佳處理程序來獲取信息。為此，如上所述，必須針對每個體素/體段提取有關(guān)背景和信噪比的基本圖像屬性，并在此基礎(chǔ)上為后續(xù)反卷積提供體素精確的最佳參數(shù)集。
根據(jù)特定背景和信噪比信息的確定，在個維度上生成所謂的決策掩碼，其中是數(shù)據(jù)采集通道的數(shù)量（例如，在數(shù)據(jù)堆棧中=3，見圖5）。
圖5：體素特定的圖像質(zhì)量特征（背景和信噪比）由決策掩碼（左上角）表示，并以從低圖像質(zhì)量（低信噪比，藍色）到高圖像質(zhì)量（高信噪比，紅色）的偽彩色顯示。在此基礎(chǔ)上，使用自適應(yīng)系數(shù)為每個特定體素位置生成最合適的反卷積參數(shù)集。
通過自適應(yīng)系數(shù)將決策掩模產(chǎn)生的每個體素的信息與相關(guān)的反卷積參數(shù)集進行關(guān)聯(lián)。自適應(yīng)系數(shù)與正則化參數(shù)直接關(guān)聯(lián)，并將共聚焦數(shù)據(jù)的局部圖像屬性轉(zhuǎn)換為每個體素的合適反卷積參數(shù)（見圖6）。
圖6：圖解單個圖像平面的決策掩碼。計算的圖像質(zhì)量（）越低，用于后續(xù)反卷積的相應(yīng)正則化參數(shù)（）越高（反之亦然）。使用決策掩碼可以對自適應(yīng)反卷積的反卷積參數(shù)空間進行基于實際情況的建模。
生成決策掩模的整個過程基于一般的圖像處理方法，因此完全可以量化，即不會改變單個光子和光子計數(shù)基于強度或定位的特征。該流程僅從共聚焦數(shù)據(jù)中提取信息，不做任何修改。因此，決策掩模根據(jù)共聚焦數(shù)據(jù)中的背景和信噪比，逐個體素地定義局部圖像質(zhì)量特征，以自適應(yīng)的方式進行反卷積處理，即正則化和迭代次數(shù)。
反卷積
實際的反卷積步驟基于運用-算法和物理建模的點擴展函數(shù)，后者適用于相應(yīng)的成像方法（共聚焦、、多光子等）。根據(jù)參考文獻[2,3,4]對底層模型進行調(diào)整，并針對徠卡系統(tǒng)環(huán)境優(yōu)化。其結(jié)果是對每個體素/體段進行優(yōu)化重建，排除了背景和噪聲等不需要的信號，同時保留并揭示了信息承載結(jié)構(gòu)。
圖7：共聚焦數(shù)據(jù)（左）、決策掩碼（中）和反卷積數(shù)據(jù)堆棧（右）的4色細胞的圖形偽色表示。下文的敘述描繪了綠色通道（線粒體染色），以更好地顯示相應(yīng)的決策掩碼。
反卷積的自適應(yīng)性體現(xiàn)在從每個體素的決策掩碼中提取的反卷積參數(shù)空間的應(yīng)用方面。此外，純反卷積過程對應(yīng)上述的經(jīng)典常規(guī)過程。迭代次數(shù)的中止標準完全自動處理，并通過對上一個迭代步驟的圖像與前一次迭代的圖像進行連續(xù)比較來定義。當最后兩次迭代的比較圖像在本質(zhì)特征上不再呈現(xiàn)任何差異時，迭代立即終止。
圖8：共聚焦數(shù)據(jù)（左）和一個4色細胞的反卷積圖像（圖7）。反卷積后的圖像已經(jīng)去除了失焦信號，清晰地顯示出細絲和線粒體等細節(jié)。
最后，使用預處理圖像（在反卷積之前）的光子數(shù)來均一化反卷積的圖像。這意味著所獲輸出圖像始終可以互相比較，因為沒有基于最大值或可變因子的均一化發(fā)生。圖9顯示了一個已用校正過的腎臟切片的共聚焦平面：偽彩色表示（圖9，中間）用藍色標識的光子會被排除在各自的體積段（背景或噪聲）之外，或被重新分配到另一個體積段，即它們的原始位置（信息攜帶光子/信號）。紅色標識的是信息攜帶光子/信號，它們通過反卷積重新分配到它們的原始體積段。請注意，在共聚焦數(shù)據(jù)中形成“可見”結(jié)構(gòu)且未在反卷積圖像中表示的信息攜帶光子被重新分配到此處未顯示的相鄰圖像平面。
圖9：腎臟切片的單個共聚焦平面，顯示了共聚焦數(shù)據(jù)（左）、偽彩色光子重分配（中）和反卷積圖像（右）。藍色值表示光子被識別為背景/噪聲并排除，或被重新分配給另一個體素。紅色值對應(yīng)光子被重新分配到的圖像平面中的體積元素。
一方面，這個過程實現(xiàn)了全自動化處理，另一方面，對觀察到的信號進行高度精確度的定量重建。這讓從根本上有別于傳統(tǒng)反卷積方法，后者不能使用全局應(yīng)用程序考慮圖像數(shù)據(jù)的局部變化，因而會錯誤地排除或保留信號。
圖10顯示了一個典型的數(shù)據(jù)集應(yīng)用程序，在每秒44幀時，每個像素包含的光子數(shù)非常低。這種情況下，背景、噪聲和信息攜帶信號之間的體素差異很小，這意味著需要考慮局部方差可能對重建方案有很大影響。背景和信噪比的各自影響清楚地說明了基于實際情況的自適應(yīng)反卷積的優(yōu)點，或者更確切地說，基于全局反卷積“最佳猜測”來估計的方法的無效。
圖10：以每秒44幀獲取的-24–管蛋白時間序列的單時間點表示。由于低光子計數(shù)，高體素特定的背景變化，均可觀察到噪聲和信息攜帶信號。通過考慮局部方差的自適應(yīng)實際情況方法，給出了共聚焦數(shù)據(jù)的理想重建方案（左上）。相反，全局方法（右下）不能對這些局部差異做出具體反應(yīng)。因此，底層結(jié)構(gòu)無法解析。樣品由德國海德堡歐洲分子生物學實驗室小組的博士提供。
本例表明了如何幫助減少有效光劑量，從而通過使得低光子計數(shù)數(shù)據(jù)可以用于分析進行光漂白。
使用進行非自適應(yīng)反卷積
除了上面描述的自適應(yīng)反卷積，通常提供進一步處理策略，不使用決策掩碼作為定義反卷積參數(shù)空間的基礎(chǔ)。這些處理策略通過一個全局有效的參數(shù)集使用已知的通用方法進行重建，因此符合大家通常知道的反卷積過程。
-可定量性
如上所述，生成決策掩碼的過程完全基于經(jīng)證明的圖像處理方法進行線性信息提取。該程序在反卷積前不修改共聚焦數(shù)據(jù)，這意味著的這一重要特性充分反映出在此背景下的一個可定量框架。在逐個體素地提取圖像特征并將其轉(zhuǎn)換為相應(yīng)正則化參數(shù)和迭代次數(shù)的反卷積參數(shù)后，將這些信息輸入到后續(xù)的反卷積處理中。
反卷積本身的工作方式類似于傳統(tǒng)方法（見上文），因此對于這種類型的重建來說，由于其（非線性）線性可以量化，它具有相同的特性[5]。無論是否使用基于自適應(yīng)的反卷積參數(shù)空間，并在此基礎(chǔ)上應(yīng)用局部變化的反卷積策略，在重建過程中沒有局部和相對的強度出現(xiàn)失真：反卷積處理的相關(guān)寬度對應(yīng)相關(guān)的寬度，其局部變化的反卷積參數(shù)在該相關(guān)寬度內(nèi)保持不變。這確保反卷積參數(shù)的變化速度夠慢，以完全避免這種基于光強的影響。
不考慮背景和噪音的干擾，的一項基本特征是對于反卷積前后的圖像
- 保留了所有強度之和
- 保留了光子數(shù)量
最后，使用預處理圖像（在反卷積之前）的光子數(shù)來均一化反卷積的圖像。這意味著所獲輸出圖像始終可以互相比較，因為沒有基于最大值或可變因子的均一化發(fā)生。圖9顯示了一個已用校正過的腎臟切片的共聚焦平面：偽彩色表示（圖9，中間）顯示了藍色標識的光子會被排除在各自的體積段（背景或噪聲）之外，或被重新分配到另一個體積段，即它們的原始位置（信息攜帶光子/信號）。標識紅色表示信息攜帶光子/信號，它們通過反卷積重新分配到它們的原始體積段。請注意，在共聚焦數(shù)據(jù)中形成“可見”結(jié)構(gòu)且未在反卷積圖像中表示的信息攜帶光子被重新分配到此處未顯示的相鄰圖像平面。
通過使用基于實際情況的自適應(yīng)方法（決策掩碼），將產(chǎn)生偽影或排除信息攜帶信號的概率降至最低水平。事實上，相比傳統(tǒng)方法，自適應(yīng)反卷積在可量化程度方面代表著最佳可用程序。
–共聚焦超分辨率
通過反卷積過程，光子和相關(guān)強度被重新分配到它們的原始狀態(tài)，這也將光學圖像中的衍射現(xiàn)象等干擾因素降到最低。因此可以顯著提高光學系統(tǒng)的有效分辨率。可以令分辨率在橫向上提高到120納米，在軸向上提高到200納米。
瑞利判據(jù)[6]定義了衍射極限系統(tǒng)中的分辨率極限，換句話說，只要兩個光點彼此可區(qū)分或可分辨。如果來自兩個單獨艾里斑的衍射圖不重疊，它們就很容易區(qū)分，即“很好分辨”，因而被認為符合瑞利判據(jù)（見圖11，左側(cè)）。當一個艾里斑的中心與另一個艾里斑的衍射圖的第一極小值直接重疊時，它們可以被認定為“剛剛可分辨”，仍然可以作為兩個獨立光點來區(qū)分（見圖11，中間)。如果兩個艾里斑的衍射圖比這更近，那就不符合瑞利判據(jù)，即“不能分辨”為兩個不同的光點（或標本圖像中的獨立細節(jié)；見圖11（右））。
圖11：兩個單獨艾里斑的重疊衍射圖所顯示的分辨率極限（由瑞利判據(jù)定義）：左側(cè)：很好分辨，中間：剛好分辨，右邊：無法分辨
圖12顯示了一個共聚焦數(shù)據(jù)集與一個在條件下所獲數(shù)據(jù)集的比較。物體顯示分子納米尺(120，）攜帶兩個熒光標記，其間距為120納米。共聚焦數(shù)據(jù)集顯示了衍射極限物體的典型融合分布，而能夠分辨不同的發(fā)光點，因此它們的間距為120納米。納米粒子仍然表現(xiàn)為一個“涂抹”單點，或者在圖像中無法清晰分辨，這并不是非清晰重建的結(jié)果。這些物體在樣品臺上隨機旋轉(zhuǎn)，因此不能垂直于顯微鏡的檢測軸成像。一種可在這些邊界條件下測量到的效應(yīng)。
圖12：共聚焦數(shù)據(jù)（左）和利用分辨的120分子級納米粒子（右）�？雌饋硐袷且粋�“涂抹”單點，或者在圖像中無法清晰分辨的納米粒子，在樣品臺上隨機旋轉(zhuǎn)，因此不能垂直于顯微鏡的檢測軸成像。
總結(jié)
盡管近年來出現(xiàn)了新的成像方法，但標準的共聚焦激光掃描顯微鏡（）仍然可以實現(xiàn)真正的三維分辨率。通過結(jié)合具有高靈敏度、低噪聲探測器，以及多光譜同步數(shù)據(jù)采集的創(chuàng)新、極速掃描方法，共聚焦激光掃描顯微鏡可以借助徠卡的獨家技術(shù)，應(yīng)用到以前無法訪問的動態(tài)和光譜范圍。在有效空間和時間分辨率方面，物理光學成像特性以及背景和噪音引起的干擾所產(chǎn)生的限制，仍然是所有成像方法的局限性。
隨著的引用，可以使用全新的系統(tǒng)集成模塊，幾乎實時地突破了這些限制，推動著神奇金字塔的四個角，包括分辨率、靈敏度、速度和光譜（光譜范圍）。因此，可以通過自適應(yīng)圖像信息提取，獲得底層標本真實性質(zhì)的清晰圖像。
采用基于實際情況的自適應(yīng)反卷積方法，無需用戶手動輸入，即可實現(xiàn)高度可靠的全自動化圖像信息提取，而由于衍射現(xiàn)象和待檢樣本的生物特性，這些信息原本無法獲得。因此，可以實現(xiàn)遠低于理論衍射極限的分辨率，或者顯示盡管在空間和時間結(jié)構(gòu)上存在于共聚焦數(shù)據(jù)中，但由于衍射和噪聲，在以前是不可見的圖像信息。
不僅可以提高有效的空間分辨率，還能提高有效的時間分辨率，使得可訪問的光譜范圍得到極大并行擴展。使用，就不再需要設(shè)計實驗裝置，因為信息承載結(jié)構(gòu)可以直觀地映射在共聚焦數(shù)據(jù)中。事實上，此等信息已經(jīng)包含在分別以低光子數(shù)和最高掃描速度獲取的圖像數(shù)據(jù)中。會自動提取底層信息層，因此可以達到每秒428幀的有效共聚焦掃描速度且同時使用5種顏色。與那些并非為點掃描設(shè)計的光學方法相比，能夠達到真正的共聚焦分辨率。
是向完全固定在成像系統(tǒng)中的智能檢測方法邁出的第一步。其相關(guān)模塊將依靠新穎和創(chuàng)新的數(shù)字技術(shù)，不斷擴展和改進，以便從每種條件下的每種生物樣品中提取盡可能多的信息。
下載
下載格式白皮書《如何利用自適應(yīng)反卷積提取圖像信息》
相關(guān)鏈接：熒光、活細胞成像、類器官和 3D 細胞培養(yǎng)、超高分辨率顯微鏡和納米顯微鏡、癌癥研究、細胞生物學研究、熒光壽命成像、模式生物研究、光操作、病毒學、斑馬魚研究
共聚焦原理解析（八）：無限遠光學系統(tǒng)
共聚焦原理解析（七）：活細胞成像技術(shù)知識點
共聚焦原理解析（六）：光譜成像
共聚焦原理解析（五）：熒光和量子點的基本原理和發(fā)展歷史
共聚焦原理解析（四）：熒光壽命-一個適當?shù)倪x擇
共聚焦原理解析（三）：光路
共聚焦原理解析（二）：激發(fā)
共聚焦原理解析（一）：針孔幾何形狀-完美的四邊形
了解更多：徠卡顯微
Copyright(C) 1998-2025 生物器材網(wǎng) 電話：021-64166852;13621656896 E-mail：info@bio-equip.com