據(jù)麥姆斯咨詢報道，近日，英國科學(xué)與技術(shù)設(shè)施委員會、美國華盛頓大學(xué)（University of Washington）、芬蘭坦佩雷大學(xué)（Tampere University）的研究人員組成的團隊在Science Advances期刊上發(fā)表了題為“Miniature color camera via flat hybrid meta-optics”的論文，提出了一種基于混合超構(gòu)光學(xué)（meta-optics）的全彩色微型計算相機，使用硬件在環(huán)（HIL）方法協(xié)同優(yōu)化“端到端”設(shè)計架構(gòu)中的混合超構(gòu)光學(xué)和計算后端。本研究提出的混合超構(gòu)光學(xué)相機的設(shè)計方法向超小型相機邁出了重要一步。

(資料圖)

現(xiàn)代相機是為高質(zhì)量成像而優(yōu)化的復(fù)雜系統(tǒng)，通常由多個透鏡組成，以克服色差和幾何像差。然而，這種復(fù)雜性往往以犧牲尺寸和重量為代價。人們迫切需要將輕質(zhì)、超薄和微型相機集成到下一代智能手機、無人機或即時醫(yī)療設(shè)備等移動平臺中。因此，在保持高圖像質(zhì)量的同時，相機的微型化已經(jīng)成為光學(xué)和光子學(xué)研究的主要推動力。計算成像是解決這一難題的方法之一，數(shù)字后端可以彌補光學(xué)組件的缺陷并提高圖像質(zhì)量，因此已成為光學(xué)、數(shù)學(xué)和數(shù)字圖像處理交叉的多學(xué)科研究領(lǐng)域。

與此同時，近年來已取得的進(jìn)展也推動了平面衍射光學(xué)元件（DOE）領(lǐng)域的發(fā)展。雖然DOE傳統(tǒng)上用于非成像應(yīng)用，但最近的一些工作已經(jīng)證實了它們在成像方面的能力。特別是超構(gòu)光學(xué)（一類亞波長DOE）非常適合計算成像，因為它們能夠以高空間分辨率在入射波前賦予任意自由形式的相位分布。盡管其光圈很小（500 μm），結(jié)合合適的計算后端，超構(gòu)光學(xué)可以產(chǎn)生高質(zhì)量的圖像。一種特別有前景的方法是在“端到端”設(shè)計架構(gòu)中協(xié)同優(yōu)化超構(gòu)光學(xué)和計算后端，其中硬件和軟件得到同等考慮，從而確保最佳的系統(tǒng)級性能。

超構(gòu)光學(xué)在計算成像中具有三個潛在的優(yōu)勢：（i）它們可以實現(xiàn)重要的尺寸和重量減?。ê穸纫晕⒚诪閱挝唬?；（ii）在擴展成像模式（例如高光譜成像、擴展景深和人臉識別）中，它們可以實現(xiàn)超越傳統(tǒng)系統(tǒng)的性能；（iii）由于近幾十年來納米制造的巨大進(jìn)步，幾乎任意亞波長分辨率的波場操控成為可能。盡管存在這些優(yōu)勢，但是使用大光圈（>1 mm）超構(gòu)光學(xué)采集的圖像質(zhì)量仍受到強烈色差和幾何像差的困擾。已有研究表明，僅使用超構(gòu)光學(xué)采集寬帶圖像存在根本的局限性。雖然復(fù)雜的超構(gòu)原子（meta-atom）工程可以有所幫助，但是制造具有微型化特性的大光圈超構(gòu)光學(xué)器件仍然具有挑戰(zhàn)性。最后，開發(fā)大光圈超構(gòu)光學(xué)的設(shè)計工具的計算成本極其昂貴。這帶來了嚴(yán)峻的挑戰(zhàn)，因為目前最先進(jìn)的端到端設(shè)計方法主要涉及光學(xué)的數(shù)值建模。

在這項研究工作中，研究團隊遵循其近期提出的設(shè)計方法，通過使用混合折射/超構(gòu)光學(xué)系統(tǒng)和計算后端串聯(lián)來規(guī)避所有這些挑戰(zhàn)。所需的相位分布首先通過硬件在環(huán)（HIL）策略進(jìn)行優(yōu)化，其中由空間光調(diào)制器（SLM）實現(xiàn)的DOE被配置和更新。同時，折射透鏡和傳感器保持固定。這不僅繞過了設(shè)計光學(xué)系統(tǒng)的昂貴的計算成本要求，而且還直接考慮了傳感器噪聲并排除了校準(zhǔn)誤差。優(yōu)化的相位掩模被超構(gòu)光學(xué)實現(xiàn)。相比僅使用超構(gòu)光學(xué)的系統(tǒng)，混合光學(xué)系統(tǒng)可以改善超構(gòu)光學(xué)的低光效率、像差和重建質(zhì)量。研究人員使用簡單的超構(gòu)原子來確?？芍圃煨?，并且超構(gòu)原子僅針對510 nm（SLM工作的波長）進(jìn)行設(shè)計。盡管只考慮了單一波長，但由于超構(gòu)光學(xué)擴展了聚焦深度，研究人員仍然可以實現(xiàn)高質(zhì)量的全彩色成像。因此，即使使用僅針對一種波長優(yōu)化的簡單超構(gòu)原子，由于混合光學(xué)和計算后端，系統(tǒng)仍能實現(xiàn)高質(zhì)量的寬帶成像。所提出的成像系統(tǒng)的焦距和光圈為5 mm。為了說明這款相機的潛力，研究人員將其與僅使用單透鏡配置、索尼Alpha 1 III無反商用相機的復(fù)合多透鏡光學(xué)系統(tǒng)進(jìn)行了比較。這一比較證實了超構(gòu)混合光學(xué)在全彩色成像中的有效性，而本研究所設(shè)計的混合超構(gòu)光學(xué)相機的體積比無反商用相機小約108倍。

由于超構(gòu)光學(xué)中涉及大量散射體，全彩色、大光圈混合光學(xué)的設(shè)計成本極其昂貴。研究人員使用硬件在環(huán)配置彌補了從理論建模到實際應(yīng)用的巨大差距，如圖1A所示，他們使用端到端設(shè)計架構(gòu)來優(yōu)化DOE相位分布和相應(yīng)計算后端。圖1A中的逐像素可編程相位SLM充當(dāng)占位符來實現(xiàn)DOE的相位分布，它被迭代更新，同時計算后端被協(xié)同優(yōu)化。按照研究團隊在之前研究中提出的方法，這種優(yōu)化產(chǎn)生了如圖1B所示的相位分布。盡管在此配置中采集的圖像是模糊的，但協(xié)同優(yōu)化的計算后端可以恢復(fù)圖像并生成高質(zhì)量的全對焦全彩色圖像。這在三維（3D）場景示例的相同配置中直接得到了證實，而不同深度的特征被放大以凸出高成像質(zhì)量。

圖1 在端到端架構(gòu)中協(xié)同優(yōu)化混合超構(gòu)光學(xué)和逆成像的硬件在環(huán)方法示意圖

盡管研究人員在設(shè)計和實施中只考慮了單種波長（511 nm），但他們在這種混合配置中展示了全彩色操作。最終確定的超構(gòu)光學(xué)器件（直徑5 mm）及其特性如圖2A所示，其中掃描電子顯微照片（底行）顯示了超構(gòu)光學(xué)器件中納米柱的結(jié)構(gòu)完整性。此外，為了比較和驗證超構(gòu)光學(xué)器件的相位響應(yīng)，研究人員對其使用了全息表征（圖2A）。

圖像形成和相機組件（超構(gòu)掩模、透鏡、傳感器和數(shù)據(jù)處理軟件）的光學(xué)特性由點擴散函數(shù)（PSF）表征。該混合系統(tǒng)表現(xiàn)出對于各種深度非常相似的PSF，從而實現(xiàn)了超構(gòu)掩模提供的擴展聚焦深度功能。在圖2C和2D中，研究人員還報道了每個RGB通道僅使用單透鏡系統(tǒng)和混合系統(tǒng)的調(diào)制傳遞函數(shù)（MTF）和有效MTF（EMTF）。

圖2 超構(gòu)掩模相位分布的全息表征及其跨深度的PSF和每個通道的MTF

與僅使用單透鏡系統(tǒng)相比，混合光學(xué)系統(tǒng)的主要優(yōu)勢是顯而易見的?；旌瞎鈱W(xué)系統(tǒng)的通帶高于僅使用單透鏡的相機系統(tǒng)?；旌舷到y(tǒng)的EMTF值接近1，從而實現(xiàn)更高的成像質(zhì)量。特別是，僅使用單透鏡系統(tǒng)的紅光譜MTF取值要低得多，甚至是零。

為了評估混合折射超構(gòu)光學(xué)的性能，研究人員以兩種配置采集圖像：（1）顯示器和傳感器之間具有三個固定距離的三種顯示器成像（圖3）和（2）現(xiàn)實生活中的場景，其中各種顏色的物體位于相對于相機多個距離的任意位置。首先，研究人員將混合超構(gòu)光學(xué)與配置1中的單透鏡相機的成像性能進(jìn)行比較，其中圖像（基準(zhǔn)真值）顯示在相對于傳感器0.5、1或1.8 m的顯示器上。通過比較特定圖像細(xì)節(jié)可以明顯看出，混合光學(xué)系統(tǒng)可產(chǎn)生更好的圖像，特別是對于0.5和1.8 m的成像距離?；旌瞎鈱W(xué)系統(tǒng)的優(yōu)越性能通過計算的峰值信噪比（PSNR）值得到進(jìn)一步的量化強調(diào)，其值在所有顏色通道和所有距離上都更高。

圖3 使用設(shè)計的混合超構(gòu)光學(xué)的三顯示器成像設(shè)置

圖4 由多個不同顏色的物體在相對于傳感器的不同深度排列而成的真實場景

在配置2中，研究人員進(jìn)一步將混合光學(xué)系統(tǒng)與復(fù)合多透鏡相機——即索尼Alpha 1 III傳感器與索尼SEL85F18透鏡（光圈限值為F/1.8和F/22）進(jìn)行比較，如圖4所示。與之前的情況一樣，使用混合光學(xué)系統(tǒng)獲得的圖像在兩個深度上都呈現(xiàn)出更清晰的圖像和更好的細(xì)節(jié)分辨率。此外，與F/1.8光圈的復(fù)合相機相比，混合光學(xué)系統(tǒng)在更大的深度范圍內(nèi)顯示出明顯更好的成像質(zhì)量。即使對于F/22的較小光圈值，使用混合光學(xué)系統(tǒng)獲得的圖像在0.6 m的離焦深度處也呈現(xiàn)出更清晰的細(xì)節(jié)。

綜上所述，研究人員提出了一種由折射透鏡和大光圈超構(gòu)光學(xué)構(gòu)成的全彩色微型計算相機。開發(fā)中的一個關(guān)鍵方面是超構(gòu)光學(xué)的設(shè)計，研究人員使用HIL方法來優(yōu)化端到端設(shè)計架構(gòu)中的相位分布和計算后端。具體來說，SLM充當(dāng)超構(gòu)光學(xué)的占位符，對相位分布和相應(yīng)的計算后端進(jìn)行迭代優(yōu)化，以在大型訓(xùn)練集上實現(xiàn)全彩色高質(zhì)量成像。考慮的唯一目標(biāo)指標(biāo)是恢復(fù)RGB圖像的質(zhì)量，這與現(xiàn)有的優(yōu)化相機數(shù)字微分模型和計算后端的方法不同。因此，研究人員完全繞過了使用電磁求解器優(yōu)化超構(gòu)光學(xué)相位分布的要求，否則由于涉及大量散射體，這將會帶來計算成本極其昂貴的問題。此外，這種方法直接考慮了折射透鏡和傳感器的固定屬性，因此產(chǎn)生了與現(xiàn)實相對應(yīng)的結(jié)果和更強大的計算后端。

所開發(fā)的設(shè)計概念（其中HIL方法與端到端設(shè)計架構(gòu)相結(jié)合）有望在未來的工作中擴展到從高光譜成像到分類或物體檢測等各種任務(wù)。這將充分利用衍射光學(xué)可實現(xiàn)的潛力，同時減輕設(shè)計過程中的基本障礙。本研究提出的光學(xué)設(shè)計方法向超小型相機邁出了重要一步，其有望在內(nèi)窺鏡、腦成像或物體表面的分布式方式中實現(xiàn)新穎的應(yīng)用。

論文信息：https://doi.org/10.1126/sciadv.adg7297