據(jù)麥姆斯咨詢報(bào)道，近日，英國(guó)科學(xué)與技術(shù)設(shè)施委員會(huì)、美國(guó)華盛頓大學(xué)（University of Washington）、芬蘭坦佩雷大學(xué)（Tampere University）的研究人員組成的團(tuán)隊(duì)在Science Advances期刊上發(fā)表了題為“Miniature color camera via flat hybrid meta-optics”的論文，提出了一種基于混合超構(gòu)光學(xué)（meta-optics）的全彩色微型計(jì)算相機(jī)，使用硬件在環(huán)（HIL）方法協(xié)同優(yōu)化“端到端”設(shè)計(jì)架構(gòu)中的混合超構(gòu)光學(xué)和計(jì)算后端。本研究提出的混合超構(gòu)光學(xué)相機(jī)的設(shè)計(jì)方法向超小型相機(jī)邁出了重要一步。

(資料圖)

現(xiàn)代相機(jī)是為高質(zhì)量成像而優(yōu)化的復(fù)雜系統(tǒng)，通常由多個(gè)透鏡組成，以克服色差和幾何像差。然而，這種復(fù)雜性往往以犧牲尺寸和重量為代價(jià)。人們迫切需要將輕質(zhì)、超薄和微型相機(jī)集成到下一代智能手機(jī)、無人機(jī)或即時(shí)醫(yī)療設(shè)備等移動(dòng)平臺(tái)中。因此，在保持高圖像質(zhì)量的同時(shí)，相機(jī)的微型化已經(jīng)成為光學(xué)和光子學(xué)研究的主要推動(dòng)力。計(jì)算成像是解決這一難題的方法之一，數(shù)字后端可以彌補(bǔ)光學(xué)組件的缺陷并提高圖像質(zhì)量，因此已成為光學(xué)、數(shù)學(xué)和數(shù)字圖像處理交叉的多學(xué)科研究領(lǐng)域。

與此同時(shí)，近年來已取得的進(jìn)展也推動(dòng)了平面衍射光學(xué)元件（DOE）領(lǐng)域的發(fā)展。雖然DOE傳統(tǒng)上用于非成像應(yīng)用，但最近的一些工作已經(jīng)證實(shí)了它們?cè)诔上穹矫娴哪芰?。特別是超構(gòu)光學(xué)（一類亞波長(zhǎng)DOE）非常適合計(jì)算成像，因?yàn)樗鼈兡軌蛞愿呖臻g分辨率在入射波前賦予任意自由形式的相位分布。盡管其光圈很小（500 μm），結(jié)合合適的計(jì)算后端，超構(gòu)光學(xué)可以產(chǎn)生高質(zhì)量的圖像。一種特別有前景的方法是在“端到端”設(shè)計(jì)架構(gòu)中協(xié)同優(yōu)化超構(gòu)光學(xué)和計(jì)算后端，其中硬件和軟件得到同等考慮，從而確保最佳的系統(tǒng)級(jí)性能。

超構(gòu)光學(xué)在計(jì)算成像中具有三個(gè)潛在的優(yōu)勢(shì)：（i）它們可以實(shí)現(xiàn)重要的尺寸和重量減?。ê穸纫晕⒚诪閱挝唬?；（ii）在擴(kuò)展成像模式（例如高光譜成像、擴(kuò)展景深和人臉識(shí)別）中，它們可以實(shí)現(xiàn)超越傳統(tǒng)系統(tǒng)的性能；（iii）由于近幾十年來納米制造的巨大進(jìn)步，幾乎任意亞波長(zhǎng)分辨率的波場(chǎng)操控成為可能。盡管存在這些優(yōu)勢(shì)，但是使用大光圈（>1 mm）超構(gòu)光學(xué)采集的圖像質(zhì)量仍受到強(qiáng)烈色差和幾何像差的困擾。已有研究表明，僅使用超構(gòu)光學(xué)采集寬帶圖像存在根本的局限性。雖然復(fù)雜的超構(gòu)原子（meta-atom）工程可以有所幫助，但是制造具有微型化特性的大光圈超構(gòu)光學(xué)器件仍然具有挑戰(zhàn)性。最后，開發(fā)大光圈超構(gòu)光學(xué)的設(shè)計(jì)工具的計(jì)算成本極其昂貴。這帶來了嚴(yán)峻的挑戰(zhàn)，因?yàn)槟壳白钕冗M(jìn)的端到端設(shè)計(jì)方法主要涉及光學(xué)的數(shù)值建模。

在這項(xiàng)研究工作中，研究團(tuán)隊(duì)遵循其近期提出的設(shè)計(jì)方法，通過使用混合折射/超構(gòu)光學(xué)系統(tǒng)和計(jì)算后端串聯(lián)來規(guī)避所有這些挑戰(zhàn)。所需的相位分布首先通過硬件在環(huán)（HIL）策略進(jìn)行優(yōu)化，其中由空間光調(diào)制器（SLM）實(shí)現(xiàn)的DOE被配置和更新。同時(shí)，折射透鏡和傳感器保持固定。這不僅繞過了設(shè)計(jì)光學(xué)系統(tǒng)的昂貴的計(jì)算成本要求，而且還直接考慮了傳感器噪聲并排除了校準(zhǔn)誤差。優(yōu)化的相位掩模被超構(gòu)光學(xué)實(shí)現(xiàn)。相比僅使用超構(gòu)光學(xué)的系統(tǒng)，混合光學(xué)系統(tǒng)可以改善超構(gòu)光學(xué)的低光效率、像差和重建質(zhì)量。研究人員使用簡(jiǎn)單的超構(gòu)原子來確?？芍圃煨?，并且超構(gòu)原子僅針對(duì)510 nm（SLM工作的波長(zhǎng)）進(jìn)行設(shè)計(jì)。盡管只考慮了單一波長(zhǎng)，但由于超構(gòu)光學(xué)擴(kuò)展了聚焦深度，研究人員仍然可以實(shí)現(xiàn)高質(zhì)量的全彩色成像。因此，即使使用僅針對(duì)一種波長(zhǎng)優(yōu)化的簡(jiǎn)單超構(gòu)原子，由于混合光學(xué)和計(jì)算后端，系統(tǒng)仍能實(shí)現(xiàn)高質(zhì)量的寬帶成像。所提出的成像系統(tǒng)的焦距和光圈為5 mm。為了說明這款相機(jī)的潛力，研究人員將其與僅使用單透鏡配置、索尼Alpha 1 III無反商用相機(jī)的復(fù)合多透鏡光學(xué)系統(tǒng)進(jìn)行了比較。這一比較證實(shí)了超構(gòu)混合光學(xué)在全彩色成像中的有效性，而本研究所設(shè)計(jì)的混合超構(gòu)光學(xué)相機(jī)的體積比無反商用相機(jī)小約108倍。

由于超構(gòu)光學(xué)中涉及大量散射體，全彩色、大光圈混合光學(xué)的設(shè)計(jì)成本極其昂貴。研究人員使用硬件在環(huán)配置彌補(bǔ)了從理論建模到實(shí)際應(yīng)用的巨大差距，如圖1A所示，他們使用端到端設(shè)計(jì)架構(gòu)來優(yōu)化DOE相位分布和相應(yīng)計(jì)算后端。圖1A中的逐像素可編程相位SLM充當(dāng)占位符來實(shí)現(xiàn)DOE的相位分布，它被迭代更新，同時(shí)計(jì)算后端被協(xié)同優(yōu)化。按照研究團(tuán)隊(duì)在之前研究中提出的方法，這種優(yōu)化產(chǎn)生了如圖1B所示的相位分布。盡管在此配置中采集的圖像是模糊的，但協(xié)同優(yōu)化的計(jì)算后端可以恢復(fù)圖像并生成高質(zhì)量的全對(duì)焦全彩色圖像。這在三維（3D）場(chǎng)景示例的相同配置中直接得到了證實(shí)，而不同深度的特征被放大以凸出高成像質(zhì)量。

圖1 在端到端架構(gòu)中協(xié)同優(yōu)化混合超構(gòu)光學(xué)和逆成像的硬件在環(huán)方法示意圖

盡管研究人員在設(shè)計(jì)和實(shí)施中只考慮了單種波長(zhǎng)（511 nm），但他們?cè)谶@種混合配置中展示了全彩色操作。最終確定的超構(gòu)光學(xué)器件（直徑5 mm）及其特性如圖2A所示，其中掃描電子顯微照片（底行）顯示了超構(gòu)光學(xué)器件中納米柱的結(jié)構(gòu)完整性。此外，為了比較和驗(yàn)證超構(gòu)光學(xué)器件的相位響應(yīng)，研究人員對(duì)其使用了全息表征（圖2A）。

圖像形成和相機(jī)組件（超構(gòu)掩模、透鏡、傳感器和數(shù)據(jù)處理軟件）的光學(xué)特性由點(diǎn)擴(kuò)散函數(shù)（PSF）表征。該混合系統(tǒng)表現(xiàn)出對(duì)于各種深度非常相似的PSF，從而實(shí)現(xiàn)了超構(gòu)掩模提供的擴(kuò)展聚焦深度功能。在圖2C和2D中，研究人員還報(bào)道了每個(gè)RGB通道僅使用單透鏡系統(tǒng)和混合系統(tǒng)的調(diào)制傳遞函數(shù)（MTF）和有效MTF（EMTF）。

圖2 超構(gòu)掩模相位分布的全息表征及其跨深度的PSF和每個(gè)通道的MTF

與僅使用單透鏡系統(tǒng)相比，混合光學(xué)系統(tǒng)的主要優(yōu)勢(shì)是顯而易見的。混合光學(xué)系統(tǒng)的通帶高于僅使用單透鏡的相機(jī)系統(tǒng)?；旌舷到y(tǒng)的EMTF值接近1，從而實(shí)現(xiàn)更高的成像質(zhì)量。特別是，僅使用單透鏡系統(tǒng)的紅光譜MTF取值要低得多，甚至是零。

為了評(píng)估混合折射超構(gòu)光學(xué)的性能，研究人員以兩種配置采集圖像：（1）顯示器和傳感器之間具有三個(gè)固定距離的三種顯示器成像（圖3）和（2）現(xiàn)實(shí)生活中的場(chǎng)景，其中各種顏色的物體位于相對(duì)于相機(jī)多個(gè)距離的任意位置。首先，研究人員將混合超構(gòu)光學(xué)與配置1中的單透鏡相機(jī)的成像性能進(jìn)行比較，其中圖像（基準(zhǔn)真值）顯示在相對(duì)于傳感器0.5、1或1.8 m的顯示器上。通過比較特定圖像細(xì)節(jié)可以明顯看出，混合光學(xué)系統(tǒng)可產(chǎn)生更好的圖像，特別是對(duì)于0.5和1.8 m的成像距離?；旌瞎鈱W(xué)系統(tǒng)的優(yōu)越性能通過計(jì)算的峰值信噪比（PSNR）值得到進(jìn)一步的量化強(qiáng)調(diào)，其值在所有顏色通道和所有距離上都更高。

圖3 使用設(shè)計(jì)的混合超構(gòu)光學(xué)的三顯示器成像設(shè)置

圖4 由多個(gè)不同顏色的物體在相對(duì)于傳感器的不同深度排列而成的真實(shí)場(chǎng)景

在配置2中，研究人員進(jìn)一步將混合光學(xué)系統(tǒng)與復(fù)合多透鏡相機(jī)——即索尼Alpha 1 III傳感器與索尼SEL85F18透鏡（光圈限值為F/1.8和F/22）進(jìn)行比較，如圖4所示。與之前的情況一樣，使用混合光學(xué)系統(tǒng)獲得的圖像在兩個(gè)深度上都呈現(xiàn)出更清晰的圖像和更好的細(xì)節(jié)分辨率。此外，與F/1.8光圈的復(fù)合相機(jī)相比，混合光學(xué)系統(tǒng)在更大的深度范圍內(nèi)顯示出明顯更好的成像質(zhì)量。即使對(duì)于F/22的較小光圈值，使用混合光學(xué)系統(tǒng)獲得的圖像在0.6 m的離焦深度處也呈現(xiàn)出更清晰的細(xì)節(jié)。

綜上所述，研究人員提出了一種由折射透鏡和大光圈超構(gòu)光學(xué)構(gòu)成的全彩色微型計(jì)算相機(jī)。開發(fā)中的一個(gè)關(guān)鍵方面是超構(gòu)光學(xué)的設(shè)計(jì)，研究人員使用HIL方法來優(yōu)化端到端設(shè)計(jì)架構(gòu)中的相位分布和計(jì)算后端。具體來說，SLM充當(dāng)超構(gòu)光學(xué)的占位符，對(duì)相位分布和相應(yīng)的計(jì)算后端進(jìn)行迭代優(yōu)化，以在大型訓(xùn)練集上實(shí)現(xiàn)全彩色高質(zhì)量成像?？紤]的唯一目標(biāo)指標(biāo)是恢復(fù)RGB圖像的質(zhì)量，這與現(xiàn)有的優(yōu)化相機(jī)數(shù)字微分模型和計(jì)算后端的方法不同。因此，研究人員完全繞過了使用電磁求解器優(yōu)化超構(gòu)光學(xué)相位分布的要求，否則由于涉及大量散射體，這將會(huì)帶來計(jì)算成本極其昂貴的問題。此外，這種方法直接考慮了折射透鏡和傳感器的固定屬性，因此產(chǎn)生了與現(xiàn)實(shí)相對(duì)應(yīng)的結(jié)果和更強(qiáng)大的計(jì)算后端。

所開發(fā)的設(shè)計(jì)概念（其中HIL方法與端到端設(shè)計(jì)架構(gòu)相結(jié)合）有望在未來的工作中擴(kuò)展到從高光譜成像到分類或物體檢測(cè)等各種任務(wù)。這將充分利用衍射光學(xué)可實(shí)現(xiàn)的潛力，同時(shí)減輕設(shè)計(jì)過程中的基本障礙。本研究提出的光學(xué)設(shè)計(jì)方法向超小型相機(jī)邁出了重要一步，其有望在內(nèi)窺鏡、腦成像或物體表面的分布式方式中實(shí)現(xiàn)新穎的應(yīng)用。

論文信息：https://doi.org/10.1126/sciadv.adg7297