近日，普林斯頓的研究人員提出了世界上第一個(gè)高質(zhì)量的微米級(jí)光學(xué)成像裝置「Neural Nano-Optics」，并登上Nature Communications。成像效果和體積大50萬倍的相機(jī)鏡頭相比，在不少場(chǎng)景下可以做到旗鼓相當(dāng)！

　　快看，一朵湛藍(lán)色的花朵正在緩緩綻放，層層花瓣像是海洋的波浪。

　　另一朵紫色的花綻放的瞬間，也美不勝收。

　　但是，這些畫面真正的驚艷之處卻并不在于花朵，而在于拍攝它們的相機(jī)鏡頭。

　　那鏡頭放在手上，是這樣的。

　　一個(gè)極小極小的正方形小薄片，邊長大概也就是幾條指紋的寬度！

　　還有更夸張的。

　　傳統(tǒng)的光學(xué)鏡頭，比如蘋果的iPhone X，后置鏡頭是長這樣的。

　　拉近點(diǎn)看，一個(gè)后置鏡頭之中，其實(shí)疊放了好幾層透鏡。

　　所以這種大尺寸的光學(xué)元件必然會(huì)很重，而且還會(huì)擠占不少面積。

　　要不，用這個(gè)正方形小薄片和搭載大體積復(fù)合折射透鏡的傳統(tǒng)相機(jī)比上一比？

　　結(jié)果非常amazing?。?/p>

　　在微觀拍攝上，這個(gè)小小的薄片對(duì)物體的還原度居然不遜于一堆透鏡疊在一起，甚至畫面還要更明亮一些。

　　在廣角的拍攝上，這個(gè)小薄片最終還是沒能敵過大尺寸的傳統(tǒng)相機(jī)，不過建筑的輪廓倒也還原得七七八八。

　　這個(gè)小薄片名叫「Neural Nano-Optics」，學(xué)名「metasurface optics」，意為超構(gòu)表面光學(xué)器件。

　　有沒有看到中間拿一圈白色的部分，沒錯(cuò)，這個(gè)就是成像裝置。

　　只有一粒粗鹽的大小哦！

　　成像效果的話，研究人員表示，「Neural Nano-Optics」和體積大50萬倍的Edmund Optics 50mm F2.0鏡頭在不少場(chǎng)景下可以做到旗鼓相當(dāng)（不是我說的，是原文說的on par with）。

　　小小相機(jī)有多神？

　　近幾十年來，感光元件的小型化使得相機(jī)得以被應(yīng)用于非常多的領(lǐng)域，包括醫(yī)療成像、智能手機(jī)、機(jī)器人和自動(dòng)駕駛。

　　然而，如果光學(xué)成像器可以比現(xiàn)在再小一個(gè)數(shù)量級(jí)的話，那么它就可以在納米機(jī)器人、體內(nèi)成像、增強(qiáng)現(xiàn)實(shí)/虛擬現(xiàn)實(shí)和健康監(jiān)測(cè)方面開辟許多新的應(yīng)用。

　　近日，普林斯頓的研究人員提出了世界第一個(gè)高質(zhì)量的超小型光學(xué)成像裝置「Neural Nano-Optics」，并發(fā)表在了Nature Communications上。

　　這個(gè)相機(jī)擁有全色（400至700納米）覆蓋、40度的寬視野成像，以及F2.0的光圈。

　　論文地址：https://light.cs.princeton.edu/wp-content/uploads/2021/11/NeuralNanoOptics.pdf

　　項(xiàng)目地址：https://github.com/princeton-computational-imaging/Neural_Nano-Optics

　　「Neural Nano-Optics」優(yōu)于現(xiàn)有的所有最先進(jìn)的超構(gòu)表面透鏡設(shè)計(jì)，并且是世界第一個(gè)實(shí)現(xiàn)高質(zhì)量、寬視野彩色成像的超構(gòu)表面光學(xué)成像器。

　　超構(gòu)表面（metasurface）是一種厚度小于波長的超薄人工結(jié)構(gòu)，它可實(shí)現(xiàn)對(duì)電磁波偏振、振幅、相位、極化方式、傳播模式等特性的靈活有效調(diào)控。

　　通常，傳統(tǒng)光學(xué)元件的物理尺寸很大。

　　這是因?yàn)閭鹘y(tǒng)鏡頭是通過使光波發(fā)生彎曲來工作的。當(dāng)光波穿過鏡頭時(shí)，它在鏡頭的不同部分會(huì)以不同的角度發(fā)生折射。

　　一般來講，工程師會(huì)將多個(gè)單獨(dú)的鏡頭堆疊在一起（稱為復(fù)合鏡頭），以特定的方式引導(dǎo)和控制光線。

　　典型的凸（會(huì)聚）鏡頭使光波彎曲以在焦點(diǎn)處匯合（來源：Mini Physics）

　　由于傳統(tǒng)的成像系統(tǒng)必須由一系列矯正像差的折射元件組成，這些笨重的鏡頭必然使得相機(jī)的限制較大。

　　傳統(tǒng)成像另一個(gè)大的障礙是難以減小焦距，因?yàn)檫@會(huì)導(dǎo)致更大的色差。

　　而超構(gòu)表面光學(xué)器件通過其不同的自身結(jié)構(gòu)與光相互作用，用一層極薄的平面結(jié)構(gòu)就可以達(dá)到同等的效果。

　　鏡頭縮小的問題是解決了，那傳感器呢？

　　其實(shí)，亞微米像素的光學(xué)傳感器早已存在，但是其成像效果卻被傳統(tǒng)光學(xué)的理論所限制。

　　所以，單單把傳感器做小并不能完全解決問題。由于受到孔徑和光圈的限制，現(xiàn)有的亞微米像素的傳感器取得的圖像質(zhì)量遠(yuǎn)不如大型的光學(xué)相機(jī)。

　　那普林斯頓的研究人員是怎么攻破這一難點(diǎn)的呢？

　　答案還得是AI！

　　在這項(xiàng)工作中，作者提出的Neural Nano-Optics，表面只是一個(gè)小成像裝置，但其背后卻有一個(gè)完全可微的深度學(xué)習(xí)框架，結(jié)合基于神經(jīng)特征的圖像重建算法，進(jìn)而學(xué)習(xí)超構(gòu)表面的物理結(jié)構(gòu)，實(shí)現(xiàn)了比SOTA低一個(gè)數(shù)量級(jí)的重建誤差。

　　超構(gòu)表面代理模型

　　作者通過使用一個(gè)高效的可微分代理函數(shù)進(jìn)行學(xué)習(xí)，該函數(shù)將相位值映射到空間變化的PSF（PSF是point spread function的簡(jiǎn)稱，即點(diǎn)擴(kuò)散函數(shù)）。

　　文章所提出的可微分超構(gòu)表面圖像形成模型（圖e）是由可微分張量運(yùn)算的三個(gè)連續(xù)階段組成：超表面相位確定、PSF模擬并進(jìn)行卷積以及傳感器噪聲。

　　在他們的模型中，決定超表面相位的多項(xiàng)式系數(shù)是可優(yōu)化的變量。

　　可優(yōu)化的超表面相位函數(shù)?，以距光軸的距離r作為自變量，寫成函數(shù)如下：

　　其中{a0，…an}為可優(yōu)化系數(shù)，R為相位掩膜半徑，n為多項(xiàng)式項(xiàng)數(shù)。

　　在這個(gè)相位函數(shù)的基礎(chǔ)上優(yōu)化超表面，而不是以逐像素的方式來優(yōu)化，其目的是避免局部極小值出現(xiàn)。

　　這種可微分方法Neural Nano-Optics與可選的前向模擬方法（如時(shí)域有限差分模擬）進(jìn)行比較時(shí)，兩者精度是近似的，但可微分方法Neural Nano-Optics比FTDT等全波模擬方法的效率高3000倍，并且更節(jié)省內(nèi)存。

　　除這些之外，可微分框架Neural Nano-Optics還有幾個(gè)技術(shù)亮點(diǎn)。

　　基于特征的反卷積

　　為了從測(cè)量數(shù)據(jù)中恢復(fù)圖像，作者提出了一種基于特征的神經(jīng)反卷積方法，它結(jié)合了已學(xué)習(xí)的先驗(yàn)知識(shí)，可以推廣到?jīng)]見過的測(cè)試數(shù)據(jù)。

　　具體來說，該方法采用了一個(gè)可微分逆濾波器和神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取和細(xì)化。這種方法能夠?qū)W習(xí)有效的特征，從而利用功率譜的知識(shí)來提升基于物理的反卷積能力，從而提高泛化能力。

　　在形式上，特征傳播反卷積網(wǎng)絡(luò)執(zhí)行以下操作:

　　從結(jié)果看，特征傳播反卷積網(wǎng)絡(luò)的重建能力相對(duì)之前的方法有了質(zhì)的飛躍。

　　端到端學(xué)習(xí)

　　有了超表面代理和神經(jīng)反卷積模型，以及一個(gè)完全可微的成像管道，就可以用端到端的方式設(shè)計(jì)納米相機(jī)了。

　　可微分框架Neural Nano-Optics的學(xué)習(xí)方法和相應(yīng)的優(yōu)化流程

　　Neural Nano-Optics的端到端訓(xùn)練優(yōu)化過程是這樣的。

　　訓(xùn)練優(yōu)化示意圖

　　訓(xùn)練好之后，使用Neural Nano-Optics系統(tǒng)，可以得到高質(zhì)量的全色圖像。

　　與現(xiàn)有的最先進(jìn)的設(shè)計(jì)相比，Neural Nano-Optics可以生成高質(zhì)量的寬FOV重建圖像

　　色差消除(DLAC)

　　以前的超構(gòu)光學(xué)透鏡沒有一個(gè)能同時(shí)集齊大孔徑、寬視場(chǎng)、小f-number和大帶寬四個(gè)特性。

　　經(jīng)過優(yōu)化的超光學(xué)設(shè)計(jì)，讓這個(gè)超小型相機(jī)達(dá)到了前所未有的水平，能夠在寬闊的視野上捕捉全色圖像，并且實(shí)現(xiàn)了最大500微米的孔徑，也是目前最大的超構(gòu)光學(xué)透鏡，可以增加光收集量。

　　為了正式量化設(shè)計(jì)規(guī)格，研究人員提出了一種新的度量標(biāo)準(zhǔn)，稱為衍射透鏡色差消除能力（DLAC）。

　　Neural Nano-Optics再次取得了一騎絕塵的好成績(jī)，以250 DLAC的成績(jī)排名第一。

　　Neural Nano-Optics應(yīng)用

　　Neural Nano-Optics的出現(xiàn)有可能會(huì)使相機(jī)、顯示器以及其他光學(xué)設(shè)備發(fā)生革命性改變。

　　一些令人興奮的潛在應(yīng)用包括：

　　AR/VR/MR—XR系統(tǒng)開發(fā)人員目前仍在努力解決將大型硬件系統(tǒng)集成到頭戴式設(shè)備中的挑戰(zhàn)。Neural Nano-Optics讓我們看到了將微型光學(xué)元件集成到小型高性能輕質(zhì)頭戴式設(shè)備和智能眼鏡中的希望。 醫(yī)學(xué)—Neural Nano-Optics的增強(qiáng)光學(xué)功能可以實(shí)現(xiàn)比以往更精確的診斷成像、也可以搭載在更高分辨率的成像工具（比如內(nèi)窺鏡）和新的顯微鏡上，從而使放射科醫(yī)生、內(nèi)科醫(yī)生和實(shí)驗(yàn)室技術(shù)人員能夠看到以前不可見的細(xì)節(jié)。