自動駕駛需要用到多種傳感器，比如攝像頭、毫米波雷達、激光雷達以及超聲波雷達。不同傳感器的工作原理不同所以它們產(chǎn)生的數(shù)據(jù)類型也不一樣。

如果車輛在自動駕駛過程中發(fā)現(xiàn)前面飄來一個塑料袋，攝像頭可能會識別出它是個塑料袋或者白色的皮球，甚至是白色的飛鳥(如果光線不好)，而毫米波雷達很可能會認為它是個石頭或者相同尺寸的障礙物。

這時候不同傳感器發(fā)出了截然相反的指令，攝像頭建議減速而雷達建議緊急制動。兩個互相沖突的指令必須引入第三個傳感器介入打破平衡，或根據(jù)系統(tǒng)預設優(yōu)先級直接判定緊急制動。

但無論哪一種方案，都不是自動駕駛最優(yōu)的解決方案。因為復雜的邏輯判定流程會造成延遲以及算力的浪費，甚至不必要的執(zhí)行動作，而這還僅僅是一個塑料袋。如果兩個塑料袋飄過來，就是兩倍的工作量。

這就是目標數(shù)據(jù)融合的尷尬。

而原始數(shù)據(jù)融合則是所有傳感器直接描繪完整環(huán)境，事實運算并對每個像素進行動態(tài)信息標注。根據(jù)塑料袋的動態(tài)方式計算出它的重量，直接得到它是塑料袋這個答案，并配合做出相應駕駛動作。原始數(shù)據(jù)融合能夠在使用更少能源(和計算)的情況下，以更高的分辨率探測環(huán)境。當來自不同傳感器的所有原始數(shù)據(jù)在處理之前被混合在一起時，深度神經(jīng)網(wǎng)絡(DNN)可以創(chuàng)建一個更完整的環(huán)境圖像。

這里說一下行業(yè)中比較有代表性的公司方便大家理解傳感融合公司的產(chǎn)品模式和服務對象。以色列的初創(chuàng)公司VAYAVISION就是一家提供自動駕駛車輛原始數(shù)據(jù)融合和感知軟件解決方案的供應商，2018年10月這家公司拿到了800萬美元的融資(投資方包括三菱HFJ金融、LG電子等)，該公司2019年5月于EcoMotion智能交通峰會上展示了其最新的自動駕駛環(huán)境感知軟件VAYADrive 2.0。

該軟件對距離傳感器進行稀疏采樣，并將距離信息分配給高分辨率相機圖像中的每個像素。這使得自動駕駛汽車能夠接收到關于物體大小和形狀的關鍵信息，能夠?qū)⒌缆飞系拿恳粋€小障礙物分開，并準確地定義道路上的車輛、人和其他物體的形狀。

在 UBC 研究員設計了水凝膠傳感器，其中包含不同大小的正離子和負離子的鹽。他和 UBC 物理和化學系的合作者應用磁場來精確跟蹤當向傳感器施加壓力時離子是如何移動的。

“當對凝膠施加壓力時，該壓力會以不同的速度分散液體中的離子，從而產(chǎn)生電信號。通常較小的正離子比較大的負離子移動得更快。這會導致離子不均勻產(chǎn)生電場的分布，這就是壓電傳感器工作的原因。”

研究人員說，這一新知識證實了水凝膠的工作方式與人類檢測壓力的方式相似，這也是通過移動離子來響應壓力，激發(fā)了離子皮膚的潛在新應用。

“顯而易見的應用是制造直接與細胞和神經(jīng)系統(tǒng)相互作用的傳感器，因為電壓、電流和響應時間就像跨細胞膜的那些，”UBC 應用科學學院電氣和計算機工程教授 Madden 博士說. “當我們將傳感器連接到神經(jīng)時，它會在神經(jīng)中產(chǎn)生信號。反過來，神經(jīng)會激活肌肉收縮?！?/p>

“你可以想象一個覆蓋著離子皮膚的假肢。皮膚通過觸摸或壓力感知物體，通過神經(jīng)將信息傳遞給大腦，然后大腦激活提升或握住物體所需的馬達。進一步傳感器皮膚和神經(jīng)接口的開發(fā)，這種仿生接口是可以想象的?！?/p>

另一個應用是佩戴在皮膚上的軟水凝膠傳感器，它可以監(jiān)測患者的生命體征，同時完全不顯眼并自行發(fā)電。

說完以上的傳感器，我們再來說說攝像頭。攝像頭——也即是鏡頭，也分為很多類型，比如不同的廠商使用的鏡頭卡口完全不同，比如佳能單反是EF卡口，佳能微單是RF卡口，尼康微單是Z卡口，尺寸都不一樣。

不僅鏡頭卡口有區(qū)別，而且鏡頭的光圈也有恒定光圈和可變光圈，鏡頭的焦距有定焦和變焦，而且不管是定焦還是變焦，又分為超廣角鏡頭、廣角、中焦以及長焦以及魚眼鏡頭等。而且同樣的焦段同樣的畫幅尺寸，有些鏡頭有防抖性能和自動對焦性能，有些則沒有。

而從鏡頭的材料來看，鏡頭也分為多種，比如說低端鏡頭多數(shù)都是樹脂鏡頭，比如一些國產(chǎn)學生數(shù)碼相機用的就是樹脂鏡頭，而比較高級的鏡頭主要以優(yōu)質(zhì)光學玻璃為主，還要有相當高級的加工技術。

從構成鏡頭的鏡片形狀來看，有球面鏡頭，還有非球面鏡，用于減少散光和畸形，從而矯正成像。 而且有些鏡頭還有鍍膜技術，可以有效提升影像品質(zhì)。而且不同的鏡頭解析度和分辨率也不同，通常用“ lp/ mm”(一毫米內(nèi)能分清的黑白線對數(shù))來表示。如果你使用了低解析度和低分辨率的鏡頭，即便使用高質(zhì)量高像素的影像傳感器也無法發(fā)揮其優(yōu)勢，拍出來的畫質(zhì)就會大打折扣。