一、概述
相比起用于A(yíng)DAS感知系統的攝像頭，用于智能座艙內部的攝像頭，其功能特性和性能要求相對簡(jiǎn)單。例如，OMS乘客監控攝像頭，一般達到5MP即可有良好的效果。同時(shí)，OMS也可應用于車(chē)內會(huì )議系統，還應用于車(chē)內兒童檢測。DMS駕駛員監測系統，SVC 360環(huán)視攝像頭，DVR行車(chē)記錄儀，均為自動(dòng)駕駛域ADC與智能座艙域CDC共用的攝像頭。下文將簡(jiǎn)要介紹這些攝像頭。
對于車(chē)載攝像頭來(lái)說(shuō)，它的特點(diǎn)在于攝像頭的安裝位置，和ISP處理芯片之間的距離。在2MP以下的攝像頭，一般會(huì )直接輸出YUV格式的圖像數據，無(wú)需額外的ISP進(jìn)行圖像處理。而2MP以上，則攝像頭會(huì )輸出raw原始數據，需要有獨立的ISP進(jìn)行攝像頭圖像格式處理。由于攝像頭使用數目很多，如果每個(gè)攝像頭都安排一個(gè)ISP，那么成本將非常巨大。因此需要將ISP安排在CDC座艙控制器內部，而通過(guò)高速傳輸線(xiàn)纜將攝像頭的raw數據傳送到集中式的ISP來(lái)進(jìn)行處理。此時(shí)就需要使用高速視頻傳輸總線(xiàn)。
如同高速音視頻傳輸接口章節所描述的一樣，此時(shí)一般使用GMSL或者FPDlink，實(shí)現遠端Camera的raw數據傳輸到CDC中來(lái)。未來(lái)還可能采用的技術(shù)有Mipi-A phy 和ASA。此時(shí)Serdes芯片一般成對設置，在攝像頭端集成有serializer chip；在CDC端則設計有desilizer chip；它們之間的距離可以長(cháng)達10米，最長(cháng)不超過(guò)15米。
作為Camera傳輸的橋接芯片和傳輸數據線(xiàn)，可以參考如下圖片了解：
二、 OMS
OMS(Occupant Monitor System) 乘客及后座檢測系統的簡(jiǎn)稱(chēng)。在法規上，已經(jīng)有不少地區和國家在立法要求進(jìn)行車(chē)內兒童檢測。歐洲NCAP計劃從2023年1月起增加對車(chē)內兒童存在檢測的評分，各項規定非常細致。美國正在立法要求所有新車(chē)預裝兒童存在檢測功能，預計在2025年全面實(shí)施。據說(shuō)國內相關(guān)規范也在評估制訂中。
OMS攝像頭可以在一定程度上滿(mǎn)足車(chē)內兒童存在檢測的要求。為了提高檢測的準確性，甚至還要求增加生命體征檢測雷達(UWB或者毫米波雷達)。從目前的實(shí)踐來(lái)看，一般在前排后視鏡位置布置一顆5MP，甚至8MP的OMS主攝像頭；在第二排第三排座位上方增加2MP的后排OMS。通過(guò)人臉識別，動(dòng)作捕獲，活體檢測等AI算法的應用，OMS可以提升智能座艙車(chē)內的感知。
OMS還可以為如下應用功能提供支持：車(chē)內視頻會(huì )議系統；安全支付系統；人工智能助手融合感知系統等。
為了保證在座艙環(huán)境內任何光照強度下都能正常使用，OMS一般要求支持RGB-IR，可見(jiàn)光和紅外光雙波段工作模式，同時(shí)需要布置紅外補光燈。在夜間可以采用IR紅外光進(jìn)行檢測；在白天采用RGB可見(jiàn)光進(jìn)行工作。
2.1 TOF
TOF是Time of flight的簡(jiǎn)寫(xiě)，直譯為飛行時(shí)間的意思。所謂飛行時(shí)間法3D成像，是通過(guò)給目標連續發(fā)送光脈沖，然后用傳感器接收從物體返回的光，通過(guò)探測光脈沖的飛行（往返）時(shí)間來(lái)得到目標物距離。這種技術(shù)跟3D激光傳感器原理基本類(lèi)似，只不過(guò)3D激光傳感器是逐點(diǎn)掃描，而TOF相機則是同時(shí)得到整幅圖像的深度信息。TOF相機與普通機器視覺(jué)成像過(guò)程也有類(lèi)似之處，都是由光源、光學(xué)部件、傳感器、控制電路以及處理電路等幾部單元組成。與同屬于非嵌入式三維探測、適用領(lǐng)域非常類(lèi)似的雙目測量系統相比，TOF相機具有根本不同的3D成像機理。雙目立體測量通過(guò)左右立體像對匹配后，再經(jīng)過(guò)三角測量法來(lái)進(jìn)行立體探測，而TOF相機是通過(guò)入、反射光探測來(lái)獲取的目標距離獲取。
由于TOF采用多點(diǎn)發(fā)射和測量的方法來(lái)計算并得出深度信息，因此它的特點(diǎn)是分辨率低，功耗高。受激光發(fā)射點(diǎn)的限制，其分辨率一般不會(huì )超過(guò)640*480，功耗卻是結構光的十倍以上。
2.2 雙目結構光+RGB
雙目結構光采用的是雙目立體視覺(jué)的技術(shù)，它模仿人眼的左右視差，用2個(gè)紅外攝像頭從左右兩個(gè)方向獲取被測物體的兩幅圖像，然后計算圖像對應點(diǎn)之間的偏差，采用三角測量的方式計算得出視差圖，再轉換為3D深度信息。在這里的結構光，指的是紅外投射器會(huì )投出一個(gè)簡(jiǎn)單的紅外光點(diǎn)陣，用來(lái)增強物體表面的紋理，然后再由IR攝像頭拍攝物體圖像，利用算法進(jìn)行后期計算處理。
雙目立體視覺(jué)系統的四個(gè)基本步驟：
1 相機標定：主要包含兩部分內容: 單相機的內參標定和雙目相機的外參標定，前者可以獲得每個(gè)相機的焦距、光心、畸變系數等參數，后者可以獲得雙目相機之間的相機坐標系的旋轉、平移關(guān)系。
2 立體校正：該過(guò)程是根據相機的標定結果，對兩個(gè)相機采集到的原始圖像進(jìn)行校正，校正后的兩張圖像位于同一平面且互相平行，即圖像的每行像素之間共線(xiàn)。
3 立體匹配：該過(guò)程是根據立體校正后的圖像，進(jìn)行像素點(diǎn)的匹配，匹配成功的點(diǎn)表示真實(shí)世界中的某點(diǎn)在這兩個(gè)圖像中的不同位置。
4 深度計算：對立體匹配后得到的2幅圖，利用三角測量法逐個(gè)計算每一個(gè)像素點(diǎn)的視差，得到視差圖后，再轉換成為深度圖。
雙目的優(yōu)點(diǎn)是硬件資源需求低，只要2個(gè)普通的IR相機，搭配一顆帶DSP的SOC芯片即可計算獲取深度圖。但它的缺點(diǎn)是必須配置雙目，并要求具有一定的基線(xiàn)長(cháng)度，因此它的安裝環(huán)境受限。
2.3 單目結構光
結構光，英文叫做 Structured light，基本原理是通過(guò)近紅外激光器，將具有一定結構特征的光線(xiàn)投射到被拍攝物體上，再由專(zhuān)門(mén)的紅外攝像頭進(jìn)行采集。這種具備一定結構的光線(xiàn)(激光散斑)，會(huì )因被攝物體的不同深度區域，而采集不同的圖像相位信息，然后通過(guò)運算單元將這種結構的變化換算成深度信息，以此來(lái)獲得三維結構。簡(jiǎn)單來(lái)說(shuō)就是，通過(guò)光學(xué)手段獲取被拍攝物體的三維結構，再將獲取到的信息進(jìn)行更深入的應用。通常采用特定波長(cháng)的不可見(jiàn)的紅外激光作為光源，它發(fā)射出來(lái)的光經(jīng)過(guò)一定的編碼投影在物體上，通過(guò)一定算法來(lái)計算返回的編碼圖案的畸變來(lái)得到物體的位置和深度信息。
相對于TOF，結構光的功耗較低，因為它只需要投射一小塊區域就可以滿(mǎn)足要求。它的分辨率和精度都高于TOF，且成本也比TOF低。相比雙目結構光，單目結構光的基線(xiàn)可以做得較小，方便布置在車(chē)內環(huán)境中。并且它在低光照條件下仍然可以使用，更適合車(chē)內環(huán)境。
2.4 OMS視覺(jué)方案
在智能座艙內部的感知系統中，OMS發(fā)揮出巨大的作用和優(yōu)勢。在語(yǔ)音識別之外，多模態(tài)識別對視覺(jué)感知的需求越來(lái)越高。其中，增加了深度信息的手勢識別，人臉面部表情識別，情緒識別，口語(yǔ)識別等功能將給車(chē)載AI助手賦予更高的智能，提升了智能座艙的用戶(hù)感受度，給予了良好的體驗。
對上述感知攝像頭方案進(jìn)行比較，除了不帶深度信息的單目RGB+IR之外，其余3種都是深度相機的可選項。
雙目結構光+RGB方案，最大的問(wèn)題在于實(shí)現算法需要很高的計算資源，導致實(shí)時(shí)性很差，而且基本跟分辨率，檢測精度掛鉤。也就是說(shuō)，分辨率越高，要求精度越高，則計算越復雜，同時(shí)，純雙目方案受光照，物體紋理性質(zhì)影響。所增加的RGB攝像頭只有1路，主要用于與深度圖的對比顯示。
TOF方案，由于硬件條件限制，其分辨率較低，感知精度低于結構光和雙目立體方案。需要多點(diǎn)激光發(fā)射，硬件成本高，但是它的算法復雜度低，實(shí)時(shí)性高，可達120幀率，并且硬件計算資源需求較低。
單目結構光方案，目的就是為了解決雙目中匹配算法的復雜度和魯棒性問(wèn)題而提出，該方案解決了大多數環(huán)境下雙目的問(wèn)題。但是，在強光下，結構光核心技術(shù)激光散斑會(huì )被淹沒(méi)，因此，在陽(yáng)光強烈的時(shí)候，可能會(huì )失效。
三、DMS
DMS(Driver Monitor System)駕駛員監測系統的簡(jiǎn)稱(chēng)。指在駕駛員行駛過(guò)程中，全天候監測駕駛員的疲勞狀態(tài)，危險駕駛行為等。在發(fā)現駕駛員出現疲勞，打哈欠，瞇眼睛，抽煙，接打手持電話(huà)等行為后，DMS系統及時(shí)的對此類(lèi)行為進(jìn)行分析，并進(jìn)行語(yǔ)音和燈光等提示，起到警示駕駛員，糾正錯誤駕駛行為的作用。
由于DMS主要用于駕駛員異常行為的監測，因此它主要屬于A(yíng)DC自動(dòng)駕駛域，而不屬于CDC智能座艙域。但是DMS一般安裝在艙內A柱下方，直接面對駕駛員的面部，因此也可以算入智能座艙內部的攝像頭之一。
DMS一般采用2MP的紅外攝像頭，無(wú)需采用RGB工作模式。它所拍攝的畫(huà)面，需要讓“機器”能夠看得清，讓AI算法對駕駛員的狀態(tài)分析準確；而無(wú)需讓“人”看得舒服。因此，DMS只要求到2MP的像素分辨率即可，并且需要紅外補光攝像頭，保證在任何光照條件下都能夠讓機器看清楚駕駛員的面部特征。
需要注意的是，DMS和OMS都具有紅外補光燈，因此需要設計專(zhuān)門(mén)的紅外燈同步信號，確保DMS和OMS的補光燈不能同時(shí)工作，以避免產(chǎn)生過(guò)曝現象。
DMS感知算法的進(jìn)一步提升，還包括眼動(dòng)跟蹤，面部表情，情緒監測等。與人工智能助手相配合的多模態(tài)識別，還將包含口型檢測等進(jìn)一步的AI識別算法得到應用。
四、行車(chē)記錄儀
車(chē)載DVR，即Digital Video Recorder，也正是行車(chē)記錄儀。在DVR的功能當中，分為車(chē)載前裝DVR和后裝DVR。后裝DVR一般是獨立的行車(chē)記錄儀設備，它使用音視頻編碼技術(shù)，將DVR自帶的攝像頭數據進(jìn)行轉換和壓縮，保存在DVR的存儲設備中。由于后裝設備無(wú)需滿(mǎn)足車(chē)規標準，在汽車(chē)出廠(chǎng)時(shí)也不包含此設備，需要在汽車(chē)配件市場(chǎng)進(jìn)行后期安裝，因此它可以采用消費級的電子芯片，其可靠性也遠遠達不到車(chē)規級的要求。
前裝DVR則需要滿(mǎn)足車(chē)規級標準，在汽車(chē)出廠(chǎng)時(shí)就已經(jīng)安裝完畢，它的使用年限和可靠性都需要按車(chē)規電子的標準來(lái)要求。
通常，前裝DVR可以無(wú)需設置單獨的攝像頭，而是直接復用ADAS自動(dòng)駕駛域的攝像頭即可。一般來(lái)說(shuō)，DVR可以保存前向廣域攝像頭(FOV達到120°)+SVC 360環(huán)視攝像頭的圖像數據。為了滿(mǎn)足白天+黑夜的數據記錄要求，以及滿(mǎn)足進(jìn)出隧道等攝像頭高動(dòng)態(tài)范圍識別要求，前向DVR攝像頭和SVC環(huán)視都要求滿(mǎn)足HDR(High Dynamic Range)的要求。因此，必須要求攝像頭支持HDR模式，ISP也要求支持HDR模式。
五、360環(huán)視
SVC(Surround View Cameras)即環(huán)視攝像頭，它一般布局在車(chē)頭(前向)，車(chē)尾(后向)，左后視鏡(左向)，右后視鏡(右向)。SVC是多攝像頭系統，允許駕駛員擁有360度視野，實(shí)時(shí)查看車(chē)輛周邊環(huán)境。此系統通過(guò)顯示圖像合成算法，將多個(gè)攝像頭的視角融合，得到在高處環(huán)視車(chē)輛的“上帝視角”。
SVC 同樣主要屬于A(yíng)DC自動(dòng)駕駛域，因為對于泊車(chē)輔助系統來(lái)說(shuō)，需要SVC攝像頭來(lái)幫助感知泊車(chē)的停車(chē)位和周邊環(huán)境。因此，SVC 360環(huán)視攝像頭也被稱(chēng)為Parking Assistance Camera。
SVC攝像頭具有如下幾個(gè)特點(diǎn)：
六、流媒體后視鏡
6.1 法規
CMS(Camera Monitor System)即流媒體后視鏡。CMS是用電子方式取代傳統的玻璃鏡面倒車(chē)鏡，它有很多個(gè)名字，有叫電子側視鏡，虛擬倒車(chē)鏡，電子倒車(chē)鏡， 電子取代鏡等，ISO 國際標準組織稱(chēng)其為攝像頭監控系統，即 Camera Monitor System。
奧迪 e-tron 在 CMS 系統搭載了兩個(gè) 7 英寸、1280x1080 的 OLED 屏幕。據稱(chēng)是 OLED 屏響應速度快大約 100 毫秒。奧迪表 示，外側攝像頭系統有助于將阻力系數從美國版的 0.28 提高到 歐洲版的 0.27。對于純電動(dòng)汽車(chē)來(lái)說(shuō)，在高速公路上，這個(gè)微小的差別可以增加 3 英里的續航里程。這個(gè)非規則形狀的 OLED 屏成本極高，且角度略低，容易導致駕駛員分心，下一代奧迪很有可能改回標準矩形，放在 A 柱附近。
目前全球只有日本和歐洲的法規允許使用電子后視鏡系統代替玻璃視鏡。歐洲法規方面主要有 UN ECE R46-2016《關(guān)于間接視野裝置及安裝間接視野裝置車(chē)輛認證的統一規定》和 ISO 16505-2019《攝像頭監視系統的人體工程學(xué)和性能方面的要求和試驗程序》 。還有一個(gè)法規 IEEEP 2020 Standard for Automotive System Image Quality（車(chē)載相機圖像質(zhì)量標準）， IEEEP2020 希望規范是車(chē)上的所有的攝像頭圖像質(zhì)量相關(guān)的測試和問(wèn)題。無(wú)論是人類(lèi)視覺(jué)應用，還是計算機視覺(jué)應用都在其范疇。并且其主要規范的就是攝像頭成像系統的圖像質(zhì)量。
目前CMS還需要專(zhuān)用的攝像頭(HDR)，傳輸通道，以及顯示屏。攝像頭分辨率和幀率一般最高只能達到2MP 60fps或者4MP 30fps，且成本相當高昂，在實(shí)用性上還有一定的差距。
最新的中國國標GB 15084-2022已經(jīng)于2023-07-01生效，允許汽車(chē)安裝流媒體后視鏡，其中包括各種I，II，III類(lèi)鏡。一圖讀懂強制性國家標準GB 15084-2022《機動(dòng)車(chē)輛 間接視野裝置 性能和安裝要求》
6.2 CMS性能要求
對于乘用車(chē)來(lái)說(shuō)，首先需要區分I類(lèi)鏡和III類(lèi)鏡的區別，這個(gè)十分重要。
I類(lèi)鏡，也稱(chēng)為電子內后視鏡，它主要是利用后置攝像頭，將Camera拍攝到的視頻流傳輸到車(chē)內中央的后視鏡上進(jìn)行顯示。而III類(lèi)鏡，也稱(chēng)為電子外后視鏡，它主要用于替代車(chē)身左右側外部后視鏡，將安裝在車(chē)身兩側向后觀(guān)察位置的攝像頭視頻流顯示在車(chē)內顯示屏上。
在GB15084-2022中，對CMS的性能提出了非常具體的要求，并提出了檢測標準：
1. 亮度調節：監視器的亮度應能根據環(huán)境條件手動(dòng)或自動(dòng)調節。
2. 方向均勻性：為了確保駕駛員在預期的不同方向觀(guān)察顯示屏時(shí)，顯示屏具有足夠的可見(jiàn)性，限制從不同方向觀(guān)察的圖像亮度衰減，并規定了方向均勻性。
3. 亮度對比度復現：為了確保CMS在不同使用環(huán)境條件下的圖像質(zhì)量以及可辨識的車(chē)外視野，規定了亮度對比度復現的要求，分別選取陽(yáng)光直射，散射環(huán)境光，日落條件，夜間條件等4種典型場(chǎng)景來(lái)評估。
4. 灰度與色彩還原：CMS應能在顯示屏上顯示至少8個(gè)不同的灰度等級；在色彩還原度測試上，按ISO16505規定的方法進(jìn)行試驗，并滿(mǎn)足規定的要求。
5. 彌散：為了避免強光源照射攝像機鏡頭而在顯示屏上形成光芒狀的亮條對駕駛員產(chǎn)生干擾，規定了彌散要求，限制彌散亮度值，不大于引起彌散的光源影像最大亮度值的10%。
6. 光暈和眩光：按ISO16505規定的方法進(jìn)行試驗，光暈和鏡頭眩光區域應不大于所顯示影像面積的25%。
7. 點(diǎn)光源：為了在夜間行車(chē)時(shí)駕駛員能夠明確區分車(chē)后機動(dòng)車(chē)的兩個(gè)前照燈，規定了點(diǎn)光源的要求。點(diǎn)光源發(fā)現系數應不小于2.7，或點(diǎn)光源對比度系數應不小于0.12。
8. 銳度，景深，幾何畸變：為了使駕駛員觀(guān)察車(chē)外視野內目標的識別能力，需要規定銳度，景深，幾何畸變的測試標準，并按ISO16505規定的方法進(jìn)行驗證。
9. 幀率：CMS的幀率至少為30fps，在低光照條件或車(chē)輛低速行駛時(shí)可以降低到15fps。
10. 成像時(shí)間和系統延遲：顯示器成像時(shí)間應小于55ms，車(chē)外事件發(fā)生時(shí)到車(chē)內監視器輸出圖像的時(shí)間為系統延時(shí)，不應低于200ms。
根據上述國標的測試標準來(lái)看，CMS要滿(mǎn)足汽車(chē)前裝的要求，需要從攝像頭，控制芯片，ISP處理，顯示屏等一系列環(huán)節進(jìn)行系統分析，在光學(xué)，機械，電子等方面進(jìn)行軟硬綜合一體的設計，才能得到滿(mǎn)意的結果。
6.3 CMS系統架構
CMS系統有“MCU方案”和“SOC方案”兩種配置——前者功能簡(jiǎn)單、價(jià)格低、延時(shí)低；后者功能豐富、價(jià)格高、延時(shí)高。CMS系統核心的處理任務(wù)是ISP，如果只是將CMS攝像頭采集到的圖像用來(lái)做顯示的話(huà)，就只需要MCU即可；另外可以在經(jīng)過(guò)ISP處理后的圖像基礎上加一些應用層的功能（例如BSD、開(kāi)門(mén)預警等功能），但是需要加SOC。前者M(jìn)CU方案功能簡(jiǎn)單，省去了SOC核心板成本，價(jià)格更低；后者SOC方案價(jià)格更高，由于新增一些功能處理，系統延時(shí)也相較于前者更高。MCU方案中ISP處理可以放在顯示屏里（屏廠(chǎng)Tier1偏好的方式），也可以放在攝像機里（攝像機Tier1偏好的方式）。對于MCU方案，CMS系統負責ISP的處理器可以放在屏幕里，也可以放在攝像機中，這種方案沒(méi)有獨立的CMS控制器。對于SOC方案，可以放在獨立的CMS控制器中，未來(lái)也可以被集成到智能駕駛域控制器或者智能座艙域控制器中。
上述不同的方案對應了不同的系統成本，簡(jiǎn)要介紹2種不同的系統架構方案：
1、處理芯片ISP集成在屏幕，與相機模組分離：顯示屏供應商希望把整個(gè)處理囊括在屏里，也就是把基于顯示屏為處理核心的模塊嵌入到屏的板子上，來(lái)處理前端相機傳輸進(jìn)來(lái)的圖像信息，來(lái)配合整個(gè)屏的模組模塊化設計。。
2、處理芯片ISP與相機集成在外耳，與艙內顯示屏分離：做耳鏡也就是攝像頭的供應商，他們希望把處理器嵌入到兩側耳鏡當中，來(lái)適配艙內不同屏的廠(chǎng)家。這種方案可以使得整個(gè)系統小型化，在外耳鏡端器件可以用小的封裝在長(cháng)條形或者半圓形的兩側耳鏡模塊當中。攝像頭采集到的Rawdata傳輸進(jìn)來(lái)可以在耳鏡端直接做ISP處理，然后在艙內顯示屏中做顯示。
3、處理芯片ISP集成在智能座艙域控制器CDC，Camera復用：在這種方案下，將以中央計算平臺為中心，利用智能座艙SOC芯片強大的ISP處理能力，同時(shí)復用車(chē)載攝像頭輸入原始raw data，實(shí)現成本最優(yōu)。
在本方案中，攝像頭為原車(chē)載ADAS域攝像頭，ISP使用了中央計算平臺中的智能座艙SOC，新增器件只有顯示屏，可見(jiàn)在三種方案中成本最佳。但該方案對于III類(lèi)鏡所需的功能安全要求是一個(gè)挑戰，因此還未能達到立即商用的程度，可以作為未來(lái)發(fā)展的一個(gè)方向進(jìn)行研究。
參考文獻
1. 深度相機—TOF、RGB雙目、結構光原理及優(yōu)勢對比
2. 汽車(chē)電子后視鏡行業(yè)分析：法規落地，汽車(chē)后視鏡百年變革正式開(kāi)啟
3. 電子外后視鏡開(kāi)閘后的嚴峻挑戰
轉自汽車(chē)電子與軟件
