據外媒報道，華盛頓大學（UW）的信息處理實驗室（Information Processing Lab，IPL）開發出基于攝像頭和雷達的融合傳感器盒，可以像行車記錄儀一樣安裝在車輛中。目前，基于雷達的感知解決方案尚未實現商業化。
圖片來源：華盛頓大學
IPL研究人員表示，除了純攝像頭視覺（例如特斯拉的FSD）和激光雷達的光檢測（例如Waymo的自動駕駛出租車）之外，基于雷達的檢測和跟蹤更具成本效益和魯棒性。
該研究項目由華盛頓大學ECE教授Hwang Jenq-neng負責，思科（Cisco）贊助， IPL的研究人員開展。2019-2022年在華盛頓大學擔任項目負責人的Yizhou Wang博士表示，即使在暴雨和大雪等極端天氣條件下，基于雷達的感知也更加穩健。
與需要大量人工標注和資本投資來訓練AI模型的特斯拉純攝像頭視覺相比，Wang教授稱雷達更穩健且更具成本效益，因為它可以測量車輛與物體之間的 3D距離，檢測運動物體的速度，并能穿透非金屬材料，在惡劣天氣條件下獲得比激光雷達更清晰的圖像。鑒于2D攝像頭感知無法測量距離，分辨率非常高并能顯示物體準確相對位置的激光雷達無法檢測速度。
強大的聯邦AI模型
Wang的研究團隊沒有使用激光雷達來構建AI模型的基礎，也沒有使用大量人力來進行注釋，而是使用分別從攝像頭和雷達傳感器收集的數據作為地面實況來訓練每個網絡，因此能夠產生弱監督的聯邦AI學習模型。
該融合感知解決方案基于攝像頭的經典視覺圖像和雷達的3D信息，而不是人類的監督標注，且聯合AI訓練使該解決方案比其他解決方案更強大。
負責為該項目部署融合傳感器的碩士生Andy Cheng表示，該融合傳感器獨立運行，因此每個系統也可作為備份系統（也稱為冗余）。
例如，當有暴風雪時，雷達網絡的性能優于攝像頭網絡，并且可以單獨完成檢測和跟蹤，因為雷達網絡已通過聯邦學習進行了適當的訓練。
融合傳感商業化的局限性
然而，根據Wang和Cheng的說法，由于基于雷達的檢測解決方案仍存在局限性，因此重建3D雷達圖像，以及預處理雷達生成的包括幅度、相位和相位差等原始數據仍然面臨挑戰。
預處理會減慢整個系統的速度，如果系統要在實際流量中應用，任何延遲都可能會導致事故發生。Wang教授表示有兩種方法可以減少處理所需的時間。
Wang表示：“首先，原始數據的可視化可以寫入硬件，這需要更高的計算能力和超低延遲。其次，雷達生成的原始數據可以通過一種新的、更強大的神經網絡進行可視化，可以直接將其用作輸入。”最終，雷達檢測和攝像頭檢測的綜合結果將使自動駕駛更加安全。
Wang指出，自動駕駛在安全性上不能妥協，基于融合傳感器的感知方案比單純的視覺系統更能保障駕駛者的安全。相對價格低廉并提供3D信息的雷達在自動駕駛汽車領域潛力巨大。
