自動駕駛汽車是一種對安全性有極高要求的人工智能應用，但軟件都有漏洞，尋找那些可能導致致命危險的漏洞是至關重要的。來自弗吉尼亞大學和哥倫比亞大學的幾位研究者提出了一種自動測試深度神經網絡自動駕駛汽車的方法 DeepTest，可以對自動駕駛系統進行更加全面的測試評估。

深度神經網絡（DNN）近來的進展推動了 DNN 驅動的自動汽車的發展，這些汽車使用了相機、激光雷達等傳感器，無需人類干預也能自己駕駛。包括特斯拉、通用、福特、寶馬和 Waymo/谷歌在內的最主要的制造商都正在研發和測試不同類型的自動汽車。包括加利福尼亞、德克薩斯和紐約在內的美國多個州的立法者已經通過了新的法規，以便加速在他們的道路上測試和部署自動汽車的進程。

但是，盡管 DNN 成績斐然，但就像傳統的軟件一樣，往往會表現出不正確的或非預期的極端案例行為，這些行為可能會導致潛在的致命撞車。現在已經出現了一些涉及到自動駕駛汽車的車禍，包括一起出現了死亡的事故。對 DNN 驅動的汽車的大多數已有的測試技術都嚴重依賴于人工收集的不同駕駛條件下的測試數據，隨著測試條件的增多，這種收集方法的成本也會變得非常高昂。

在這篇論文中，我們設計、實現和評估了 DeepTest。這是一個系統性的測試工具，可用于自動檢測 DNN 驅動的汽車可能導致致命碰撞的錯誤行為。首先，我們的工具經過設計可以自動生成測試案例，這種生成利用了駕駛環境的真實變化，比如雨、霧、光照條件等。通過生成能最大化激活神經元數量的測試輸入，DeepTest 系統性地對 DNN 邏輯的不同部分進行了探索。在 Udacity 自動駕駛汽車挑戰賽中三個表現最好的 DNN 上，DeepTest 發現了不同現實駕駛條件（比如模糊、雨、霧等）下的數千種錯誤行為，其中很多都可能導致致命碰撞。

表 1：涉及自動汽車的真實事故案例

圖 1：DeepTest 在 Chauffeur DNN 中找到的一個危險的錯誤行為

圖 2：一個基本的自動駕駛汽車 DNN 以相機、光檢測和測距傳感器（激光雷達）、紅外傳感器為輸入，然后輸出轉向角度、剎車決策和加減速決策。這里給出的 DNN 本質上是對的功能的建模，其中 θ 表示邊的權重，而 σ 是激活函數。右邊給出的是單個神經元所執行的計算的詳情。

圖 3：（上圖）一個簡化的 CNN 架構，其中輸入圖像的左上部分是一個卷積核。然后同樣的過濾器（帶有相同權重的邊）會在整個輸入空間上移動，然后計算邊的權重和互連的神經元的輸出之間的點積。（下圖）一個簡化的 RNN 架構，它的隱藏層中存在循環。右邊展開的版本展示了這種循環可以如何讓該 RNN 在處理了一個輸入序列（即圖像）之后，根據這些圖像預測出要轉向的角度。

算法 1：用于結合圖像轉換的貪婪搜索，以增加神經元覆蓋率

表 3：（左圖）用于評估 DeepTest 的 DNN 的細節。（右圖）這個 DNN 的輸出是調整自動駕駛汽車向前行駛的轉向角度。Udacity 自動駕駛汽車的最大轉向角度為 +/- 25 度。

圖4：由 DeepTest 使用合成圖像檢測到的錯誤行為的示例圖。原始圖像中的箭頭用藍色表示，而合成圖像中的箭頭是紅色的。