借助機器人的本體感覺對足式運動進行研究已有數十年。在以往的研究手段中，研究人員往往采用基于模型的方法開發神經網絡控制器。但是，這類方法無法在那些現實世界里沒有見過的環境中得到應用。

近年來，為了獲得更好的泛化性和魯棒性，研究者們開始采用無模型強化學習，在模擬中訓練控制器，然后將學習到的策略直接轉移到真實的機器人上。

那么，如何在無需遙控器操控的條件下，讓四足機器人實現在復雜地形上自由流暢地行走呢？

近期，來自美國加州大學圣地亞哥分校和麻省理工學院的研究團隊，開發了一個可以提高機器人 3D 感知能力的模型，能夠支配四足機器人在各種困難地形場景下完成自動化行走，比如爬樓梯、踩石頭、在樹林中走路等。

四足機器人在樹林中走路（來源：Github）

該四足機器人的額頭上裝有前置的深度攝像頭，該攝像頭向下傾斜的角度，可以幫助該機器人前面的兩足，根據所看到的前方場景和腳下地形做出正確的行動決策。但其后面的兩足必須先記住前面看過的內容，才能確保在經過時踩在正確的位置上。

所以，這中間存在一個重要的問題，即需要一個短期的 3D 環境記憶體，能夠使得機器人的四足都對三維環境有良好的感知和模擬。

為此，該團隊構建了一種神經體積記憶（Neural Volumetric Memory，NVM）架構，可以先借助自監督方法對視頻幀中的三維特征進行學習，再用幾何變換把這些三維特征投影到同一個空間下面，最后通過模型將所有的特征信息融合在一起，讓機器人對它所處的 3D 環境建立起短期記憶。

其中，需要說明的是，將上述帶有特征的全部視覺信息綜合在一起，可以幫助四足機器人記住其看到的內容，以及足部之前做過的動作，并利用這些記憶指導它下一步行動。這也表明，NVM 能為機器人執行決策提供可靠的 3D 結構信息，并為足式機器人利用視覺進行觀察開辟新的可能性。

2023 年 3 月，相關論文以《用于視覺運動控制的神經體積記憶》（Neural Volumetric Memory for Visual Locomotion Control）為題發表在CVPR上，并被選為Highlight論文。