5月7日消息，繼向ARCore添加深度API之后，谷歌繼續使用谷歌Pixel 4智能手機探索實時3D深度感測。
據悉，谷歌開發了實時紅外（IR）有源立體深度傳感器uDepth，旨在設計精確且具有度量的標準。這個想法是為了在Pixel 4手機的面部解鎖功能下在高速和黑暗中工作。此外，它可以幫助身份驗證系統識別用戶，同時還可以防止欺騙攻擊，它還能夠對照片進行事后潤色、基于深度的場景分割、背景模糊、人像效果和3D照片。該系統既生成30Hz的深度流，又生成平滑的、經過后期處理的深度圖，以用于攝影后捕獲效果，例如用于社交媒體的散景和3D照片。
為了實現這一目標，Google訓練了一種端到端的深度學習架構，該架構增強了uDepth的原始數據，使用RGB圖像、人物分割和原始深度的組合推斷出完整、密集的3D深度圖。此外，該公司還將Pixel 4手機與一個體積捕捉系統的燈光和攝像頭同步，該系統可以生成接近真實感的人體模型。該系統由一個測地線球體、331個定制彩色LED燈、一組高分辨率攝像機和一組定制高分辨率深度傳感器組成，它有助于生成結合真實圖像和從Pixel 4攝像機視角合成渲染的訓練數據。
uDepth軟件主管Michael Schoenberg和uDepth硬件/系統主管Adarsh Kowdle在一個描述該技術的博客上寫道：“當一部手機出現嚴重下降時，它可能導致立體攝像機的出廠校準偏離攝像機的實際位置。為了確保在實際使用中獲得高質量的結果，uDepth系統是自校準的。計分程序評估每個深度圖像是否有誤校準的跡象，并建立對設備狀態的信心。如果檢測到校準錯誤，則從當前場景重新生成校準參數，這是一條由特征檢測和對應、亞像素細化（利用點輪廓）和束調整組成的管道。”
雖然智能手機的面部解鎖功能可能還與商業和專業領域無關，但這項技術的進步展示了深度傳感器在未來3D應用中的潛力。深度感測為開發人員和用戶提供了確定場景的3D信息的能力，在智能手機上使用深度傳感器不僅可以幫助攝影，還可以幫助增強現實、3D掃描應用程序等。與其隨身攜帶一臺大型3D手持掃描儀，不如將它放在口袋里。
