三維(3D)技術是一項重大的科學突破。
這是一種深度感應技術,可增強相機的面部和物體識別能力。捕獲現實世界對象的長度,寬度和高度的過程比使用多種不同技術所能實現的更加清晰和深入。3D技術在感知和處理日常活動方面提供了獨特的進步。
3D真正改變了游戲規則,因為制造商爭先恐后地將3D傳感技術融入到諸如手機之類的消費產品中。
北京時間2020年10月14日凌晨,蘋果正式發布了iPhone 12系列四款機型,跟之前爆料的一樣,iPhone 12 Pro和iPhone 12 Pro Max都加入了此前iPad Pro曾率先采用的基于dToF技術的激光雷達掃描儀,這也意味著蘋果在ToF技術應用上的進一步加碼,而此舉或將加速引爆整個ToF市場。
3D傳感技術使用光學技術模仿人類視覺系統,從而促進了增強現實,人工智能(人工智能)和物聯網(IoT)的出現和集成。這在消費者應用中創造了獨特的機會。
推動3D傳感進步的關鍵技術
3D傳感的發展與實現需要開發高質量傳感器和高效算法。例如,垂直腔面發射激光器(VCSEL)正在取代LED或邊緣發射激光二極管,成為3D傳感的主流光源技術,因為它們簡單、光譜窄、溫度穩定。
許多推動3D傳感進步的關鍵技術都有其優點和缺點。立體視覺、結構光模式和飛行時間是3D傳感的三種技術。這三種技術都有其共同的用例和各自的優勢。
●立體視覺
立體視覺技術的結構來源于人眼捕捉任何圖像的方式。兩個攝像頭被放置在稍微偏移的位置(就像人眼一樣)。然后,利用軟件將兩幅捕捉到的圖像合并成一張圖片。不同的攝像頭位置所產生的微小差異,就形成了立體,即3D畫面。
在輔助立體視覺中,部署了一個激光投影模塊,它在物體或場景上投射出圓點,幫助攝像機更容易聚焦。捕捉到的圖像經過處理后,會呈現出深度效果。
例如,安裝在門口等處用于監控人員行動的子彈攝像機就采用了這種技術。美國FLIR Systems公司生產的立體視覺攝像機系統就采用立體視覺技術。
●結構化光型
結構化光型3D傳感的工作原理是:先由線、方塊(周期性結構)或點組成的光圖案通過激光投影模塊投射到物體或場景上,再通過反射光形成一個扭曲的圖案。然后,來自目標的反射光被安裝在投影模塊上的三角形攝像機捕捉,再通過投影模塊和攝像機之間的三角測量實現的圖案變形有助于獲取物體或場景的三維坐標。
最常見的例子是iPhone X中使用的真深度攝像頭,這種技術的前置攝像頭增加了一個紅外發射器,可以將超過3萬個已知圖案的點投射到用戶的臉上。然后,這些點會被專門的紅外相機拍攝下來進行分析,從而將分析后的圖像用于訪問手機。
●飛行時間(ToF)
3D ToF直接由投影模塊發射短光閃光,再由攝像模塊捕捉,并與系統集成。計算出光從發射器到物體再到相機所需的時間,然后用坐標對數據進行處理,生成三維圖像。
在某些情況下,相位差被用來計算被檢測物體的深度和運動。光源在整個工作溫度范圍內的波長穩定性對保持跟蹤精度至關重要,因為通常在接收路徑中應用濾波器以最小化接收信號中的噪聲。
飛行時間相機傳感器可用于物體掃描、測量距離、室內導航、避障、手勢識別、跟蹤物體、測量體積、反應式高度計、3D攝影和增強現實游戲等。
3D傳感技術的應用
在過去的10年里,消費電子市場經歷了3D深度感應技術的緩慢應用。該技術的首次商業應用是在游戲領域。
隨著發展,3D深度感應技術在3D成像和檢測領域的適用性有所擴大。移動設備能夠以三維而非二維的方式捕捉圖片,這也是促使三維傳感技術應用性不斷增強的關鍵因素之一。
與3D傳感相比,虹膜掃描是一種更簡單的技術,它在視頻圖像上使用數學模式識別技術。它可以讓攝像模塊掃描你的眼睛,將虹膜與文件上的圖像進行對比,并以類似過去指紋的方式確認用戶的身份。虹膜掃描技術應用于門禁控制、汽車安全和移動支付等場景中,三星Galaxy S9和S9+就嵌入了虹膜掃描技術。
而由于對虛擬化解決方案的需求不斷增加,3D傳感技術在機器人行業的適用性已經擴大。這項技術越來越多地應用于消費類、汽車、無人機和工業應用。
1、消費性電子產品的應用
手勢應用將人類的動作(臉部、手部、手指或全身)轉化為符號指令,以指揮游戲機、智能電視或便攜式計算設備。
在游戲行業中,3D傳感的使用非常顯著。3D傳感技術在虛擬現實游戲中的使用,幫助玩家僅僅通過手勢控制游戲,而不需要與游戲機有任何物理接觸。許多這些用例都依賴于智能軟件,特別是在涉及到由機器學習驅動的圖像識別情況時。智能手機公司正專注于在其設備中加入3D傳感器。
第一代AR依靠標準后置攝像頭,已經開始影響社交媒體和電子商務。它允許社交媒體用戶創造有趣的3D效果,并幫助宜家等家具制造商的客戶在購買家具之前虛擬地放置和布置家具。
計算機視覺信號處理、機器學習和ToF等技術的結合,有助于電子產品或其功能的創造。但3D傳感技術在消費電子行業面臨著三個明顯的挑戰:
需要精確測量設備與用戶之間的距離。
需要具體解釋ToF或結構光的參數,同時進行面部或虹膜識別的算法。
與使用時消耗的電量有關的缺點,如電池壽命。
2、汽車行業的應用
3D傳感技術可以在檢測到汽車附近的人和物體時,向駕駛員發出警報,從而提高安全性;它還有助于輔助駕駛,比如該技術被長途司機用來監控自己的行為:卡車內部的一個裝置會檢測到司機的動作,并發出警告。
輔助駕駛/自動駕駛輔助系統(AD/ADAS)集成了3D傳感技術,在增強駕駛體驗的同時,提高了安全性。AD主要采用ToF傳感器進行檢測和輔助動作。
3D傳感技術還有助于提高駕駛者的舒適性和便利性,為他們提供訪問信息娛樂控制、駕駛艙控制和換檔控制等功能。意法半導體開發的ToF 3D深度傳感器在非手勢應用方面有多種用途。
汽車行業在使用ToF深度測距相機方面走在了無人機行業的前面,而在無人機中使用3D傳感技術仍在不斷發展。
3、無人機中的應用
一些技術公司將3D傳感器、軟件和算法結合起來,以提供一個全面的解決方案。例如,無人機可以結合ToF、激光雷達、立體視覺和超聲波傳感器,使其能夠在自主飛行模式下與避撞系統一起工作。
下面列出了3D傳感在無人機中的各種應用:室內導航、手勢識別、對象掃描、避免碰撞、追蹤對象、測量體積、監視目標區、計數物體或人、快速精確的目標距離讀數、增強現實/虛擬現實、估計物體的尺寸和形狀、
增強型3D攝影
4、應用于電子小工具
蘋果、三星和索尼等各大電子巨頭都在他們的小工具中加入了3D傳感技術,以提供最獨特的用戶體驗。
比如,目前一種可以透過墻壁捕捉圖像的3D成像傳感器正在開發中。這一功能可能是家庭安全系統的重大突破,因為個人可以從遠處監控家中的不同房間。該傳感功能可針對有線電視公司、寬帶和智能家居領域。由于傳感器能夠監控一個房間內幾個人的動作和活動,因此有望確保住宅的絕對安全。該功能可能有助于減少有線電視公司提供的設備的安裝周轉時間。
結語
3D傳感旨在將設備與現實世界連接起來,以提升終端用戶的體驗。
3D傳感在智能手機中的應用越來越多,一方面推動了手機的小型化、功耗和成本的降低,另一方面也推動了性能的提升。這也使得3D傳感在其他終端應用中的擴大使用,如汽車和工業機器人。
未來幾年,這些應用對3D傳感的需求或將是一種硬需求,因為這些應用都有安全或保障的成分,而這正是3D傳感的優勢所在。