3D視覺是一個多學科相融合的技術，可以總結為：計算圖形學+計算機視覺+人工智能=3D視覺。3D視覺技術是通過3D攝像頭采集視野空間內每個點位的三維座標信息，通過算法復原獲取三維立體成像，不會輕易受到外界環(huán)境、復雜光線的影響，與2D成像技術相比更穩(wěn)定，體驗感更強，安全性更高。3D傳感器作為3D視覺的眼睛，通過多個攝像頭與深度傳感器的組合能夠獲得物體三維位置及尺寸等數據，實現三維信息采集。目前3D視覺傳感器主要有雙目相機、結構光相機及TOF（Time of flight）相機。·3D結構光技術原理：采用紅外光源，發(fā)射出來的光經過一定的編碼投影在物體上， 這些圖案經物體表面反射回來時，隨著物體距離的不同會發(fā)生不同的形變。圖像傳感器將形變后的圖案拍下來，基于三角定位法，通過計算拍下來的圖案里的每個像素的變形量，來得到對應的視差，從而進一步測算深度值。·TOF工作原理：采用紅外光源發(fā)射高頻光脈沖到物體上，然后接收從物體反射回去的光脈沖，通過探測光脈沖的飛行（往返）時間來計算被測物體離相機的距離。TOF目前市場上有兩種主流方案 dTof和iTof。行業(yè)人士認為，未來，dtof會逐漸取代itof方案，因為dtof在很多關鍵性能方面對于itof都有絕對優(yōu)勢，如分辨率，精度對距離感知不明顯，超低功耗，抗干擾能力強，標定方式簡單。但其技術壁壘較高，系統(tǒng)集成度高，供應鏈資源少。·雙目立體視覺技術原理：通過從兩個視點觀察同一物體，從而來獲得同一物體在不同視角下的圖像。通過三角測量原理來計算圖像像素間的位置偏差（視差）來獲取物體的三維圖像，過程跟人類眼睛的工作原理相似。在雙目立體視覺系統(tǒng)的硬件結構中，通常采用兩個攝像機作為視覺信號的采集設備，通過雙輸入通道圖像采集卡與計算機連接，把攝像機采集到的模擬信號經過采樣、濾波、強化、模數轉換，最終向計算機提供圖像數據。
|
技術路線
|
雙目
|
結構光
|
ToF
|
|
立體雙目
（被動）
|
雙目結構光
（主動）
|
|
優(yōu)點
|
技術成熟、系統(tǒng)成本低、室內外有一定兼容能力
|
主動添加物理紋理、解決單一紋理環(huán)境問題、近距離中高精度、抗環(huán)境光干擾（半室外環(huán)境可用）
|
主動投影，適合弱光照使用、近距離(1米內) 毫米級精度 、功耗低
|
算法簡單、測距更遠、幀率高、光照影響小、不同距離精度變化小、兼容室內外動態(tài)場景
|
|
缺點
|
單一紋理環(huán)境無法識別、強暗光影響大、視覺匹配算法復雜
|
遠距離精度差、強光環(huán)境不適用
|
遠距離精度相對較差，隨著距離的拉長，投影圖案變大，精度也隨之變差，室外強光照不宜使用，強光干擾
|
功耗大、中等精度
|
隨著視覺技術逐步從2D向3D過渡，3D視覺傳感器以深度感知能力，在三維空間實時感應、目標物體精準識別、多重障礙檢測避障、智能決策及自動化引導等方面占據領先技術優(yōu)勢，目前已大批量應用在物流電商、自動化、制造業(yè)廠內物流、工業(yè)及服務機器人、商業(yè)等多元化場景，應用邊界不斷拓寬。
在移動機器人領域，3D視覺主要用于導航、避障以及末端物料識別、對接。準確感知復雜環(huán)境是移動機器人的首要任務。“環(huán)境”在這里包含多重含義，以無人叉車叉取托盤為例，既包含室內外不同光照強度的干擾、前方是否有障礙、行進路面是否空闊平坦，也包含環(huán)境有什么類型的物體、是否有人誤入需要減慢或暫停、前方托盤是空載還是滿載、滿載托盤的插孔位在哪里、又如何規(guī)劃叉取路線等。簡化邏輯就是，基于視覺感知的移動機器人準確識別周圍環(huán)境，要避開動靜態(tài)障礙物（避障），動態(tài)接近至到達目標物體（導航），并與目標物體正確交互（目標探測、定位識別）。在導航方面，視覺導航被認為是未來的主要方向之一。從技術的角度而言，當前應用較多的2D激光導航，只能檢測到固定平面的障礙物，對于高于或低于此平面物體都是其盲區(qū)，3D視覺技術則可以克服此缺點，能夠獲取現實三維場景完整的幾何信息，利用帶有深度信息的圖像來實現對于場景的精準的數字化，從而實現高精度的識別、定位、重建、場景理解等機器視覺的關鍵功能。專注于視覺導航移動機器人開發(fā)的藍芯科技表示，3D視覺SLAM無人叉車在多變場景、空曠環(huán)境中的應用優(yōu)勢大于2D激光SLAM機器人。“例如在地堆型倉庫，地堆貨物隨時都在變動，對采用激光SLAM方案的移動機器人而言，頻繁的進出庫、位置的時刻變化，意味著激光雷達掃描的輪廓時刻在變，要在不斷變化的環(huán)境中做到可靠定位是十分困難的事情。在大型空曠車間場景，車間內部鋼結構立柱間距較大，地面缺少其他固定參照物。激光SLAM機器人在這類場景下掃描的點云稀疏，定位的可靠性大大減弱。而視覺SLAM機器人通過搭載深度相機采集周圍環(huán)境圖像，采集的環(huán)境信息豐富，生成稠密點云圖，環(huán)境局部改變不影響機器人定位，因而擁有較高的場景適應性。”除性能外，從成本的角度來看，當前激光傳感器的價格要遠高于3D深度相機，視覺技術的應用正好契合了移動機器人廠商降成本的需求。市面上避障傳感器種類繁多，如：單線激光雷達、超聲波、碰撞條等。碰撞條通常作為最后一道暴力防撞措施；超聲波避障經常出現誤判；單線激光雷達存在較大盲區(qū)（只掃描二維平面內的障礙物，低于或高于激光的障礙物無法檢測，存在較大安全隱患）；3D視覺傳感器可彌補激光這一缺陷。目前移動機器人最佳避障方案應是3D視覺傳感器＋激光雷達，——3D視覺傳感器作為中短距離精確避障，激光雷達作為遠距離二維避障。因為TOF基本不存在盲區(qū)，所以目前用于AGV避障的3D視覺相機基本是TOF型的。圖漾科技3D TOF 智能工業(yè)相機TL460-S1-E1一些倉庫貨物放置環(huán)境復雜，人工/貨車放置托盤的位置不夠精確，導致無人叉車依靠傳統(tǒng)的機械限位或者單目相機識別的方式無法準確識別托盤，常常出現無人叉車對接托盤位置偏移角度較大，進而導致進叉失敗，叉車工作效率低下。依靠3D 視覺進行托盤圖像采集，結合相應圖像處理算法對叉車貨物托盤進行識別，并得到其位置與姿態(tài)坐標，智能調整進叉方向從而實現無人化智能托盤搬運，解決無人叉車對接托盤位置偏移角度較大的問題。同時，結合人工智能算法對托盤識別模型進行強化訓練和深度學習，可以進一步提升其識別叉車貨物托盤與跟蹤的準確性。導航、避障、末端識別對接……盡管都需要用到3D視覺技術，但由于各自的需求特性不同，對技術要求也會有一些差異。易福門相關負責人表示；“從細節(jié)上講，導航應用，最重要的是測距精度和幀率，避障應用，最重要的是FoV尺寸和幀率；末端識別應用，最重要的則是高測距精度和點云密度。”近幾年，伴隨著移動機器人對3D視覺技術需求的上升，針對不同應用的不同需求，為了更好的適應場景，3D視覺廠商門也針對性的推出了相應產品。作為工業(yè)自動化領域電子傳感器的領先制造商之一。易福門3D ToF相機自2017年開始在移動機器人行業(yè)逐漸滲透，隨后不斷深入，目前已與國內眾多移動機器人廠商達成合作，被廣泛應用于各大國內外機器人公司的AMR上，包括各種無人叉車，各種潛伏式、重載式AGV等。不論是室內還是室外用，避障導航還是末端識別對接，易福門都可提供非常完善的3D感知方案。圖漾科技是全球領先的3D機器視覺供應商，為工業(yè)和行業(yè)應用提供高性價比的3D工業(yè)相機和配套軟件方案。圖漾科技基于創(chuàng)新并擁有核心專利的3D視覺技術，基于雙目散斑靜態(tài)結構光和TOF技術平臺，現已推出FM/FS、FM-IX、PM/PS、TM/TL等四個產品系列、共30多個產品型號的量產產品矩陣，在移動機器人領域，圖漾主要提供3D ToF工業(yè)相機TM461-E2、TL460-S1-E1(內置AI邊緣算力)等產品。而除了傳感器廠商外，自主開發(fā)視覺傳感器的移動機器人廠商，通過實際應用不斷打磨迭代產品的移動機器人廠商，也開始將其視覺傳感器推向市場，如藍芯科技。2022年，藍芯科技開始將視覺產品部分獨立出來支持和賦能部分移動機器人公司。
|
企業(yè)
|
導航
|
避障
|
末端識別、對接
|
|
易福門
|
O3R222，采用940nm光源，可全天候工作，包括可以直接在陽光照射條件下使用，這幀率較高，可以一直工作在20 FPS，讓視覺里程計更加準確，回環(huán)檢測更加容易，可大幅提高局部場景的導航和定位能力。
|
O3R225，采用了940nm光源，可全天候工作，并且強化了FoV的角度，達到了105°*78°，是市面上FoV最大的3D ToF相機。兩臺O3R225可得到超過180°的3D視野，4臺O3R225可達到360°的3D視野，同時還可持續(xù)工作在20FPS。
|
O3D303或者O3R222，這兩款產品可提供非常高精度的點云，同時點云密度比較高，適合托盤或者貨物的位置和角度檢測定位。
|
|
圖漾科技
|
室內中遠距離：TM461-E2，0.1-10.0m測距范圍，深度視場角65°H * 50°V，在96.4 mm x 67.5 mm x 35.8 mm的緊湊體積內，集成了2K RGB分辨率+ VGA 深度分辨率的2路攝像頭及邊緣計算等功能，能夠實現實時精確的動態(tài)目標檢測及視覺導航避障功能。
室內外遠距離：TL460-S1-E1，基于索尼背照式ToF傳感器IMX556，毫米級測量精度，深度視場角62°H * 49°V，支持遠距離和室內外應用（室內9.5m，室外4m），內置地平線旭日X3M芯片提供等效5TOPS的本地AI算力，可實現高達30幀/秒的RGB-D圖像采集分析、實時圖像處理和機器學習等多功能。
|
|
藍芯科技
|
Eagle-V1：
視場角108°×80°，幀率30fps，定位精度達+／-5mm，可提供視覺定位SDK，支持移動機器人在復雜環(huán)境下的定位導航。已在AMR產品中成熟應用。
|
Eagle-M3：FOV109°×92°，抗環(huán)境光能力強，達150kLux，可提供避障SDK，支持移動機器人對懸空/低矮障礙物檢測，和動/靜態(tài)障礙物檢測。已在AMR產品中成熟應用。
Eagle-S1：FOV 114°×35°，體積小便于安裝，帶避障區(qū)域設置功能，直接輸出避障控制信號，使用方法完全兼容2D避障激光雷達，用于無人叉車叉齒避障。
|
Eagle-M4：體積小便于安裝，有多種FOV可選，抗環(huán)境光能力強，可提供托盤對接SDK，支持無人叉車對托盤的對接識別。已在AMR產品中成熟應用。
|
圖表：部分3D視覺企業(yè)面向不同場景應用的視覺傳感器產品
未來方向：更高分辨率、更快幀率、更好環(huán)境適應性
隨著移動機器人應用不斷深入，要讓機器人看見世界、看清世界、看懂世界，市場將對其感知能力提出了更高的要求，而3D視覺技術的發(fā)展正好契合了這種需求。圖漾科技相關負責人表示：“視覺傳感器技術的發(fā)展從早期的單點感應傳感器，到2D視覺傳感器，一直到現在3D視覺傳感器。3D視覺傳感器更接近于人眼的傳感原理，使得3D視覺傳感技術成為目前物流移動機器人導航技術的趨勢，3D視覺技術在移動機器人上的應用，拓展了移動機器人的應用領域，增強了移動機器人的智力感和可靠性，也加速推動了移動機器人產業(yè)的發(fā)展。”圖漾科技3D TOF 智能工業(yè)相機TM461-E2易福門方面也提到，近幾年，3D視覺技術的發(fā)展讓移動機器人裝上眼睛，后期它對眼睛的需求會越來越大。但整體來看，當前3D視覺在移動機器人領域的應用尚在初期階段。未來，隨著移動機器人不斷更新迭代，應用環(huán)境的愈加多樣化，對3D視覺系統(tǒng)也將有著更為嚴苛的要求，這也將刺激3D視覺系統(tǒng)升級。易福門相關負責人表示，隨著移動機器人的不斷發(fā)展，對于3D相機的需求也將不斷提升，如更高的分辨率，更快的幀率，更好的環(huán)境適應性等，這些都是未來發(fā)展的方向，“我們需要根據機器人廠商的需要，去提供更適配的產品。”藍芯科技預測，“未來，視覺感知系統(tǒng)一定是往信息更加稠密、以及多樣化角度進行融合，因為只有拉升了信息量，后端才能談智能化、柔性化，才能做分析，才能更安全更穩(wěn)定。感知系統(tǒng)一定是一個從前到后的過程，先有足夠信息捕獲量，再談信息處理，我們從過往的項目經驗中得到了很深的體會。從這個維度來看趨勢，感知的顆粒度只會不斷細化。”
