大家好，首先感謝主辦方光博會和智東西給我提供一個機會與大家分享下，我們公司在移動機器人領(lǐng)域涉及到的3D視覺技術(shù)，本次演講的主題為《3D視覺在室內(nèi)移動機器?中的應(yīng)用與展望》，主要分為以下5個部分：

1、使用場景

2、室內(nèi)環(huán)境的特點

3、傳感器

4、使用方式及問題

5、展望

使用場景

炬星科技是一家比較年輕的公司，成立于2018年5月，同時也是一家基于室內(nèi)移動機器人倉庫自動化解決方案的提供商。上圖是目前量產(chǎn)的機器人，傳感器分布已經(jīng)在上面標注出來，使用的是主動雙目立體視覺傳感器，這也是今天演講圍繞的傳感器，為了保障機器人的可靠性，不僅使用主動雙目傳感器，還有超聲傳感器，由于光學(xué)傳感器對玻璃沒辦法，主要靠超聲，上圖的機器人上也有超聲傳感器，下面還有一個單線激光雷達、里程計+IMU。

上圖是一個典型應(yīng)用，在現(xiàn)在的倉儲物流尤其是電商倉庫里，主要是通過人力揀選的方式，一個人拿到訂單后到貨架上把物品撿回來，最后打包，一個人一天最多可以走20公里，我們提供的解決方案是用機器人自動化的方式代替人行走，可以提高2-3倍效率，并且在應(yīng)對倉庫出貨量波動方面具備高度的靈活性。

室內(nèi)環(huán)境的特點

相較比于室外場景，室內(nèi)大部分是結(jié)構(gòu)化的場景，室內(nèi)的東西都是人造的，但有時結(jié)構(gòu)特征非常不清晰，比如長直走廊沒有結(jié)構(gòu)化特征。另外一個方面，我們所面對的倉庫場景結(jié)構(gòu)化特征重復(fù)的概率極大，在一排貨架看到的結(jié)構(gòu)場景與隔壁一排看到的場景幾乎一樣。所有的室內(nèi)定位要么用UWB方案，要么用傳感器感知，我們采取的是傳感器感知，因為安裝采用UWB的方案，部署成本太高。室內(nèi)還會出現(xiàn)非常狹窄的情況，貨架之間可能只有1米，造成機器人運動困難。對于光照，室內(nèi)光照相對友好，但也會遇到一個問題就是強光，還有的倉庫周圍是玻璃，太陽光返到地面會造成視覺傳感器過曝。

那為什么選擇室內(nèi)場景落地機器人技術(shù)？因為它的復(fù)雜度相對較低，可以被拿來真正產(chǎn)生社會價值，而像比較流行的自動駕駛，未來技術(shù)路線還有一段時間，沒法馬上產(chǎn)生價值。

傳感器

下面簡單介紹下3D視覺傳感器的主流方案，總結(jié)了六種方案：雙目、結(jié)構(gòu)光、主動雙目、dToF、PM-iToF、CW-iToF，實際可能會更多一些。上圖左邊的三個方案基于三角法，右邊是三個方案基于TOF。

上圖是總結(jié)的基于三角測距的原理，下面介紹下主動雙目的特點，主動雙目相較于雙目相機的第一個優(yōu)勢是有一個IR發(fā)射器，第二個優(yōu)勢在于發(fā)出的是結(jié)構(gòu)光，室內(nèi)有很多白墻，可以同樣進行雙目匹配，而這個點在雙目相機是沒有的。

接下來看下ToF，ToF總結(jié)了三種，第一種是dToF，它的難點在于，假設(shè)測量距離是3米，時間差是納秒級的，芯片非常難造，在激光雷達方面，像車載的激光雷達、旋轉(zhuǎn)式激光雷達也是基于dTOF，中間是PM-iToF是間接ToF方法，接收器接收兩個脈沖，有兩個積分窗口，我們可以積分出兩個信號出來，通過這兩個信號的比值計算時間。CW-iTOF是通過發(fā)射信號和接收信號的相位差計算飛行時間。

雙目在室外比較主流，室內(nèi)暗的地方比較難解決，而且沒有紋理的地方解決不了，雙目結(jié)構(gòu)光是中等距離，它的測距在5-8米。i-ToF是中短距離，國內(nèi)廠商做i-TOF比較多，都有自己的一套解決方案，d-ToF做得相對少一些，它存在近距離的精度問題，因為距離越近，測量越難。

炬星選擇的視覺方案是主動雙目光，除了主動雙目光，我們還在模組上加了全局快門魚眼相機和IMU，魚眼相機的角度非常大，拍的特征非常全，全局快門沒有滾動快門的缺點，我們選擇這款相機主要是為了支持我們的應(yīng)用，一個是語義導(dǎo)航，一個是更準幫助定位。

使用方式及問題 

下面介紹下傳統(tǒng)的3D感知怎么用于避障。首先拿到一個深度圖，3D是可以直接輸出的，有的3D相機也有直接輸出點云的，上圖第二張圖片可以看到這塊是一個地面，和地面上的障礙物。先進行地面檢測，把地面和障礙物分開，把障礙物投影到當前地圖上，路徑規(guī)劃就會繞開這個障礙物，這是所有廠商都在用的方式，但是和我們現(xiàn)在用的方式稍微有點區(qū)別。

我們做的是基于深度學(xué)習(xí)的語義導(dǎo)航，把圖片識別和深度相機結(jié)合起來，在一個圖像上識別到一個人，深度圖上知道這個人的位置，我畫在這上面時知道是一個人，當它是一個靜態(tài)障礙物時，我知道它是一個箱子。

上圖是一個靜態(tài)障礙物時機器人的行為，如果是靜態(tài)障礙物，機器人離這個箱子不到10公分避障，如果是一個人，機器人稍微等一下，因為對于人來說，人是運動的，機器人可以繞過它，但是離得太近，人一動機器人可能來不及反映，為了保障安全，我們需要知道前面看到的障礙物是人還是靜態(tài)的障礙物。

3D相機第二個應(yīng)用是利用3D相機進行更精確的機器人狀態(tài)估計，就是把3D信息融合到視覺SLAM里。先介紹下視覺SLAM的幾種方案，視覺SLAM一般在工業(yè)機器人都加入了IMU。由于雙目相機市面上大部分是大廣角的，魚眼相機能計算的特征深度準確性相對差一些，這幾個原因都會導(dǎo)致一個問題，在現(xiàn)有的視覺方案中，對于一個特征點的3D坐標估計要么是不準，要么是估計不出來，對3D坐標估計恰恰是視覺SLAM的核心要素，因為它都是靠誤差來構(gòu)造它的優(yōu)化函數(shù)，我們“有機會”地把3D信息融合進去，在有3D信息時，直接拿3D信息構(gòu)建殘差。因為3D信息非常有限，3D傳感器的角度不是魚眼，而且高精度的距離只有5米，“有機會”地拿這個信息進行融合，就可以解決上述的問題。

展望 

第一個大方向是如何獲取3D信息？傳感器未來會往哪里走？現(xiàn)在的三角法測距瓶頸在于機械，基線越大，距離越遠，對于80公分寬的機器人，基線越大，模組的標定越困難，據(jù)我了解三角法的工藝已經(jīng)到了極限，再往大會非常困難，i-ToF是現(xiàn)在很多廠商的發(fā)力重點，未來我認為d-ToF是廠商的發(fā)力重點。

第二個方向是基于深度學(xué)習(xí)的3D生成也是未來的方向，上面的文章總結(jié)2014-2019年所有用視覺生成3D信息的方法，不用特別高精的傳感器，只用相機生成一個3D信息，它生成3D信息可能不那么準，如果要做一些非常簡單的識別和避免碰撞，這個還是可以滿足的。

第三個方向是基于多傳感器融合的3D生成，這篇文章比較有意思，它把一個16線的激光雷達和單目相機融合生成全景的3D圖，16線激光雷達只有16線，一個全景圖有幾百條線，在幾百條線上做感知的應(yīng)用比16個線簡單得多。

對于應(yīng)用來說，它的落腳點在哪里？我認為帶有幾何信息的語義感知的應(yīng)用，3D傳感器同時能給到語義信息以及對應(yīng)的幾何信息，首先它支持更高精的定位，語義SLAM是現(xiàn)在研究界大的發(fā)展方向，語義信息可以在前端匹配，后端優(yōu)化，以及回環(huán)檢測等。語義導(dǎo)航根據(jù)不同的情況采取不同的導(dǎo)航策略實現(xiàn)不同的功能，帶有幾何的語義感知應(yīng)用還有哪些？剛才看到的抓取、分揀，疫情期間有很多機器人在醫(yī)院里面噴灑藥物，我知道哪里人聚集得多，哪里人聚集得少，可以更精確噴灑藥物。比如掃地機器人，知道前面是一個地毯，可以更精準的打掃等，這一系列的應(yīng)用都是基于幾何信息和語義信息的結(jié)合，我認為這是未來3D傳感器的發(fā)展方向。

今天的演講就到這里，謝謝！