大家好，首先感謝主辦方光博會(huì)和智東西給我提供一個(gè)機(jī)會(huì)與大家分享下，我們公司在移動(dòng)機(jī)器人領(lǐng)域涉及到的3D視覺技術(shù)，本次演講的主題為《3D視覺在室內(nèi)移動(dòng)機(jī)器?中的應(yīng)用與展望》，主要分為以下5個(gè)部分：

1、使用場(chǎng)景

2、室內(nèi)環(huán)境的特點(diǎn)

3、傳感器

4、使用方式及問題

5、展望

使用場(chǎng)景

炬星科技是一家比較年輕的公司，成立于2018年5月，同時(shí)也是一家基于室內(nèi)移動(dòng)機(jī)器人倉(cāng)庫(kù)自動(dòng)化解決方案的提供商。上圖是目前量產(chǎn)的機(jī)器人，傳感器分布已經(jīng)在上面標(biāo)注出來，使用的是主動(dòng)雙目立體視覺傳感器，這也是今天演講圍繞的傳感器，為了保障機(jī)器人的可靠性，不僅使用主動(dòng)雙目傳感器，還有超聲傳感器，由于光學(xué)傳感器對(duì)玻璃沒辦法，主要靠超聲，上圖的機(jī)器人上也有超聲傳感器，下面還有一個(gè)單線激光雷達(dá)、里程計(jì)+IMU。

上圖是一個(gè)典型應(yīng)用，在現(xiàn)在的倉(cāng)儲(chǔ)物流尤其是電商倉(cāng)庫(kù)里，主要是通過人力揀選的方式，一個(gè)人拿到訂單后到貨架上把物品撿回來，最后打包，一個(gè)人一天最多可以走20公里，我們提供的解決方案是用機(jī)器人自動(dòng)化的方式代替人行走，可以提高2-3倍效率，并且在應(yīng)對(duì)倉(cāng)庫(kù)出貨量波動(dòng)方面具備高度的靈活性。

室內(nèi)環(huán)境的特點(diǎn)

相較比于室外場(chǎng)景，室內(nèi)大部分是結(jié)構(gòu)化的場(chǎng)景，室內(nèi)的東西都是人造的，但有時(shí)結(jié)構(gòu)特征非常不清晰，比如長(zhǎng)直走廊沒有結(jié)構(gòu)化特征。另外一個(gè)方面，我們所面對(duì)的倉(cāng)庫(kù)場(chǎng)景結(jié)構(gòu)化特征重復(fù)的概率極大，在一排貨架看到的結(jié)構(gòu)場(chǎng)景與隔壁一排看到的場(chǎng)景幾乎一樣。所有的室內(nèi)定位要么用UWB方案，要么用傳感器感知，我們采取的是傳感器感知，因?yàn)榘惭b采用UWB的方案，部署成本太高。室內(nèi)還會(huì)出現(xiàn)非常狹窄的情況，貨架之間可能只有1米，造成機(jī)器人運(yùn)動(dòng)困難。對(duì)于光照，室內(nèi)光照相對(duì)友好，但也會(huì)遇到一個(gè)問題就是強(qiáng)光，還有的倉(cāng)庫(kù)周圍是玻璃，太陽光返到地面會(huì)造成視覺傳感器過曝。

那為什么選擇室內(nèi)場(chǎng)景落地機(jī)器人技術(shù)？因?yàn)樗膹?fù)雜度相對(duì)較低，可以被拿來真正產(chǎn)生社會(huì)價(jià)值，而像比較流行的自動(dòng)駕駛，未來技術(shù)路線還有一段時(shí)間，沒法馬上產(chǎn)生價(jià)值。

傳感器

下面簡(jiǎn)單介紹下3D視覺傳感器的主流方案，總結(jié)了六種方案：雙目、結(jié)構(gòu)光、主動(dòng)雙目、dToF、PM-iToF、CW-iToF，實(shí)際可能會(huì)更多一些。上圖左邊的三個(gè)方案基于三角法，右邊是三個(gè)方案基于TOF。

上圖是總結(jié)的基于三角測(cè)距的原理，下面介紹下主動(dòng)雙目的特點(diǎn)，主動(dòng)雙目相較于雙目相機(jī)的第一個(gè)優(yōu)勢(shì)是有一個(gè)IR發(fā)射器，第二個(gè)優(yōu)勢(shì)在于發(fā)出的是結(jié)構(gòu)光，室內(nèi)有很多白墻，可以同樣進(jìn)行雙目匹配，而這個(gè)點(diǎn)在雙目相機(jī)是沒有的。

接下來看下ToF，ToF總結(jié)了三種，第一種是dToF，它的難點(diǎn)在于，假設(shè)測(cè)量距離是3米，時(shí)間差是納秒級(jí)的，芯片非常難造，在激光雷達(dá)方面，像車載的激光雷達(dá)、旋轉(zhuǎn)式激光雷達(dá)也是基于dTOF，中間是PM-iToF是間接ToF方法，接收器接收兩個(gè)脈沖，有兩個(gè)積分窗口，我們可以積分出兩個(gè)信號(hào)出來，通過這兩個(gè)信號(hào)的比值計(jì)算時(shí)間。CW-iTOF是通過發(fā)射信號(hào)和接收信號(hào)的相位差計(jì)算飛行時(shí)間。

雙目在室外比較主流，室內(nèi)暗的地方比較難解決，而且沒有紋理的地方解決不了，雙目結(jié)構(gòu)光是中等距離，它的測(cè)距在5-8米。i-ToF是中短距離，國(guó)內(nèi)廠商做i-TOF比較多，都有自己的一套解決方案，d-ToF做得相對(duì)少一些，它存在近距離的精度問題，因?yàn)榫嚯x越近，測(cè)量越難。

炬星選擇的視覺方案是主動(dòng)雙目光，除了主動(dòng)雙目光，我們還在模組上加了全局快門魚眼相機(jī)和IMU，魚眼相機(jī)的角度非常大，拍的特征非常全，全局快門沒有滾動(dòng)快門的缺點(diǎn)，我們選擇這款相機(jī)主要是為了支持我們的應(yīng)用，一個(gè)是語義導(dǎo)航，一個(gè)是更準(zhǔn)幫助定位。

使用方式及問題 

下面介紹下傳統(tǒng)的3D感知怎么用于避障。首先拿到一個(gè)深度圖，3D是可以直接輸出的，有的3D相機(jī)也有直接輸出點(diǎn)云的，上圖第二張圖片可以看到這塊是一個(gè)地面，和地面上的障礙物。先進(jìn)行地面檢測(cè)，把地面和障礙物分開，把障礙物投影到當(dāng)前地圖上，路徑規(guī)劃就會(huì)繞開這個(gè)障礙物，這是所有廠商都在用的方式，但是和我們現(xiàn)在用的方式稍微有點(diǎn)區(qū)別。

我們做的是基于深度學(xué)習(xí)的語義導(dǎo)航，把圖片識(shí)別和深度相機(jī)結(jié)合起來，在一個(gè)圖像上識(shí)別到一個(gè)人，深度圖上知道這個(gè)人的位置，我畫在這上面時(shí)知道是一個(gè)人，當(dāng)它是一個(gè)靜態(tài)障礙物時(shí)，我知道它是一個(gè)箱子。

上圖是一個(gè)靜態(tài)障礙物時(shí)機(jī)器人的行為，如果是靜態(tài)障礙物，機(jī)器人離這個(gè)箱子不到10公分避障，如果是一個(gè)人，機(jī)器人稍微等一下，因?yàn)閷?duì)于人來說，人是運(yùn)動(dòng)的，機(jī)器人可以繞過它，但是離得太近，人一動(dòng)機(jī)器人可能來不及反映，為了保障安全，我們需要知道前面看到的障礙物是人還是靜態(tài)的障礙物。

3D相機(jī)第二個(gè)應(yīng)用是利用3D相機(jī)進(jìn)行更精確的機(jī)器人狀態(tài)估計(jì)，就是把3D信息融合到視覺SLAM里。先介紹下視覺SLAM的幾種方案，視覺SLAM一般在工業(yè)機(jī)器人都加入了IMU。由于雙目相機(jī)市面上大部分是大廣角的，魚眼相機(jī)能計(jì)算的特征深度準(zhǔn)確性相對(duì)差一些，這幾個(gè)原因都會(huì)導(dǎo)致一個(gè)問題，在現(xiàn)有的視覺方案中，對(duì)于一個(gè)特征點(diǎn)的3D坐標(biāo)估計(jì)要么是不準(zhǔn)，要么是估計(jì)不出來，對(duì)3D坐標(biāo)估計(jì)恰恰是視覺SLAM的核心要素，因?yàn)樗际强空`差來構(gòu)造它的優(yōu)化函數(shù)，我們“有機(jī)會(huì)”地把3D信息融合進(jìn)去，在有3D信息時(shí)，直接拿3D信息構(gòu)建殘差。因?yàn)?D信息非常有限，3D傳感器的角度不是魚眼，而且高精度的距離只有5米，“有機(jī)會(huì)”地拿這個(gè)信息進(jìn)行融合，就可以解決上述的問題。

展望 

第一個(gè)大方向是如何獲取3D信息？傳感器未來會(huì)往哪里走？現(xiàn)在的三角法測(cè)距瓶頸在于機(jī)械，基線越大，距離越遠(yuǎn)，對(duì)于80公分寬的機(jī)器人，基線越大，模組的標(biāo)定越困難，據(jù)我了解三角法的工藝已經(jīng)到了極限，再往大會(huì)非常困難，i-ToF是現(xiàn)在很多廠商的發(fā)力重點(diǎn)，未來我認(rèn)為d-ToF是廠商的發(fā)力重點(diǎn)。

第二個(gè)方向是基于深度學(xué)習(xí)的3D生成也是未來的方向，上面的文章總結(jié)2014-2019年所有用視覺生成3D信息的方法，不用特別高精的傳感器，只用相機(jī)生成一個(gè)3D信息，它生成3D信息可能不那么準(zhǔn)，如果要做一些非常簡(jiǎn)單的識(shí)別和避免碰撞，這個(gè)還是可以滿足的。

第三個(gè)方向是基于多傳感器融合的3D生成，這篇文章比較有意思，它把一個(gè)16線的激光雷達(dá)和單目相機(jī)融合生成全景的3D圖，16線激光雷達(dá)只有16線，一個(gè)全景圖有幾百條線，在幾百條線上做感知的應(yīng)用比16個(gè)線簡(jiǎn)單得多。

對(duì)于應(yīng)用來說，它的落腳點(diǎn)在哪里？我認(rèn)為帶有幾何信息的語義感知的應(yīng)用，3D傳感器同時(shí)能給到語義信息以及對(duì)應(yīng)的幾何信息，首先它支持更高精的定位，語義SLAM是現(xiàn)在研究界大的發(fā)展方向，語義信息可以在前端匹配，后端優(yōu)化，以及回環(huán)檢測(cè)等。語義導(dǎo)航根據(jù)不同的情況采取不同的導(dǎo)航策略實(shí)現(xiàn)不同的功能，帶有幾何的語義感知應(yīng)用還有哪些？剛才看到的抓取、分揀，疫情期間有很多機(jī)器人在醫(yī)院里面噴灑藥物，我知道哪里人聚集得多，哪里人聚集得少，可以更精確噴灑藥物。比如掃地機(jī)器人，知道前面是一個(gè)地毯，可以更精準(zhǔn)的打掃等，這一系列的應(yīng)用都是基于幾何信息和語義信息的結(jié)合，我認(rèn)為這是未來3D傳感器的發(fā)展方向。

今天的演講就到這里，謝謝！