摘?要： 移動(dòng)機(jī)器人基于激光和視覺SLAM導(dǎo)航可實(shí)現(xiàn)環(huán)境的智能感知和非固定路徑行走，其中視覺SLAM導(dǎo)航是指機(jī)器人利用視覺系統(tǒng)實(shí)現(xiàn)自主定位與地圖創(chuàng)建，其優(yōu)勢為結(jié)構(gòu)簡單、成本低，信息量豐富。而視覺里程計(jì)作為移動(dòng)機(jī)器人視覺SLAM導(dǎo)航的前端，能為機(jī)器人自主導(dǎo)航提供廉價(jià)、可靠的位姿估計(jì)。本文對(duì)移動(dòng)機(jī)器人視覺里程計(jì)的概念與發(fā)展歷程進(jìn)行了簡述，總結(jié)了實(shí)現(xiàn)視覺里程計(jì)的不同方法并分別對(duì)比了其優(yōu)缺點(diǎn)，同時(shí)也分析了視覺里程計(jì)在移動(dòng)機(jī)器人領(lǐng)域的應(yīng)用以及未來研究展望。

關(guān)鍵詞：視覺里程計(jì)、位姿估計(jì)、移動(dòng)機(jī)器人、導(dǎo)航 

一、引言

在移動(dòng)機(jī)器人系統(tǒng)中，要進(jìn)行目標(biāo)探測和定位，對(duì)于自身位姿的估計(jì)非常重要。傳統(tǒng)的里程計(jì)，如輪式里程計(jì)因?yàn)檩喿哟蚧辙D(zhuǎn)而容易導(dǎo)致漂移；精確的激光傳感器價(jià)格昂貴；慣性傳感器雖然可以測量傳感器瞬時(shí)精確的角速度和線速度，但是隨著時(shí)間的推移，測量值有著明顯的漂移，使得計(jì)算得到的位姿信息不可靠等。而視覺里程計(jì)（Visual Odometry，VO）由于視覺傳感器低廉的成本和長距離較為精準(zhǔn)的定位在眾多傳統(tǒng)里程計(jì)中脫穎而出。

世界頂級(jí)的視覺傳感器（工業(yè)相機(jī)）產(chǎn)品售價(jià)約為人民幣3000元，是同等級(jí)的激光雷達(dá)產(chǎn)品售價(jià)的10%～20%。而較低的制造成本意味著較低的產(chǎn)品價(jià)格，對(duì)提升企業(yè)產(chǎn)品競爭力或終端客戶投資回報(bào)周期都更加利好。

二、視覺里程計(jì)發(fā)展簡述

所謂視覺里程計(jì)，就是從一系列圖像流中恢復(fù)出相機(jī)的運(yùn)動(dòng)位姿，這一思想最早是由Moravec等人[1]提出的，他們首次提出了單獨(dú)利用視覺輸入的方法估計(jì)運(yùn)動(dòng)，并給出了一種最早期的角點(diǎn)檢測算法，將其應(yīng)用在行星探測車上，這體現(xiàn)了現(xiàn)階段視覺里程計(jì)的雛形，包括特征點(diǎn)檢測及匹配、外點(diǎn)排除、位姿估計(jì)三大塊，使得視覺里程計(jì)從提出問題階段過渡到了構(gòu)建算法階段。

Nister等[2]在CVPR上發(fā)表的論文中提出了一種利用單目或立體視覺相機(jī)來獲取圖像的視覺里程計(jì)系統(tǒng)，宣告VO技術(shù)進(jìn)入了優(yōu)化算法階段。隨著ORB-SLAM[3]的問世，VO作為SLAM的前端成為了研究熱潮，也代表著主流基于特征點(diǎn)法VO的一個(gè)高峰。Engle等[4]提出的LSD-SLAM則成功地把直接法的視覺里程計(jì)應(yīng)用在了半稠密單目SLAM中。

近年來涌現(xiàn)了各類新穎視覺里程計(jì)系統(tǒng)，例如VINS-Mono[5]是香港科技大學(xué)開源的一個(gè)視覺慣性里程計(jì)（Visual Inertial Odometry, VIO）算法，通過單目與IMU緊耦合恢復(fù)出尺度信息，效果較佳，已經(jīng)被成功應(yīng)用于小規(guī)模AR場景、中型無人機(jī)導(dǎo)航和大規(guī)模狀態(tài)估計(jì)任務(wù)中。

三、視覺里程計(jì)的方法分類

傳統(tǒng)的VO方法是基于模型的系統(tǒng)，按照采用的傳感器類型可以分為單目（Monocular）、雙目（Stereo）和深度相機(jī)（RGB-D）三個(gè)大類，而按照對(duì)圖像的處理方法可以分為特征點(diǎn)法和直接法，此外還有新興的基于深度學(xué)習(xí)方法的VO。

1.按傳感器類型

只使用一個(gè)攝像頭的VO系統(tǒng)稱為單目VO系統(tǒng)，單目相機(jī)有著結(jié)構(gòu)簡單、成本低的特點(diǎn)，受到眾多研究者的關(guān)注，常用的單目VO系統(tǒng)有PTAM[6]、SVO[7]、DSO[8]等。

雙目相機(jī)和深度相機(jī)可以測量物體與相機(jī)的距離，從而克服單目相機(jī)無法測量距離的缺點(diǎn)。有了距離，場景的三維結(jié)構(gòu)就可以通過圖像恢復(fù)出來，也消除了尺度的不確定性。雙目相機(jī)是由兩個(gè)單目相機(jī)組成的，常用的雙目VO系統(tǒng)有ORB-SLAM3[9]、RTAB-MAP[10]。深度相機(jī)主要利用紅外結(jié)構(gòu)光或者飛行時(shí)間差（Time-of-Flight, ToF）原理，通過物理測量手段獲取距離參數(shù)，相比于雙目相機(jī)可節(jié)省計(jì)算資源，常用的基于深度的VO系統(tǒng)有DVO[11]、RGB-D-SLAM-V2[12]等，但是深度相機(jī)有著易受光照影響、無法測量投射材質(zhì)等不足，且主要用于室內(nèi)測量，目前仍難在室外廣泛應(yīng)用。

2.按圖像處理方法

根據(jù)VO系統(tǒng)是否對(duì)圖像進(jìn)行特征提取及匹配，可分為特征點(diǎn)法VO和直接法VO。

對(duì)于特征點(diǎn)法，在各幀圖像中盡可能找到相同位置的點(diǎn)，再基于這些點(diǎn)計(jì)算位姿。常用特征如SIFT[13]、SURF[14]、ORB[15]等，這些特征相對(duì)于早期的特征有著更穩(wěn)定更高效的優(yōu)勢，因而基于這些特征描述子衍生出了很多算法，如MonoSLAM[16]、PTAM[6]、ORB-SLAM3[9]等。楊冬冬[17]等人基于SIFT特征提出了一種基于局部和全局優(yōu)化的雙目VO，在滿足實(shí)時(shí)性的基礎(chǔ)上能夠提高精度。

對(duì)于直接法，只對(duì)圖像提取關(guān)鍵點(diǎn)，跳過描述子的計(jì)算，直接基于灰度不變等強(qiáng)假設(shè)根據(jù)像素灰度信息來計(jì)算相機(jī)的運(yùn)動(dòng)，因此可用于構(gòu)建稠密地圖。常用的基于直接法的VO系統(tǒng)有DTAM[18]、DSO[8]、DVO[11]等。

兩種方法的優(yōu)缺點(diǎn)對(duì)比如表1所示。

為了更加直觀清晰地對(duì)比各個(gè)方法之間的區(qū)別與特性，表2列出了常用的基于傳統(tǒng)方法的VO系統(tǒng)。

3.基于深度學(xué)習(xí)的VO系統(tǒng)

近幾年來，深度學(xué)習(xí)的發(fā)展極大地促進(jìn)了計(jì)算機(jī)視覺的相關(guān)科研工作?；谏疃葘W(xué)習(xí)的VO系統(tǒng)在視覺相關(guān)任務(wù)的準(zhǔn)確率、魯棒性，以及執(zhí)行效率方面相比于傳統(tǒng)方法都展現(xiàn)出了非凡的效果。不同于傳統(tǒng)的VO系統(tǒng)那樣通過嚴(yán)格的幾何理論方法實(shí)現(xiàn)，基于深度學(xué)習(xí)的VO是通過尋找數(shù)據(jù)規(guī)律與目標(biāo)任務(wù)之間的函數(shù)關(guān)系來完成同樣的工作。在基于深度學(xué)習(xí)的VO中，主要分為有監(jiān)督、無監(jiān)督和半監(jiān)督三種學(xué)習(xí)方法，其中具有代表性的VO方案有DeepVO[19]、GeoNet[20]、CNN-SLAM[21]等。

四、視覺里程計(jì)在物流移動(dòng)機(jī)器人中的應(yīng)用

SLAM同步定位與地圖構(gòu)建技術(shù)（Simultaneous localization and mapping）可在未知的環(huán)境中實(shí)時(shí)定位移動(dòng)機(jī)器人自身的位置，并同時(shí)構(gòu)建環(huán)境三維地圖。目前激光SLAM技術(shù)已發(fā)展較為成熟，視覺SLAM技術(shù)也在近幾年得到快速發(fā)展，由于視覺SLAM使用的視覺傳感器的成本較低，并且在某些場景下視覺SLAM是激光SLAM的有力補(bǔ)充，因此，視覺SLAM尤其是視覺里程計(jì)與激光SLAM相融合的技術(shù)是目前物流移動(dòng)機(jī)器人導(dǎo)航技術(shù)的趨勢，在移動(dòng)抓取機(jī)器人、AMR、巡檢機(jī)器人等移動(dòng)機(jī)器人行業(yè)有著廣泛應(yīng)用。

1.融合視覺里程計(jì)的激光SLAM技術(shù)在實(shí)驗(yàn)室的測試驗(yàn)證

下面將融合視覺里程計(jì)與激光SLAM技術(shù)的物流機(jī)器人的具體實(shí)現(xiàn)方式及應(yīng)用做一描述，我們使用實(shí)驗(yàn)室的移動(dòng)機(jī)器人平臺(tái)進(jìn)行了相關(guān)算法的驗(yàn)證，移動(dòng)機(jī)器人平臺(tái)如圖1所示。

驗(yàn)證的方法及過程如下：首先說明視覺里程計(jì)的信息獲取方法，主要是通過雙目相機(jī)獲取環(huán)境的RGB彩色圖像，并利用SIFT關(guān)鍵點(diǎn)檢測的ORB算法對(duì)每一張連續(xù)圖像關(guān)鍵幀進(jìn)行特征點(diǎn)檢測，為后續(xù)計(jì)算提供更精確的特征點(diǎn)，隨后使用對(duì)極幾何和三角化的方法計(jì)算得出特征點(diǎn)的三維坐標(biāo)，并依此計(jì)算出相機(jī)的位姿變化，再根據(jù)相機(jī)與移動(dòng)機(jī)器人參考點(diǎn)的相對(duì)位置關(guān)系可計(jì)算出移動(dòng)機(jī)器人參考點(diǎn)的位姿變化，最終得到移動(dòng)機(jī)器人的視覺里程計(jì)的信息，將此數(shù)據(jù)與IMU信息及移動(dòng)機(jī)器人驅(qū)動(dòng)編碼器里程計(jì)信息使用擴(kuò)展卡爾曼濾波進(jìn)行數(shù)據(jù)融合，為激光雷達(dá)SLAM提供前端的預(yù)估初始位置的輸入信息，提高了激光雷達(dá)SLAM前端數(shù)據(jù)的初始匹配精度，并通過激光SLAM后端的優(yōu)化及回環(huán)檢測對(duì)累計(jì)誤差的消除，經(jīng)過激光SLAM的建圖模塊，最終得到了精確的環(huán)境電子地圖，并同時(shí)可為移動(dòng)機(jī)器人的導(dǎo)航系統(tǒng)提供移動(dòng)機(jī)器人參考點(diǎn)的運(yùn)動(dòng)軌跡信息，通過此方法所構(gòu)建的實(shí)驗(yàn)室的精確環(huán)境地圖如圖2所示。

通過實(shí)驗(yàn)室移動(dòng)機(jī)器人平臺(tái)的測試驗(yàn)證，最終使移動(dòng)機(jī)器人的定位精度達(dá)到±10mm，實(shí)現(xiàn)了預(yù)期的目標(biāo)。

2.融合視覺、激光等多種傳感器的SLAM技術(shù)的實(shí)際應(yīng)用

許多物流移動(dòng)機(jī)器人的本體廠商均使用了融合多種傳感器的信息進(jìn)行物流移動(dòng)機(jī)器人的導(dǎo)航定位和自主決策，如北京極智嘉科技股份有限公司的搬運(yùn)系統(tǒng)產(chǎn)品在導(dǎo)航方式中使用了視覺SLAM方式，在障礙物檢測方式上也使用了視覺組件進(jìn)行視覺避障，它們生產(chǎn)的物流移動(dòng)機(jī)器人具體產(chǎn)品（M200C）如圖3所示。

靈動(dòng)科技（北京）有限公司生產(chǎn)的AMR系列物流移動(dòng)機(jī)器人，采用基于視覺數(shù)據(jù)，融合激光雷達(dá)、慣性導(dǎo)航和電機(jī)編碼器里程計(jì)等多種感知信息，實(shí)現(xiàn)自動(dòng)建圖、定位和導(dǎo)航等功能，它們的輥筒搬運(yùn)式產(chǎn)品Max300如圖4所示。

目前，這些公司使用融合視覺、激光等多種傳感器的物流機(jī)器人產(chǎn)品已經(jīng)在實(shí)際項(xiàng)目中得到應(yīng)用，如靈動(dòng)科技使用頂升式Max300移動(dòng)機(jī)器人在TCL工廠的26條產(chǎn)線上完成了原材料的搬運(yùn)任務(wù)。

隨著技術(shù)的發(fā)展和各類產(chǎn)業(yè)的智能化升級(jí)，為了增強(qiáng)移動(dòng)機(jī)器人導(dǎo)航的精度和魯棒性，使用融合視覺、IMU、激光雷達(dá)等多種傳感器信息的導(dǎo)航定位技術(shù)正在物流移動(dòng)機(jī)器人行業(yè)得到更加廣泛的應(yīng)用。

視覺傳感器除了在物流移動(dòng)機(jī)器人的導(dǎo)航定位方面起重要的作用外，它在移動(dòng)機(jī)器人對(duì)目標(biāo)物的識(shí)別及定位方面也起到了關(guān)鍵的作用，當(dāng)移動(dòng)機(jī)器人到達(dá)目標(biāo)物附近時(shí)，通過視覺傳感器識(shí)別出目標(biāo)物相對(duì)移動(dòng)機(jī)器人的位姿，從而使移動(dòng)機(jī)器人根據(jù)目標(biāo)物的姿態(tài)調(diào)整移動(dòng)機(jī)器人的運(yùn)行軌跡，使移動(dòng)機(jī)器人能更準(zhǔn)確地與目標(biāo)物進(jìn)行對(duì)接操作。通過使用視覺技術(shù)在移動(dòng)機(jī)器人上的應(yīng)用，拓展了移動(dòng)機(jī)器人的應(yīng)用領(lǐng)域，增強(qiáng)了移動(dòng)機(jī)器人的可靠性，推動(dòng)了移動(dòng)機(jī)器人產(chǎn)業(yè)的發(fā)展。

五、視覺里程計(jì)的未來研究展望 

VO在移動(dòng)機(jī)器人上的應(yīng)用已經(jīng)發(fā)展多年，在很多方面取得重大進(jìn)展，但目前仍舊有一些問題等待解決，本文在總結(jié)現(xiàn)有方案的基礎(chǔ)上提出了以下兩個(gè)值得探索的研究方向。

（1）結(jié)合語義地圖的視覺里程計(jì)系統(tǒng)。

由于環(huán)境中普遍存在動(dòng)態(tài)場景造成的實(shí)際樣本和檢測樣本之間的誤差，降低了目前大部分的算法模型的位姿估計(jì)和軌跡的精度。通過結(jié)合語義地圖的方式將從幾何和語義兩個(gè)方面來感知場景，使得應(yīng)用對(duì)象對(duì)環(huán)境內(nèi)容有抽象理解，獲取更多的信息，能夠減小動(dòng)態(tài)場景帶來的誤差，還可以為SLAM中的回環(huán)檢測帶來更多信息從而提高精度。適合通過高性能的計(jì)算設(shè)備用于實(shí)現(xiàn)精密地圖構(gòu)建、場景理解等功能的場合。

（2）多機(jī)器人協(xié)同的視覺里程計(jì)系統(tǒng)。

單個(gè)機(jī)器人可能無法快速熟悉環(huán)境特征及其相對(duì)于環(huán)境特征的位置，此外單個(gè)機(jī)器人在執(zhí)行任務(wù)的過程中會(huì)出現(xiàn)損壞的情況，要達(dá)到穩(wěn)定的精準(zhǔn)導(dǎo)航，開發(fā)分布式系統(tǒng)來實(shí)現(xiàn)視覺里程計(jì)將是一個(gè)發(fā)展方向。使用多個(gè)機(jī)器人可以有很多優(yōu)點(diǎn)，例如可以減少探索一個(gè)環(huán)境所需的時(shí)間、不同的信息來源將提供更多的信息、分布式系統(tǒng)對(duì)故障更魯棒等。