摘要視覺(jué)里程計(jì)(VisualOdometry)作為視覺(jué)同步定位與地圖構(gòu)建技術(shù)(VisualSimultaneousLocalizationandMaping)的一部分，主要通過(guò)相機(jī)傳感器獲取一系列擁有時(shí)間序列圖像的信息，從而預(yù)估機(jī)器人的姿態(tài)信息，建立局部地圖，也被稱為前端，已經(jīng)被廣泛應(yīng)用在了多個(gè)領(lǐng)域，并取得了豐碩的實(shí)際成果。對(duì)于無(wú)人駕駛，全自主無(wú)人機(jī)，虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)等方面有著重要意義。本文在介紹了經(jīng)典視覺(jué)里程計(jì)技術(shù)框架模塊中的各類算法的基礎(chǔ)上，對(duì)近年來(lái)新穎的視覺(jué)里程計(jì)技術(shù)VO)的研究和論文進(jìn)行了總結(jié)，按照技術(shù)手段不同分為兩大類——多傳感器融合的視覺(jué)里程計(jì)以慣性視覺(jué)融合為例和基于深度學(xué)習(xí)的視覺(jué)里程計(jì)。前者通過(guò)各傳感器之間的優(yōu)勢(shì)互補(bǔ)提高的精度，后者則是通過(guò)和深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)合。最后比較視覺(jué)里程計(jì)現(xiàn)有算法，并結(jié)合面臨的挑戰(zhàn)展望了視覺(jué)里程計(jì)的未來(lái)發(fā)展趨勢(shì)。

　　關(guān)鍵字:視覺(jué)里程計(jì);多傳感器融合;深度學(xué)習(xí)

　　引言

　　為了使得計(jì)算機(jī)能夠和人一樣通過(guò)感官器官觀察世界，理解世界和探索未知區(qū)域，視覺(jué)里程計(jì)(VO)技術(shù)應(yīng)運(yùn)而生，作為同步定位與地圖構(gòu)建(SLAM)[1的前端，它能夠估計(jì)出機(jī)器人的位姿，一個(gè)優(yōu)秀的視覺(jué)里程計(jì)技術(shù)能為SLAM的后端，全局地圖構(gòu)建提供優(yōu)質(zhì)的初始值，從而讓機(jī)器人在復(fù)雜的未知環(huán)境中實(shí)現(xiàn)精準(zhǔn)自主化來(lái)執(zhí)行各種任務(wù)。傳統(tǒng)的里程計(jì)，如輪式里程計(jì)容易因?yàn)檩喿哟蚧�空轉(zhuǎn)而導(dǎo)致漂移，精確的激光傳感器價(jià)格昂貴，慣性傳感器雖然可以測(cè)量傳感器瞬時(shí)精確的角速度和線速度，但是隨著時(shí)間的推移，測(cè)量值有著明顯的漂移，使得計(jì)算得到的位姿信息不可靠。而視覺(jué)里程計(jì)由于視覺(jué)傳感器低廉的成本和長(zhǎng)距離較為精準(zhǔn)的定位在眾多傳統(tǒng)里程計(jì)中脫穎而出。

　　人工智能論文范例：適合視覺(jué)傳達(dá)設(shè)計(jì)論文發(fā)表的期刊

　　所謂視覺(jué)里程計(jì)就是從一系列圖像流中恢復(fù)出相機(jī)的運(yùn)動(dòng)位姿，這一思想最早是由Moravec等提出，成為了經(jīng)典，是因?yàn)樗麄儾粌H在論文中第一次提出了單獨(dú)利用視覺(jué)輸入的方法估計(jì)運(yùn)動(dòng)，而且提出了一種最早期的角點(diǎn)檢測(cè)算法，并將其使用在了行星探測(cè)車上，體現(xiàn)了現(xiàn)階段視覺(jué)里程計(jì)的雛形，包括了特征點(diǎn)檢測(cè)及匹配，外點(diǎn)排除，位姿估計(jì)三大塊，使得視覺(jué)里程計(jì)從提出問(wèn)題階段過(guò)渡到了構(gòu)建算法階段，Nister[5]在CVPR上發(fā)表的《VisualOdometry》中提出了一種利用單目或者立體視覺(jué)相機(jī)來(lái)獲取圖像的視覺(jué)里程計(jì)系統(tǒng)，自此視覺(jué)里程計(jì)這個(gè)名詞真正的被創(chuàng)造了，并宣告技術(shù)進(jìn)入了優(yōu)化算法階段。隨著RBSLAM6]的問(wèn)世，作為SLAM的前端成為了研究熱潮，也代表著主流基于特征點(diǎn)法的一個(gè)高峰。

　　ngle等[7]提出的SDSLAM則成功地把直接法的視覺(jué)里程計(jì)應(yīng)用在了半稠密單目SLAM中，近年來(lái)涌現(xiàn)了各類的新穎視覺(jué)里程計(jì)系統(tǒng)。比如2019年Zheng等[8提出了一種基于RGB傳感器的自適應(yīng)視覺(jué)里程計(jì)，可以根據(jù)是否有足夠的紋理信息來(lái)自動(dòng)地選擇最合適的視覺(jué)里程計(jì)算法即間接法或者直接法來(lái)估計(jì)運(yùn)動(dòng)姿態(tài)。

　　本文重點(diǎn)對(duì)視覺(jué)里程計(jì)的已有研究工作進(jìn)行綜述主要選取了近年來(lái)有代表性的或取得比較顯著效果的方法進(jìn)行詳細(xì)的原理介紹和優(yōu)缺點(diǎn)分析。根據(jù)是否需要提取特征點(diǎn)大致分為特征點(diǎn)法和直接法。也可以根據(jù)是否脫離經(jīng)典的位姿估計(jì)模塊方法分為經(jīng)典視覺(jué)里程計(jì)和新穎視覺(jué)里程計(jì)。最終總結(jié)提出未來(lái)的發(fā)展前景。第節(jié)介紹傳統(tǒng)視覺(jué)里程計(jì)框架的算法。其中包括了特征點(diǎn)法的關(guān)鍵技術(shù)和直接法視覺(jué)里程計(jì)中的相關(guān)算法。

　　第一節(jié)、第二節(jié)綜述最新的視覺(jué)里程計(jì)研究方法，包括第一節(jié)中慣性視覺(jué)傳感器融合的易于工程實(shí)現(xiàn)輕量型的，以及第二節(jié)中基于深度學(xué)習(xí)的視覺(jué)里程計(jì)可以通過(guò)高性能計(jì)算機(jī)實(shí)現(xiàn)精密建圖等功能。第節(jié)簡(jiǎn)要概括了視覺(jué)里程計(jì)各類標(biāo)志性算法。第節(jié)中結(jié)合視覺(jué)里程計(jì)面臨的挑戰(zhàn)，展望了未來(lái)的發(fā)展方向。

　　1傳統(tǒng)視覺(jué)里程計(jì)

　　傳統(tǒng)視覺(jué)里程計(jì)沿用了Nister[5]的框架即依據(jù)相鄰幀之間特定像素幾何關(guān)系，估計(jì)出相機(jī)的位姿信息，包括了位置和滾轉(zhuǎn)角roll)、俯仰角(pitch以及偏航角(yaw)三個(gè)方向信息。根據(jù)是否需要提取特征，分為特征點(diǎn)法和以灰度不變假設(shè)為前提的直接法。

　　1.1特征點(diǎn)法

　　特征點(diǎn)法首先從圖像中提取出關(guān)鍵特征點(diǎn)，然后通過(guò)匹配特征點(diǎn)的手段估計(jì)出相機(jī)運(yùn)動(dòng)。大致分為了兩個(gè)部分即特征點(diǎn)的提取匹配和相機(jī)運(yùn)動(dòng)的位姿估計(jì)。特征點(diǎn)法在視覺(jué)里程計(jì)中占據(jù)了主要地位，是因?yàn)槠溥\(yùn)行穩(wěn)定，而且近年來(lái)研究者們?cè)O(shè)計(jì)了許多具有更好魯棒性的圖像特征，這些特征對(duì)于光照敏感性低，而且基本都擁有旋轉(zhuǎn)不變性和尺度不變性。線面特征的提出更是使得特征點(diǎn)法適應(yīng)了紋理信息少的場(chǎng)景。

　　1.1.1特征提取及匹配

　　經(jīng)典的特征算子有SUSAN、HARRIS10、FAST[1、ShiTomasi[1、SIFT[1、SURF[1、PCASIFT[1、ORB[1，其中最為基礎(chǔ)也是最為經(jīng)典的是HARRIS和SIFT算法，現(xiàn)有的算法基本都是基于這兩者，可以看作是HARRIS和SIFT的簡(jiǎn)化和改進(jìn)。HARRIS角點(diǎn)檢測(cè)算法運(yùn)用了微分運(yùn)算和角點(diǎn)鄰域的灰度二階矩陣，而微分運(yùn)算對(duì)圖像密度和對(duì)亮度的變化不敏感性和二階矩陣特征值不變性使得HARRIS角點(diǎn)檢測(cè)算子擁有了光照變化不敏感，旋轉(zhuǎn)不變性。后來(lái)出現(xiàn)了SUSAN算子它的原理和步驟和HARRIS較為相似，但是SUSAN算子不僅擁有較好的邊緣檢測(cè)性能，在角點(diǎn)檢測(cè)方面也有較好的效果，能夠應(yīng)用在需要輪廓提取的環(huán)境下。

　　2慣性視覺(jué)融合

　　不管特征點(diǎn)法還是直接法要準(zhǔn)確地估計(jì)出圖像之間的變換需要消耗很大的計(jì)算量，所以實(shí)際應(yīng)用中，為了易于工程的實(shí)現(xiàn)，一個(gè)機(jī)器人往往攜帶多種傳感器，由于慣性傳感器(IMU)能夠短時(shí)間精確測(cè)量傳感器的角速度和加速度，但是如果長(zhǎng)時(shí)間應(yīng)用累積誤差嚴(yán)重。可以與相機(jī)傳感器互補(bǔ)，稱為視覺(jué)慣性里程計(jì)即VIOisualnertialdometry)，可以分為基于濾波和基于優(yōu)化的兩大類VIO，也可以根據(jù)兩個(gè)傳感器數(shù)據(jù)應(yīng)用的方法不同分為松耦合和緊耦合，松耦合是指IMU和相機(jī)分別進(jìn)行位姿估計(jì)，緊耦合是指相機(jī)數(shù)據(jù)和IMU數(shù)據(jù)融合，共同構(gòu)建運(yùn)動(dòng)方程和觀測(cè)方程進(jìn)行位姿估計(jì)。現(xiàn)階段基于非線性優(yōu)化的方案如VINSMono，OKVIS。

　　也有基于濾波的緊耦合算法，此類算法需要把相機(jī)圖像特征向量加入到系統(tǒng)的狀態(tài)向量中，使得狀態(tài)向量的維度非常高，從而也會(huì)消耗更大的計(jì)算資源，MSCKFultitateonstraintKalmanilter)[35]和ROVIORObustVisualInertialOdometry)[36]是其中具有代表性的算法。傳統(tǒng)的基于EKF的視覺(jué)里程計(jì)與IMU數(shù)據(jù)融合時(shí)，EKF的更新是基于單幀觀測(cè)的，每個(gè)時(shí)刻的狀態(tài)向量保存的是當(dāng)前幀的位姿信息、速度、變換矩陣和IMU的誤差等，使用IMU做預(yù)測(cè)步驟，視覺(jué)信息作為更新步驟。而MSCKF以類似滑動(dòng)窗口(slidingwindow)的形式，使一個(gè)特征點(diǎn)在幾個(gè)位姿都被觀察到，從而建立約束，再進(jìn)行濾波更新，它避免了僅依賴兩幀相對(duì)的運(yùn)動(dòng)估計(jì)帶來(lái)的計(jì)算負(fù)擔(dān)和信息損失，大大提高了收斂性和魯棒性。

　　ROVIO是一種基于單目相機(jī)的KF濾波VIO，它直接優(yōu)點(diǎn)是計(jì)算量小，但是需要根據(jù)設(shè)備型號(hào)調(diào)整到適合的參數(shù)，參數(shù)也是影響精度的重要因素。ROVIO應(yīng)用在SLAM系統(tǒng)中時(shí)沒(méi)有閉環(huán)，也沒(méi)有建圖的線程，所以誤差會(huì)有漂移。針對(duì)基于濾波的松耦合，為了降低計(jì)算量，通過(guò)把圖像信息當(dāng)作了一個(gè)黑盒，將VO的位姿估計(jì)結(jié)果與IMU數(shù)據(jù)進(jìn)行融合，來(lái)減小狀態(tài)向量維度。是一個(gè)很好的思路。

　　3基于深度學(xué)習(xí)的視覺(jué)里程計(jì)

　　除了與別的傳感器進(jìn)行融合這一思路之外，由于視覺(jué)里程計(jì)獲得都是圖像信息，而深度學(xué)習(xí)在對(duì)圖像識(shí)別，檢測(cè)，分割方面的發(fā)展尤為迅速，從而為兩者結(jié)合提供了良好的基礎(chǔ)。深度學(xué)習(xí)與視覺(jué)里程計(jì)的多方面都有所結(jié)合，相比傳統(tǒng)視覺(jué)里程計(jì)的人工特征，深度學(xué)習(xí)有著較為優(yōu)秀的自動(dòng)特征表征能力，且和直接法一樣不需要計(jì)算描述子，也不需要傳統(tǒng)視覺(jué)里程計(jì)復(fù)雜的工程，比如相機(jī)參數(shù)標(biāo)定，各種傳統(tǒng)的人工特征或者角點(diǎn)在面臨光照變化，動(dòng)態(tài)場(chǎng)景或者是圖像紋理較為單一的情況時(shí)都有一定的敏感性，對(duì)于這些問(wèn)題，基于深度學(xué)習(xí)的特征提取技術(shù)使得視覺(jué)里程計(jì)的性能有了一定的改善。用來(lái)解決位姿估計(jì)問(wèn)題的深度學(xué)習(xí)技術(shù)大致分為了監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)。

　　監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)中，最開(kāi)始Kendall等人提出PoseNet[42]，他們使用CNN粗略地預(yù)測(cè)出相機(jī)的運(yùn)動(dòng)的速度和方向，使用SFM自動(dòng)生成訓(xùn)練樣本的標(biāo)注，通過(guò)遷移學(xué)習(xí)實(shí)現(xiàn)了在沒(méi)有大量數(shù)據(jù)標(biāo)簽情況下，輸出較為精準(zhǔn)的位姿信息。Costante等[43]用稠密光流代替RGB圖像作為CNN的輸入。該系統(tǒng)設(shè)計(jì)了三種不同的CNN架構(gòu)用于VO的特征學(xué)習(xí)，實(shí)現(xiàn)了算法在圖像模糊和曝光不足等條件下的魯棒性。然而實(shí)驗(yàn)結(jié)果表明同Poseet一樣，訓(xùn)練數(shù)據(jù)對(duì)于算法影響很大，當(dāng)圖像序列幀間運(yùn)動(dòng)較大時(shí)，算法誤差很大，這主要是由于訓(xùn)練數(shù)據(jù)缺少高速訓(xùn)練樣本。

　　4總結(jié)與展望

　　本文對(duì)視覺(jué)里程計(jì)的三個(gè)模塊即像素跟蹤模塊，外點(diǎn)排除模塊和位姿估計(jì)模塊進(jìn)行了綜述，介紹了近幾年的視覺(jué)里程計(jì)算法。其中著重介紹了像素跟蹤模塊，包括傳統(tǒng)的基于點(diǎn)特征法和直接法的視覺(jué)里程計(jì)(VO)，還對(duì)比較新穎的線特征和線特征運(yùn)用在VO系統(tǒng)中的優(yōu)勢(shì)進(jìn)行了介紹，在外點(diǎn)排除和運(yùn)動(dòng)估計(jì)模塊就對(duì)簡(jiǎn)略地介紹了相關(guān)理論知識(shí)。最后結(jié)合最新的算法詳細(xì)介紹了當(dāng)前較為火熱的兩個(gè)VO發(fā)展趨勢(shì)，即以視覺(jué)慣性傳感器數(shù)融合為例的多傳感器融合的SLAM前端算法，以及基于深度學(xué)習(xí)的視覺(jué)里程計(jì)。挑戰(zhàn)和機(jī)遇是一對(duì)“雙胞胎”，技術(shù)也是如此，面臨挑戰(zhàn)時(shí)往往會(huì)帶來(lái)機(jī)遇。如下是未來(lái)視覺(jué)里程計(jì)可能的發(fā)展趨勢(shì)：

　　結(jié)合地圖語(yǔ)義信息。由于環(huán)境中普遍存在動(dòng)態(tài)場(chǎng)景造成的實(shí)際樣本和檢測(cè)樣本之間誤差降低了目前大部分的算法模型的位姿估計(jì)，軌跡的精度，通過(guò)結(jié)合語(yǔ)義地圖的方式將從幾何和，語(yǔ)義兩個(gè)方面來(lái)感知場(chǎng)景，使得應(yīng)用對(duì)象對(duì)環(huán)境內(nèi)容有抽象理解，獲取更多的信息，從而來(lái)減小動(dòng)態(tài)場(chǎng)景帶來(lái)的誤差。還可以為優(yōu)化和SLAM中的回環(huán)檢測(cè)帶來(lái)更多信息從而提高精度。但是計(jì)算成本會(huì)增加了很多。適合通過(guò)高性能的計(jì)算設(shè)備用于實(shí)現(xiàn)精密地圖構(gòu)建，場(chǎng)景理解等功能的場(chǎng)合。

　　多機(jī)器人協(xié)同的視覺(jué)里程計(jì)系統(tǒng)。單個(gè)機(jī)器人可能無(wú)法快速熟悉環(huán)境特征及其相對(duì)于環(huán)境特征的位置，也可能在執(zhí)行任務(wù)的過(guò)程中損壞，為了穩(wěn)定的精準(zhǔn)導(dǎo)航，開(kāi)發(fā)分布式系統(tǒng)來(lái)實(shí)現(xiàn)視覺(jué)里程計(jì)也將是一個(gè)發(fā)展方向，使用多個(gè)機(jī)器人可以有很多優(yōu)點(diǎn)，例如，減少了探索一個(gè)環(huán)境所需的時(shí)間，不同的信息來(lái)源提供了更多的信息，分布式系統(tǒng)對(duì)故障更健壯。但是多個(gè)機(jī)器人VO的缺點(diǎn)就是必須將每個(gè)機(jī)器人生成的地圖合并成一張全局地圖，同時(shí)還需要自我定位與其他機(jī)器人協(xié)作。由于單個(gè)地圖以及機(jī)器人之間的相對(duì)姿態(tài)的不確定性，使得地圖合并變得更加困難。這兩個(gè)方向都將是未來(lái)視覺(jué)里程計(jì)的研究者的感興趣的方向。

　　參考文獻(xiàn)Reference

　　[1]PatraS,AggarwalH,AroraH,etal.Computingegomotionwithlocalloopclosuresforegocentricvideos[C]//IEEEWinterConferenceonApplicationsofComputerVision(WACV),2017:454463

　　[2]WangS,Zhang,ZhuF.MonocularvisualSLAMalgorithmforautonomousvesselsailinginharborarea[C]//25thSaintPetersburgInternationalConferenceonIntegratedNavigationSystems(ICINS),2018:1

　　[3]HeH,JiaYH,SunL.SimultaneouslocationandmapconstructionbasedonRBPFSLAMalgorithm[C]//ChineseControlandDecisionConference(CCDC),2018:49074910

　　[4]MoravecHP.Obstacleavoidanceandnavigationintherealworldbyaseeingrobotrover[D].PaloAlto:StanfordUniversity,1980

　　[5]NisterD,NaroditskyO,BergenJ.Visualodometry[C]//Proceedingsofthe2004IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition,2004:652659

　　作者：胡凱1,2，吳佳勝1,2，鄭翡1,2，張彥雯1,2，陳雪超1,2，鹿奔1,2