摘要：增量式運動恢復結構(structure from motion, SfM)已經成為無人機影像空中三角測量的常用解決方案。考慮到無人機影像的特點，增量式 SfM 在效率、精度和穩健性方面的性能有待提高。首先給出了增量式 SfM 無人機影像空中三角測量的技術流程，然后從特征匹配和幾何解算兩個方面對其關鍵技術進行了綜述，最后從數據采集方式改變、大場景影像處理、通信與硬件技術發展、深度學習融合等方向，展望了增量式 SfM 無人機影像空中三角測量的挑戰和后續研究，總結本領域的現有研究，為相關研究者提供參考。

　　關鍵詞：無人機影像;空中三角測量;運動恢復結構;特征匹配;深度學習

　　近年來，無人機已成為攝影測量領域的重要觀測平臺[1]。與衛星和航空攝影相比，無人機攝影測量具備高時效性、高靈活性和高分辨率的優勢[2]。高時效性能夠實現快速的任務執行，滿足應急響應等需求;也能夠進行高頻率作業，實現對目標的連續觀測。高靈活性可根據場景結構設計飛行航跡，滿足復雜場景的安全數據采集需求。同時，采用貼近或優視攝影作業模式[3]，無人機可采集厘米級甚至毫米級的高分辨率影像，提升精細目標場景的觀測能力。無人機攝影測量已在建筑物缺陷檢測、輸電線路巡檢、精細化農業管理、文物遺產數字化等領域得到了廣泛應用[4]。因為載荷能力或成本限制，無人機平臺沒有搭載高精度直接定位定向設備。無人機影像定位定向成為保障其應用的關鍵技術[5]。在攝影測量與遙感領域，空中三角測量(簡稱空三)技術已成功用于衛星和航空影像的定位定向。但是，依賴高精度定位定姿系統(positioning and orientation system， POS)提供精確的未知數初值，且要求數據采集按照規定的航線執行。這些因素極大地限制了攝影測量空三技術在數據采集無序、精確定位定向初值缺乏的無人機影像上的應用推廣。由于不依賴未知數初值和具有較強的抗外點能力，增量式運動恢復結構(structure from motion，SfM)技術可以直接從重疊影像恢復相機的位置姿態和場景的結構信息，已成為當前無人機影像空三的常用解決方案[6]。

　　另外，增量式 SfM 技術可處理無序數據集，適應無人機影像的特點。鑒于上述因素，增量式 SfM 技術已廣泛應用于商業和開源軟件，包括Bentley ContextCapture、Agisoft Metashape 和 MicMac 等影像處理和三維建模軟件。增量式 SfM 技術包括特征匹配和幾何解算兩個主要步驟，從兩張種子影像開始，通過迭代定向和平差實現場景空三處理。盡管在攝影測量與計算機視覺領域，基于局部特征的影像匹配[7]和基于光束法平差的幾何解算[8]已得到了深入研究和廣泛應用。原始增量式SfM 技術用于處理小規模場景或者低分辨率影像，沒有顧及無人機影像的特點，主要體現在：

　　(1)無人機影像具有高分辨率、高重疊度、大數據量等特點，導致特征匹配的計算量大。同時，大傾角攝影和重復紋理等因素影響，使得特征匹配存在很多錯誤匹配點，降低空三精度和穩健性。(2)幾何解算需要迭代優化，即每增加一張或若干張影像進行局部或者全局光束法平差(bundle adjustment，BA)，導致增量式 SfM 迭代優化的效率隨著影像數量增加而顯著下降[9-10]。

　　隨著無人機攝影測量的普及化和規模化應用，勢必對基于增量式SfM 技術的無人機影像空三在效率、精度和穩健性方面提出更高要求[11]。當前，許多學者對增量式 SfM 無人機影像空三開展了大量工作。同時，深度學習技術也在攝影測量與計算機視覺幾何處理領域得到了廣泛研究，對于提升無人機影像空三的精度和可靠性具有巨大的應用潛力。基于上述考慮，本文首先對增量式 SfM 的特征匹配和幾何解算關鍵技術進行了綜述，然后展望了增量式 SfM 無人機影像空三的挑戰和后續研究，旨在總結本領域的現有研究，為相關研究者提供參考。

　　1 無人機影像 SfM 流程

　　顯示了無人機影像增量式 SfM 的技術流程，包括特征匹配和幾何解算兩個部分。特征匹配用于建立重疊影像的同名點對應關系，包括特征提取、特征匹配和粗差剔除。其中，特征提取主要利用局部特征，提取具有高重復性、高可區分性的關鍵點及其描述子，比如 SIFT(scale invariant feature transform)、SURF(speedup robust feature)等特征。

　　特征匹配基于描述子距離最近準則，利用最近鄰搜索獲取初始匹配點;粗差剔除則基于參數化或非參數化方法，剔除初始匹配中的錯誤匹配點。在獲取特征匹配點后，幾何解算則首先選擇兩張同名點數量足夠多、分布均勻的種子影像，利用相對定向算法建立初始化模型;然后通過空間后方交會，增量式地解算其余影像的位置姿態和場景三維點，并迭代執行局部和全局 BA 提高影像空三精度和消除錯誤匹配。無人機影像增量式 SfM 現有研究也主要從特征匹配和幾何解算兩個方面開展。

　　2 無人機影像特征匹配

　　特征匹配的目的是建立兩視或多視影像的同名點關系，是無人機影像 SfM 重建的基礎。在攝影測量與計算機視覺領域，特征匹配已有幾十年的研究歷程。基于局部特征描述子的特征匹配已成為當前主流方法，該方法首先提取影像高顯著性的點、線或者塊狀結構，并生成對應的高維描述子，然后基于描述子的最近距離準則建立影像對應關系。基于局部特征描述子的特征匹配方法主要包括特征提取、特征匹配和粗差剔除 3 個步驟。

　　2.1 特征提取特征

　　提取的目標是提取具有高重復性、高可區分性的特征點，并生成對應的特征描述子。其中，高重復性可以保證所提取的特征點能夠在其他重疊影像中被檢測到;高可區分性則保證所提取的特征點能夠在其他重疊影像中被正確匹配到。已有的特征提取方法可以分為手工特征和深度學習特征。

　　1)手工特征手工特征提取方法包括早期的旋轉不變 Harris 角點特征[12]，到最近的具有尺度、視角和光照不變性的 SIFT 特征[13]及其改進算法，比如基于仿射視角模擬的 ASIFT(affineSIFT)[14]、利用平方根代替歐式距離準則的 RootSIFT[15]。同時，為了適應資源受限平臺的計算需求，有學者利用二進制描述子或者硬件加速，提出了計算效率更高的特征描述子，比如 SURF[16]、ORB(oriented FAST and rotated BRIEF)[17]、GPUSIFT[18]。在攝影測量與遙感領域，手工特征也得到了深入研究和廣泛應用[19-21]。

　　為了實現大傾角無人機特征匹配，現有方法一方面提取特征點的局部仿射不變支撐鄰域[22];另一方面利用無人機粗略 POS 進行影像整體糾正，以減少影像透視變形的影響[23-24]。為了實現高分辨率無人機影像特征匹配，現有研究通常利用粗略無人機 POS 信息或者降采樣影像之間的單應矩陣，建立影像之間的幾何對應關系，實現分塊特征匹配策略，這類方法也常用于大幅面遙感影像[25-26]。

　　2)深度學習特征近年來，深度學習特征在攝影測量與計算機視覺領域得到了廣泛關注。不同于手工特征的硬編碼模式，深度學習從訓練樣本提取內在特征，并利用神經網絡模型進行擬合[27]。大多數深度學習特征采用卷積神經網絡(convolutional neural network，CNN)模型實現，可以分為分步特征提取描述網絡和聯合特征提取描述網絡。

　　(1)分步特征提取描述網絡。該類網絡僅僅利用 CNN 模型學習特征提取方法所獲取影像塊的描述子。文獻[28]提出了基于全卷積結構的 L2-Net 深度特征提取網絡，利用漸進采樣策略和對數似然估計損失函數實現模型訓練。由于簡潔的模型結構和優異的模型性能，L2-Net 成為后續多項深度特征學習網絡的基礎模型，包括基于三元邊界損失的HardNet[29]、顧及幾何約束的 GeoDesc[30]、考慮特征點空間關系的 ContextDesc[31]。

　　(2)聯合特征提取描述網絡。該類網絡直接從影像提取特征點及其對應的描述子。這類網絡模型采用端到端的結構進行設計，輸入為原始或者降采樣影像，輸出為特征點和描述子。文獻[32]提出的 LIFT(learned invariant feature transform)網絡模型，模擬 SIFT 算法的特征提取、主方向計算和特征描述等步驟，是這類深度學習特征的早期嘗試。

　　其他相關研究者從訓練樣本生成、極端場景條件等多個方面進行研究。為了解決特征檢測網絡訓練樣本不足的問題，文獻[33]利用合成數據集，采用特征點自標注算法生成訓練樣本，提出特征點檢測器自監督學習的 SuperPoint 網絡模型。與常規的特征提取-特征描述步驟不同，文獻[34]提出適用于極端條件下的特征提取網絡模型 D2-Net，該模型首先生成特征圖和特征描述子，然后基于特征圖的高層信息提取可靠特征點。

　　與聯合特征提取描述網絡相比，分步特征提取描述網絡在基于影像的三維重建中的應用更加廣泛，主要原因在于這類模型可直接嵌入現有的三維重建流程，即從特征提取的影像塊生成類似 SIFT 的 128 維描述子，并采用歐式距離最小化準則獲得初始特征匹配[27-28]。圖 2 顯示了 RooSIFT 算法與深度學習模型進行特征提取的性能對比。其中，特征匹配均采用描述子歐式距離最近鄰準則實現，括號中的數值分別代表內點數、初始匹配數和內點率。從實驗結果可以看出，與 RootSIFT 算法相比，近年提出的深度學習模型性能逐步提高，并超過手工特征提取算法的性能。

　　2.2 特征匹配

　　匹配效率提升特征匹配通過描述子歐式距離最近準則建立初始匹配點。已有方法一般通過近似最近鄰搜索算法(approximate nearest neighbor，ANN)[35]或者圖形處理器(graphics processingunit，GPU)加速技術[18]提升特征匹配效率。由于高維特征描述子計算量大和無人機影像分辨率高、匹配對數量多等因素，特征匹配成為無人機攝影測量三維重建最耗時的步驟之一[36]。無人機影像特征匹配效率提升的方法主要分為 3 類：

　　(1)限制影像的特征點數量。其核心思想是選擇有用的特征點參與匹配。文獻[37]以尺度空間和影像空間的均勻分布為準則，選擇分布均勻的特征點;文獻[38]選擇高層尺度空間的特征，并將其嵌入 VisualSfM 軟件，實現線性時間復雜度的特征匹配;文獻[39]則考慮特征描述子的信息量，選擇更容易匹配的特征點。

　　(2)減少參與匹配的影像數量。其核心思想是從原始數據集中選擇代表性的關鍵影像，進而減少后續匹配對的數量，實現特征匹配加速。現有方法分為基于影像聚類的方法[40-41]和基于影像拓撲連接圖分析的方法[42-43]。前者從具有相同視角的影像聚類集合中選擇一張代表性的影像，如文獻[41]中的 iconic view;后者則將影像和匹配對表達為無向圖結構，并從圖結構中選擇一個最小頂點子集，使得該頂點子集能夠穩健重建，并且其他頂點存在至少一條與之連接的邊。

　　(3)減少影像匹配對數量。其核心思想是減少不必要的匹配對，達到匹配加速的目的。這類方法往往是最直接、可靠的特征匹配加速方法。在不依賴其他輔助信息的情況下，影像匹配對選擇可以依據降采樣影像的匹配點數量[38]或者基于內容的影像檢索(content-based image retrieval，CBIR)技術獲得[44-45]。

　　對于無人機影像，機載 POS 數據可以提供輔助信息用于匹配對選擇[46-47]。上述方法生成的影像匹配對依然包含很多冗余信息。影像拓撲連接圖(topological connection network，TCN)首先被用于簡化匹配對數量[48-49]，如文獻[48]利用影像 POS 信息建立初始影像拓撲連接圖;然后提取最小生成樹，實現影像拓撲連接圖的最簡化;最后基于連接邊擴展，建立航向旁向連接邊，達到影像匹配對簡化的目的。

　　與初始 TCN 圖相比，影像匹配對數量顯著減少。深度學習技術近年來，深度學習技術也被用于特征匹配，取代描述子最近鄰搜索策略。現有深度學習網絡模型采用全連接神經網絡作為匹配判別層，并與特征提取層組成端到端的特征匹配網絡。匹配判別層和特征提取層組成了深度學習特征匹配的網絡模型，即聯合特征測度學習網絡。特征匹配網絡通常采用孿生結構或者三分支結構。

　　文獻[50]設計了基于孿生結構的 MatchNet 網絡，包含一個多層 CNN 組成的特征描述子生成子模塊和一個三層全連接子模塊組成的描述子相似性計算子模塊;文獻[51]對比了 5 種特征匹配神經網絡模型，即雙通道網絡、孿生網絡、偽孿生網絡、中心環繞-雙流網絡，以及空間金字塔池化網絡。除了網絡結構設計，訓練樣本采樣策略對深度學習模型的性能有顯著影響。文獻[52]提出漸進采樣策略，選擇較難匹配的正負樣本。該采樣策略可以提高模型的判別能力，加速模型訓練速度，也被其他相關研究所采用[29]。

　　2.3 粗差剔除由于局部描述子有限的可區分性和遮擋、重復紋理等因素影響，基于最近鄰搜索的初始特征匹配不可避免地包含錯誤匹配點，粗差剔除成為高精度特征匹配的關鍵步驟。現有粗差剔除方法可以分為參數化方法、非參數化方法和深度學習方法。

　　3 無人機影像

　　幾何解算攝影測量平差假定數據采集航線規范、未知數理想初值已知。考慮到無人機影像的無序性和未知數初值不確定，運動恢復結構 SfM 成為無人機影像空三的標準解決方案。SfM技術來源于計算機多視幾何領域，其目標是為恢復重疊影像位姿和場景結構信息。SfM 的優勢主要體現在兩個方面：(1)不依賴未知數初值，直接從重疊影像估計;(2)不對數據采集標準過度要求，能夠適應無序數據集。

　　4 結語

　　本文對增量式 SfM 的特征匹配和幾何解算關鍵技術進行了綜述。現有研究極大地推動了增量式 SfM 朝著高效率、高精度和高穩健的方向發展，同時也促進了包括 AliceVision、COLMAP、MetaShape 和 Pix4DMapper 等開源和商業軟件系統的不斷完善。當前，在攝影測量與計算機視覺領域，增量式 SfM 無人機影像空三的研究熱情依然不減。考慮到數據采集方式改變、大場景數據處理、通信與硬件技術發展、以及深度學習融合等因素，增量式SfM 無人機影像空三面臨新的挑戰和發展。本文從以下幾個方面進行研究展望：

　　(1)針對幾何感知的數據采集方式，如何實現高效、高精度的影像匹配，是提高增量式 SfM 無人機影像空三效率和精度的基礎。近年來，幾何感知無人機航跡規劃方式得到了廣泛關注，如貼近或優視攝影測量[3]。但是，由于飛行高度低和大傾角攝影造成的遮擋嚴重、透視畸變問題，導致同名點的匹配難度大。現有研究通常利用無人機平臺的粗略 POS整體糾正影像，這類方法以減少特征數量和額外計算量為代價，很難滿足大場景無人機影像高效特征匹配需求。同時，無序影像的窮舉匹配極大地降低了影像匹配效率。

　　基于內容的圖像檢索 CBIR 利用圖像特征進行相似影像搜索，成為開源 SfM 系統特征匹配加速的重要模塊。對于無人機影像，則要從檢索精度和檢索效率兩方面進行平衡：如果利用公開數據集訓練詞匯庫，則會降低檢索精度;如果用無人機影像本身訓練，則會造成高計算代價。高效影像檢索和穩健特征匹配是增量式 SfM 無人機影像空三的基礎。

　　(2)針對大場景影像數據處理，如何加速 BA 優化效率和避免 SfM 順序性約束，是提高無人機影像空三效率和穩健性的核心。增量式 SfM 依賴迭代的局部和全局 BA 優化，以減少誤差累計和提高位姿解算精度。為了提高 BA 優化效率，現有方法通常從硬件加速技術、簡化和優化平差模型等方面改進，但依然無法滿足大場景數據處理需求。盡管硬件加速是提升 BA 效率最直接的方式，但是嚴重依賴所使用的硬件配置條件，有時無法滿足實際應用的硬件條件。

　　平差模型簡化和優化方法能夠減少未知數數量，但是其加速上限十分有限，且依賴特定的數據采集設備。近年來，基于分塊-合并策略的并行增量式 SfM 技術將大場景分割為緊湊的小場景，結合分布式并行計算技術，可打破順序性約束。盡管在處理大場景影像數據方面受到廣泛關注，但是模型合并仍是其難點。

　　(3)聯合深度學習技術的增量式 SfM 無人機影像空三技術框架。當前，深度學習已在圖像語義信息提取方面得到廣泛應用。聯合圖像語義信息的攝影測量幾何處理也已成為新的研究熱點[90]。

　　一方面，深度學習技術可以直接獲取幾何處理所需的特征信息，增強手工特征的判別能力;另一方面，經典幾何處理方法具有更高的精度，可以密集深度學習技術的不足。從影像特征匹配方面看，聯合特征提取描述網絡需對原始影像進行降采樣，導致特征點僅有像素級定位精度[91-92]。

　　結合高精度的手工特征提取算法和高可區分性的深度學習特征描述網絡，則可得到精度和可區分性增強的特征描述子。因此，聯合深度學習技術的優勢，對特征提取、特征匹配、粗差剔除、幾何解算等環節進行優化，可以進一步提升增量式 SfM 無人機影像空三的整體性能。

　　(4)針對災害應急、突發事件監測等時效性敏感應用，如何實現機上實時數據處理是進一步擴展無人機攝影測量應用的重要途徑。當前，無人機攝影測量應用主要采用在線數據采集和離線數據處理模式，主要原因在于無人機平臺有限的計算能力和數據傳輸帶寬。

　　無人機論文范例：淺談無人機遙感測繪技術在露天礦山測繪中的應用前景

　　隨著移動計算設備和通信技術的發展，無人機機上實時或準實時的數據處理和信息傳輸將會得到進一步發展，如英偉達 Jetson 高性能人工智能邊緣計算、基于 5G 通訊技術的快速數據傳輸。同時，機器人導航與自動駕駛領域利用同時定位與制圖技術(simultaneouslocalization and mapping，SLAM)實現未知場景下的環境探索[93]和自主導航。這些技術會進一步提升無人機系統的智能化水平，擴展無人機攝影測量應用。因此，面向機上實時/準實時的信息提取將會成為一個重要需求。

　　參考文獻：

　　[1]Li Deren, Li Ming. Research Advance and Application Prospect of Unmanned Aerial Vehicle RemoteSensing System[J]. Geomatics and Information Science of Wuhan University, 2014, 39(5): 505-513 (李德仁, 李明. 無人機遙感系統的研究進展與應用前景[J]. 武漢大學學報·信息科學版,2014, 39(5): 505-513)

　　[2] Colomina I, Molina P. Unmanned Aerial Systems for Photogrammetry and Remote Sensing: AReview[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014, 92: 79-97

　　[3] Zhou X H, Xie K, Huang K, et al. Offsite Aerial Path Planning for Efficient Urban SceneReconstruction[J]. ACM Transactions on Graphics, 2020, 39(6): 192

　　[4] Jiang S, Jiang W S, Wang L Z. Unmanned Aerial Vehicle-Based Photogrammetric 3D Mapping: ASurvey of Techniques, Applications, and Challenges[J]. IEEE Geoscience and Remote SensingMagazine, 2248, PP(99): 2-38

　　[5] Jiang San, Xu Zhihai, Zhang Feng, et al. Solution for Efficient SfM Reconstruction of ObliqueUAV Images[J]. Geomatics and Information Science of Wuhan University, 2019, 44(8): 1153-1161(姜三, 許志海, 張峰, 等. 面向無人機傾斜影像的高效 SfM 重建方案[J]. 武漢大學學報·信息科學版, 2019, 44(8): 1153-1161)

　　作者：姜三 1,2，陳武 2，李清泉 3，江萬壽 4