摘要：智能目標識別技術(shù)是光電系統(tǒng)多維立體偵察體系的重要支撐，是實現(xiàn)多角度、全方位目標定位、感知分析的基礎(chǔ)。為滿足復雜環(huán)境下光電系統(tǒng)中基于深度學習的目標識別需求，聚焦數(shù)據(jù)、算法和計算能力三大挑戰(zhàn)，提出一種基于多源信息融合的智能化目標識別方法，對多個傳感器融合得到的圖像進行學習和訓練，從而提高目標識別的能力。基于多維圖像融合的目標識別技術(shù)，將多波段融合圖像數(shù)據(jù)進行標注、訓練學習，用來自動識別出圖像中的多個目標。實驗結(jié)果表明，所提算法能夠?qū)崿F(xiàn)對融合目標的精確識別與定位。

　　關(guān)鍵詞：光電系統(tǒng);智能目標識別;深度學習;多源數(shù)據(jù);圖像融合;視覺感知

　　引言

　　光電系統(tǒng)是戰(zhàn)場偵察感知體系的重要組成部分，在情報、監(jiān)視、目標跟蹤和偵察方面具有重要的應用前景。現(xiàn)代無人系統(tǒng)的感知環(huán)境十分復雜，數(shù)據(jù)信息量大，既有地面目標的識別，又有對空中目標的警戒。單一傳感器和單一手段所獲取到的數(shù)據(jù)信息量有限，不同時域、多種波段、多維空間采集到的多源數(shù)據(jù)信息能夠更全面地提供態(tài)勢信息，生成可深層溯源的全數(shù)字化實時態(tài)勢圖，使圖中給個點都由數(shù)據(jù)支撐。多源數(shù)據(jù)是構(gòu)建多維立體偵察體系的重要支撐，是實現(xiàn)多角度、全方位目標分析、識別的基礎(chǔ)，是確定智能感知數(shù)據(jù)信息的重要參考[1]。

　　基于多源信息并結(jié)合人工智能(AI)的視覺感知系統(tǒng)能“理解”視頻圖像內(nèi)容[2]，自動進行目標檢測[3]、目標跟蹤[4]、深度估計[5]、目標識別，對視頻圖像進行實時處理并以現(xiàn)實增強技術(shù)和語音合成技術(shù)將對光電場景的理解實時播報給操作人員[6]，解放相關(guān)人員的雙眼，提高操作人員對態(tài)勢的掌控以及提高對突發(fā)事件的應對能力[7]。

　　智能信息化體系包括數(shù)據(jù)感知系統(tǒng)、數(shù)據(jù)處理系統(tǒng)、智能決策系統(tǒng)等。數(shù)據(jù)為王，數(shù)據(jù)的收集與構(gòu)建是整個信息化感知體系的關(guān)鍵，而光電數(shù)據(jù)信息具有信息量大、直觀性強、可視化程度好的優(yōu)點，是感知系統(tǒng)的主要信息，占到整個數(shù)據(jù)系統(tǒng)的75%~80%[8]智能感知系統(tǒng)的核心技術(shù)是光電視頻圖像內(nèi)容的理解，目標分類識別技術(shù)是光電視頻圖像內(nèi)容理解的基礎(chǔ)[9]。目標分類識別技術(shù)在信息化體系的預警探測、精確制導、戰(zhàn)場指揮和偵察、敵我識別等軍事領(lǐng)域都有廣泛應用前景[10]，已受到世界各國的關(guān)注。通過多源數(shù)據(jù)的引入，特別是實時準實時北斗、光電數(shù)據(jù)與現(xiàn)有偵察數(shù)據(jù)的融合使用，將極大地提升區(qū)域態(tài)勢感知能力，并為指揮決策提供有利支撐。

　　近年來，基于數(shù)據(jù)驅(qū)動的深度學習技術(shù)獲得了突破[11]，AI領(lǐng)域取得了顯著的技術(shù)進步，深度學習技術(shù)得到了迅速發(fā)展、計算機性能呈指數(shù)級增長、訓練機器學習的大型數(shù)據(jù)集數(shù)量增加、商業(yè)投資迅猛，使得AI技術(shù)已經(jīng)有能力給各領(lǐng)域產(chǎn)生顛覆性變化[12]。例如，在圖像識別領(lǐng)域，由于深度學習技術(shù)的引入與發(fā)展，AI僅用了年時間就在圖像識別正確率上超過了人類。如今AI機器學習技術(shù)已經(jīng)可使衛(wèi)星圖像分析和網(wǎng)絡防御等勞動密集型活動實現(xiàn)高度自動化，未來的AI技術(shù)有可能與核武器、飛機、計算機和生物技術(shù)一樣，成為給國家安全帶來深刻變化的顛覆性技術(shù)[13]。

　　可以預期，AI技術(shù)會為國家安全機構(gòu)的戰(zhàn)略[1、組織、優(yōu)先事項和資源分配帶來重大變革。由于AI深度學習技術(shù)具有顛覆性的革新能力，世界各國都將AI的發(fā)展列為重中之重。美國情報高級研究計劃局(IARPA)和哈佛大學在《人工智能與國家安全》報告中指出：AI技術(shù)是給國家安全帶來深刻變化的顛覆性技術(shù)，其未來影響力至少可與核武器比肩。習近平主席在“一帶一路”論壇提出數(shù)字絲綢之路，將AI列入規(guī)劃。我國國務院發(fā)布《新一代人工智能發(fā)展規(guī)劃》，部署構(gòu)筑我國AI發(fā)展的先發(fā)優(yōu)勢，加快建設創(chuàng)新型國家和世界科技強國。

　　未來AI將極有可能完全取代人類成為無人系統(tǒng)的大腦，對傳統(tǒng)的智能系統(tǒng)帶來顛覆性升級，提升無人感知系統(tǒng)的性能。為滿足復雜環(huán)境下光電系統(tǒng)中基于深度學習的目標識別需求，聚焦數(shù)據(jù)、算法和計算能力三大挑戰(zhàn)，本文提出一種基于多源信息融合的智能化目標識別方法，對多個傳感器融合得到的圖像進行學習和訓練，從而提高目標識別的能力。基于多維圖像融合的目標識別技術(shù)，將多波段融合圖像數(shù)據(jù)進行標注、訓練學習，用來自動識別出圖像中的多個目標。

　　1智能視覺感知理論框架

　　基于多源信息融合的智能視覺感知技術(shù)研究以多源數(shù)據(jù)高效和能耗高效為核心，覆蓋從二維視覺到三維視覺的技術(shù)和應用，主要包含視覺計算、語義理解、三維視覺、數(shù)據(jù)生成、多模態(tài)融合、并行處理等方面。在此基礎(chǔ)上，將進一步聚焦到數(shù)據(jù)、算法和計算能力三大挑戰(zhàn)，具體表現(xiàn)在：

　　1)數(shù)據(jù)上，如何從海量數(shù)據(jù)中挖掘有用的信息。海量和優(yōu)質(zhì)的應用場景數(shù)據(jù)是訓練算法精確性的關(guān)鍵基礎(chǔ)。隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)的發(fā)展，其產(chǎn)生并存儲的數(shù)據(jù)量急劇增加，為深度學習算法訓練模型提供了數(shù)據(jù)基礎(chǔ)。以生成數(shù)據(jù)訓練和不同模態(tài)數(shù)據(jù)對齊兩個應用場景為主，使用知識蒸餾與自動數(shù)據(jù)擴增結(jié)合的方法讓AI模型高效地挖掘數(shù)據(jù)中的有用信息。

　　2)算法上，如何設計高效的視覺模型。在深度學習年代，視覺模型主要包含神經(jīng)網(wǎng)絡模型設計和神經(jīng)網(wǎng)絡模型加速兩個場景，具體包括如何通過局部連接思路解決網(wǎng)絡冗余問題，如何加入正則化思想來解決局部連接帶來的不穩(wěn)定性等。為實現(xiàn)通用視覺模型的目標，推理預測是從視覺感知到認知的關(guān)鍵步驟。雖然預訓練方法目前在視覺領(lǐng)域的應用還不成熟，但是近期自監(jiān)督學習的成果為視覺通用模型的發(fā)展注入了新活力，也將成為常識學習的必經(jīng)之路。 計算能力上，如何提高數(shù)據(jù)的處理能力。

　　3)AI芯片的出現(xiàn)彌補了CPU在并行運算上的不足，提高了運算能力。計算能力對于AI的普及具有關(guān)鍵的作用。AI發(fā)展初期由于傳統(tǒng)數(shù)據(jù)處理技術(shù)難以滿足大數(shù)據(jù)的處理需求，限制了技術(shù)的落地應用。AI芯片的出現(xiàn)提高了數(shù)據(jù)的處理能力，彌補了CPU在大規(guī)模和高速率計算能力上的不足，當前主流AI芯片有三類：以GPU為代表的通用芯片、以FPFA為代表的半定制化芯片和ASIC定制化專用芯片。其中，GPU作為市場上AI計算最成熟、應用最廣泛的通用型芯片，短期內(nèi)GPU仍將繼續(xù)占領(lǐng)AI芯片的主要市場份額。

　　2目標圖像數(shù)據(jù)模型庫的構(gòu)建

　　由于目標圖像的數(shù)據(jù)通常是有限的，為解決目標檢測識別的圖像目標數(shù)據(jù)缺乏問題，本文采用軟件仿真建模方式，構(gòu)建帶有目標標注信息的圖像數(shù)據(jù)庫，并以此圖像目標數(shù)據(jù)庫為數(shù)據(jù)樣本，開發(fā)圖像目標檢測的算法模型，實現(xiàn)圖像數(shù)據(jù)在軍事偵察與作戰(zhàn)保障等方面的高效應用。圖像目標識別支持環(huán)境主要是利用圖像目標仿真軟件構(gòu)建圖像目標樣本庫管理。

　　其中，圖像目標仿真軟件主要由目標及場景模型庫、材質(zhì)數(shù)據(jù)庫、目標場景溫度特性計算、大氣特性建模、環(huán)境特性建模、傳感器特性建模、場景合成渲染和場景想定與編輯等子模塊組成，實現(xiàn)目標樣本圖像和標注信息的自動匹配生成，為圖像目標樣本庫管理模塊提供各種目標、各種環(huán)境、各種類別的樣本圖像。

　　對圖像數(shù)據(jù)進行人工標注，按照所需格式構(gòu)建樣本數(shù)據(jù)庫;同時更大規(guī)模的樣本訓練圖像通過仿真得到，構(gòu)建各類目標在不同環(huán)境、天氣、時間等狀態(tài)下的圖像(帶標注信息)，形成圖像目標數(shù)據(jù)庫，為訓練各類型目標識別算法提供基礎(chǔ)數(shù)據(jù)支撐。研究實現(xiàn)稀疏目標觀測輔助的跨模態(tài)圖像生成方法，并基于生成對抗網(wǎng)絡構(gòu)建跨模態(tài)圖像生成模型，通過利用對抗學習以及稀疏目標觀測的監(jiān)督學習，提高跨模態(tài)圖像生成的效果。

　　針對稀疏圖像中有效觀測的稀疏性以及卷積神經(jīng)網(wǎng)絡在處理稀疏圖像時的局限性，采用稀疏卷積融合操作，并結(jié)合跨模態(tài)圖像生成，構(gòu)建稀疏卷積融合網(wǎng)絡，能夠從稀疏的目標觀測圖像中提取有效的模態(tài)信息并將其與源模態(tài)圖像進行融合學習。目標三維幾何模型數(shù)據(jù)庫(包括模型數(shù)據(jù)和材質(zhì)數(shù)據(jù))的各類目標模型涵蓋多個國家，主要包括固定設施(機場、港口、橋梁、航天發(fā)射場、導彈發(fā)射陣地、雷達陣地)、動態(tài)目標(航空器、艦船、地面車輛等)、空天預警目標(彈道導彈、火箭等)以及其他目標模型。

　　同時，根據(jù)工程應用的實際需求，模型開發(fā)人員通過Creator或3DMAX三維建模軟件后續(xù)可進行相關(guān)目標模型擴展與仿真加載，補充現(xiàn)有的模型庫來滿足實際工程項目的需求。同時，軟件提供多場景城市、沙漠、山地、林地和海洋配置，實現(xiàn)目標在多種場景下的圖像成像仿真。建模過程中，根據(jù)目標實際裝備的真實尺寸如長、寬、高和直徑等參數(shù)，對目標三維模型進行建模。目標及場景三維模型數(shù)據(jù)支持通用模型數(shù)據(jù)格式FLT，并支持其他數(shù)據(jù)格式的模型(MAX/3DS/MAYA/OBJ)通過三維軟件轉(zhuǎn)換生成LT數(shù)據(jù)模型，同時軟件可支持OSG格式的模型數(shù)據(jù)，且提供模型材質(zhì)文件。材質(zhì)劃分工具對目標建模，主要分為實體模型映射和特效模型建模兩部分。

　　以飛行器建模為例，飛行器的仿真建模主要由蒙皮、尾噴管、尾焰三部分組成。其中，蒙皮和尾噴管采用實體模型映射方式將實體模型和材質(zhì)庫進行關(guān)聯(lián)，尾焰的紅外輻射計算，結(jié)合了場景特效庫來建模飛機尾焰、火焰、煙霧彈這類特殊效果。

　　3深度學習的計算能力

　　深度神經(jīng)網(wǎng)絡復雜，訓練數(shù)據(jù)多，計算量大。深度神經(jīng)網(wǎng)絡中神經(jīng)元多，神經(jīng)元間連接數(shù)量也相當驚人。從數(shù)學角度看，每個神經(jīng)元都要包含數(shù)學計算(如Sigmoid、ReLU或者Softmax函數(shù))，需要估計的參數(shù)量也極大。語音識別和圖像識別應用中，神經(jīng)元達數(shù)萬個，參數(shù)的數(shù)量千萬，模型復雜導致計算量大，因此計算能力是深度學習應用的基礎(chǔ)。

　　目前隨著數(shù)據(jù)、算法、計算能力三大要素的集聚，以深度學習為代表的AI研究呈現(xiàn)快速發(fā)展的趨勢。以美國為代表的西方國家，在AI硬件基礎(chǔ)設計、深度學習框架等AI底層技術(shù)領(lǐng)域占據(jù)優(yōu)勢，其中深度學習處理器就有美國Nvidia公司的GPU系列產(chǎn)品、Google公司的TPU、IBM公司的TrueNorth(真北)芯片等。目前深度學習圖形處理單元(GPU)加速市場機會呈現(xiàn)英偉達(NVIDIA)公司一家壟斷的局面。

　　更重要的是，NVIDIA公司在利用GPU構(gòu)建訓練環(huán)境時還考慮到了生態(tài)的重要性，這也是一直以來困擾AI發(fā)展的難題。首先，NVIDIA上線了NVIDIAGPUCloud，亞馬遜上線了云平臺(AWS)等云平臺，觸及到了更多云平臺上的開發(fā)者。其次，NVIDIA公司也與研究機構(gòu)、大學院校以及Facebook、YouTube等科技巨頭合作，部署PU服務器的數(shù)據(jù)中心。同時，還為全球數(shù)千家創(chuàng)業(yè)公司推出了Inception項目，除提供技術(shù)和營銷的支持外，還會幫助這些公司在進入不同國家或地區(qū)的市場時尋找潛在的投資機會。

　　NVIDIA公司之于GPU領(lǐng)域的成功除了歸功于專屬的工作站或云服務器平臺，更依托于構(gòu)建了完整的產(chǎn)業(yè)鏈通路，讓新技術(shù)和產(chǎn)品有的放矢，從而形成了自己的生態(tài)圈。在AI硬件方面優(yōu)化針對AI算法和軟件系統(tǒng)的硬件處理能力，并改進硬件體系架構(gòu)，同時推動開發(fā)更強大和更可靠的智能化硬件設備。

　　4基于多源信息融合的目標識別算法

　　為滿足復雜環(huán)境下的目標識別需求，本文提出一種基于多維圖像融合的目標識別方法，該方法對多個傳感器融合得到的大數(shù)據(jù)圖像進行學習和訓練，從而提高目標識別的能力。基于多維圖像融合的目標識別技術(shù)是將多波段融合圖像大數(shù)據(jù)進行標注、訓練學習，用來自動識別出圖像中的多個目標。通過采用圖像融合方法對多波段視頻圖像序列進行融合，并采用深度學習方法最終智能識別出目標。

　　視頻圖像序列是本文需要處理的對象。單一波段傳感器所獲取的圖像信息存在著不足之處。例如，可見光圖像細節(jié)豐富，但是晚上或者光線弱的情況下無法成像;紅外圖像能夠全天候成像，但是得到的是物體溫度的分布，不能夠?qū)崿F(xiàn)對細節(jié)的觀測。采用圖像融合手段，可以將單一傳感器的多波段信息或不同類傳感器所提供的信息加以綜合，消除多傳感器信息之間可能存在的冗余和矛盾，以增強影像中信息透明度，改善解譯的精度、可靠性以及使用率，形成對目標的清晰、完整、準確的信息描述。

　　高效的圖像融合方法可以根據(jù)需要綜合處理多源通道的信息，從而有效地提高圖像信息的利用率、系統(tǒng)對目標識別的可靠性及系統(tǒng)的自動化程度。在無人系統(tǒng)中，通過基于多維圖像融合的目標識別技術(shù)可以滿足系統(tǒng)的多項需求，解決對外部場景的自動化、智能化感知能力，同時基于多維圖像融合的目標識別技術(shù)在民用領(lǐng)域的航測、工業(yè)測量方面也有廣泛用途。

　　本文通過研究不同傳感器的成像特性和圖像特征之間的相關(guān)性，實現(xiàn)了基于多分辨率分析的拉普拉斯金字塔分解結(jié)構(gòu)的融合算法。利用圖像的金字塔分解，還能分析圖像中不同大小的物體。同時，通過對高分辨率的下層進行分析所得到的信息還可能用于指導對低分辨率的上層進行分析，從而大大簡化分析和計算。由于本文的圖像融合方法符合復雜環(huán)境中的自然現(xiàn)實條件，與其他現(xiàn)有圖像融合方法相比，具有融合效果好、細節(jié)豐富等特點。

　　4.1多源圖像空間參數(shù)求解對多源圖像進行融合，需要計算圖像相對參數(shù)變換矩陣，并將不同視場的圖像變換到同一個坐標系中。

　　4.2多源圖像目標識別進行目標識別時，首先要進行數(shù)據(jù)集的標注。對于張采集到的數(shù)據(jù)集圖像，采用標注代碼選擇矩形區(qū)域，將背景區(qū)域的label定義為、目標的區(qū)域label為;分類構(gòu)成一個有一定規(guī)模的用于訓練深度學習模型的訓練集和驗證集，實現(xiàn)對目標的識別;數(shù)據(jù)集的數(shù)量至少為12000張。數(shù)據(jù)標注后進行數(shù)據(jù)訓練，利用標注好的數(shù)據(jù)集對目標分類模型進行訓練;實時采集可見光圖像與紅外圖像，并進行融合，得到融合后的圖像。

　　5實驗結(jié)果

　　本文的圖像采集裝置采用銳爾威視公司的全瑞視訊可見光相機，采用菲力爾公司的XAIR2非制冷熱像儀。計算機硬件采用I77700處理器，主頻為2.80G，硬盤大小為1T，用該計算機對一幀圖像進行目標識別算法計算只需0.1左右。

　　6結(jié)論本文提出一種基于多源信息融合的智能視覺感知方法，該方法對多個傳感器融合得到的大數(shù)據(jù)圖像進行學習和訓練，從而提高目標識別的能力。基于多維圖像融合的目標識別技術(shù)是將多波段融合圖像大數(shù)據(jù)進行標注、訓練學習，用來自動識別出圖像中的多個目標。對艦船目標的實驗結(jié)果表明本文算法能夠?qū)崿F(xiàn)對融合目標的精確識別。通過基于多維圖像融合的目標識別技術(shù)可以滿足軍用光電系統(tǒng)的多項需求，解決對外部場景的自動化、智能化感知能力。

　　參考文獻(References)

　　[1]EE，ARKFastroaddetectionbyCNNbasedcameralidarfusionandsphericalcoordinatetransformation[J].IEEETransactionsonIntelligentTransportationSystems，2021，2258025810

　　[2]AVALIERE，OIA，AGGESE，etal.SemanticallyenhancedUAVstoincreasetheaerialsceneunderstanding[J].IEEETransactionsonSystems，Man，andCybernetics:Systems，2019，49:555567.

　　[3]王芳，王海晏，寇添，等多維特征點空間的紅外弱小目標檢測方法[J].應用光學，2021，41:12681276.ANG，ANG，OU，talMultidimensionalfeaturepointspaceinfrareddimtargetdetectionmethod[J].JournalofAppliedOptics，2021，):12681276(inChinese)

　　[4]牛暢，尹奎英，黃銀和無人機對地目標自動檢測與跟蹤技術(shù)[J].應用光學，2021，41:11531160.IU，IN，UANG.AutomatictargetdetectingandtrackingtechnologybasedonUAVgroundtargetimages[J].JournalofAppliedOptics，2021，):11531160.(inChinese)

　　[5]高文靜，楊預立，邢強，等基于目標運動的復眼式雙目視覺測距法[J].應用光學，2020，41:571579.

　　作者：李良福，陳衛(wèi)東，高強，許開鑾，劉軒，何曦，錢鈞