《機場高密度人群的行人檢索研究綜述》論文發(fā)表期刊：《科技經(jīng)濟導(dǎo)刊》；發(fā)表周期：2021年09期

《機場高密度人群的行人檢索研究綜述》論文作者信息：陳卓

　　[摘要]如今現(xiàn)代機場遍布了監(jiān)控設(shè)備以便監(jiān)視者及時發(fā)現(xiàn)機場內(nèi)的異常情況，這種傳統(tǒng)的監(jiān)視方式極為耗費人力。由于行人檢索技術(shù)近年來得到了廣大專家和學(xué)者的普遍關(guān)注，新一代的智能監(jiān)控設(shè)備有望代替機場內(nèi)傳統(tǒng)的視頻監(jiān)控設(shè)備。該技術(shù)利用深度學(xué)習(xí)算法自主性地分析視頻數(shù)據(jù)，從而減輕了安全監(jiān)管過程中的人力消耗。為了深入地了解行人檢索技術(shù)，首先對行人檢索的發(fā)展歷程進行簡要地梳理和總結(jié);接著從局部特征、注意力機制和生成對抗網(wǎng)絡(luò)三個方面對深度學(xué)習(xí)算法展開介紹;然后列舉代表性數(shù)據(jù)集上的部分算法進行性能分析，最后總結(jié)了現(xiàn)階段行人檢索發(fā)展的主要難點，并對該技術(shù)的未來研究方向進行了預(yù)測。

　　[關(guān)鍵詞]行人檢索;注意力機制;對抗網(wǎng)絡(luò)

　　近年來隨著我國民航運輸?shù)捏w系越來越完善，乘坐飛機在很大程度上提高了乘客的出行效率，這無疑對于游客來說有著巨大的吸引力。然而，這就意味著我國的一些大中小型機場將迎來大量的游客，人群密度也隨之增大，這在一定程度上對機場的安全運行產(chǎn)生了巨大壓力。因此，如何減少發(fā)生在機場這樣高密度人群場所的突發(fā)事件所產(chǎn)生的不良影響，一直是機場安全管理領(lǐng)域的研究熱點。

　　通常情況下，一套完整的智能監(jiān)控系統(tǒng)由三部分組成：行人檢測、行人追蹤和行人檢索。行人檢索即行人重識別。行人重識別旨在研究多個攝像頭在非重疊視角下拍攝到的行人是否為特定行人。可以實時地把行人的運動軌跡上傳至云端進行分析和處理。近年來，行人重識別已經(jīng)得到了廣大專家和學(xué)者的普遍關(guān)注，并成為當前的安防領(lǐng)域主要研究方向之一，行人重識別的處理流程如圖1所示。

　　1，基于人工特征的行人檢索

　　行人重識別任務(wù)是研究多個攝像頭在非重疊視角下拍攝到的行人是否為指定行人的過程。該過程主要由提取到穩(wěn)健的表示特征和相似性度量模型的建立兩個過程組成。提取特征的穩(wěn)健與否將直接影響最終行人重識別模型的識別性能，而合理的距離度量函數(shù)將在一定程度上提高了識別的精準度。

　　早期人工特征的方法主要是為了尋找行人在低分辨率、姿勢多變、部分被遮擋和拍攝角度差異的情況下行人身上不變的特征。常用的顏色特征有RGB和HSV等，紋理特征有SILTP和LBP等。為了應(yīng)對特征數(shù)據(jù)的分散性和攝像機所受環(huán)境因素的干擾，近年來有研究者將多種圖像特征描述子進行充分融合。

　　距離度量又稱相似性學(xué)習(xí)，本質(zhì)上是一種特定的距離度量函數(shù)，該函數(shù)是根據(jù)需要而人為設(shè)計的。經(jīng)典的距離度量函數(shù)就是馬氏距離。早在2002年，Xing等人提出了馬氏距離用于距離測度學(xué)習(xí)，由此奠定了未來距離度量學(xué)習(xí)的基石。無論哪種特征組合，只有一結(jié)合有效的度量學(xué)習(xí)才能使行人重識別模型的性能有大幅度的提高。

　　2，基于神經(jīng)網(wǎng)絡(luò)的行人檢索

　　由于傳統(tǒng)行人重識別方法的特征提取以及距離度量學(xué)習(xí)是分離的兩階段結(jié)構(gòu)，其檢索效率低、精準度不是很高。為了提高行人重識別模型的學(xué)習(xí)能力和減少標注樣本的代價。近年來，半監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)的行人重識別研究備受關(guān)注。此外，一些研究工作提出了基于局部的學(xué)習(xí)方法，此方法不僅簡單，還可以獲得更具有判別性的特征。也有一些研究工作是采用生成對抗網(wǎng)絡(luò)或者以注意力機制的方法，該方法可以進一步提升模型特征提取能力。

　　2.1局部特征

　　現(xiàn)階段主要著力于研究如何降低外界因素對行人重識別的干擾和加強局部特征之間的聯(lián)系。其實，早期的行人重識別研究大家還是主要關(guān)注在全局特征，就是對整個圖像進行特征提取，然后將得到的特征向量進行行人檢索。但是研究者們逐漸發(fā)現(xiàn)此種方法已經(jīng)無法再進一步提高識別的準確度。這時，就有研究者開始關(guān)注如何加強局部特征之間的聯(lián)系，使得能提取到更加穩(wěn)健的特征向量。如Yaol"等人提出的部分損失網(wǎng)絡(luò)(Part Loss Network，PL-Net)的深度學(xué)習(xí)方法，該方法是將目標人物分成幾個部分來進行表示，由于沒有考慮局部特征之間的聯(lián)系以及對齊問題，導(dǎo)致提取到行人特征不是很穩(wěn)健。而在2017年，Zhang等人考慮到以上問題，采用基于部件的方法提出了對齊識別模型，實現(xiàn)了局部特征和全局特征協(xié)同工作，并使提取的行人特征更加穩(wěn)健。圖像分割、骨架關(guān)鍵點定位和姿態(tài)矯正等方法常常作為研究者們提取特征的參考方向。

　　圖像分割的主要目標是將圖像劃分為具有獨特性質(zhì)的區(qū)域。如 Bing Shuai 等人提出了一個長短時記憶網(wǎng)絡(luò) (Long short term memory network, LSTM), 如圖 2 所示。該網(wǎng)絡(luò)接收到被分割

　　好的若干塊圖像后，最終的特征是所有圖像塊局部特征的拼湊。

　　2.1.2 骨架關(guān)鍵點定位和姿態(tài)矯正

　　為了解決在圖像分割時行人圖像沒有對齊的情況，Longhui Weil等人提出了對齊特征描述子(Global Local Alignment Descriptor，GLAD)，該特征描述子首先將人體分為幾個主要部件，接著將整張圖和幾個局部圖一起輸入到神經(jīng)網(wǎng)絡(luò)中，最后將全局和局部的特征部件進行融合和提取。相關(guān)數(shù)據(jù)證明，該方法很好地解決了行人姿態(tài)變化的問題，并且GLAD取得了部件檢測的準確性與魯棒性之間的平衡。GLAD主要流程圖如圖3所示。

　　2.2注意力機制

　　注意力機制方法的本質(zhì)就是模擬人類大腦的專注力模型，在看到一張圖像時，觀看感興趣的部分。在檢測過程中，為了解決行人遮擋、背景雜波和行人姿勢的大幅度形變等客觀因素引起的問題，研究者們針對這些客觀因素所引起的復(fù)雜問題提出許多有效地模型。如Li等人通過深入研究注意力機制后，提出了注意力融合卷積神經(jīng)網(wǎng)絡(luò)(Harmonious Attention CNN，HA-CNN)模型。

　　2.3生成對抗網(wǎng)絡(luò)

　　自2014年Lan"1提出對抗生成網(wǎng)絡(luò)(Generative Adversarial Network，GAN)以來，GAN便逐漸地出現(xiàn)在該領(lǐng)域?qū)＜液脱芯空摺?/p>

　　GAN是生成模型的一種，它是在一種對抗博弈狀態(tài)中不斷篩選而產(chǎn)生的。生成對抗網(wǎng)絡(luò)的主要結(jié)構(gòu)包括一個生成器G和一個判別器D，生成器是以輸入的向量生成虛假的樣本來干擾鑒別器的判斷，而判別器是用于判斷樣本是真是假。為了克服高密度人群的機場環(huán)境下游客的姿勢和監(jiān)控設(shè)備周圍的環(huán)境光線等變化，Wei等人利用GAN提出了一種在保證行人本體前景不變的情況下，將背景轉(zhuǎn)換成預(yù)期數(shù)據(jù)集的人員遷移生成對抗網(wǎng)絡(luò)。以此來縮小源域與目標域之間的域差。生成對抗網(wǎng)絡(luò)簡要結(jié)構(gòu)如圖4所示。

　　3相關(guān)算法性能分析

　　3.1常用的實驗評價指標

　　在衡量算法性能時，有三種常見的度量準則：平均精度的均值(mean Average Precision，mAP)、Rank-N表格和積累匹配的特性曲線(Cumulative Match Characteristic，CMC)。mAP表示所有查詢圖片的每個查詢圖片與候選集匹配的平均精度求和再取平均的值，越接近100%，表示重識別效果越好。

　　Rank-N表示搜索結(jié)果中最的nk圖中中概率.CMC曲線的縱坐標是識別率，因此縱坐標數(shù)值越大，表明識別效果越好。

　　3.2實驗結(jié)果的對比

　　表1是按照局部特征、注意力機制和生成對抗網(wǎng)絡(luò)三個方面對具有代表性的行人重識別方法進行了簡單歸類和總結(jié)。目前行人重識別領(lǐng)域的數(shù)據(jù)集種類很多且規(guī)模也越來越大，根據(jù)數(shù)據(jù)集類型的不同、行人數(shù)和簽方法的不同對常用數(shù)據(jù)集進行了比較。

　　從表2中三類數(shù)據(jù)集的Rank值對比可以看出，基于神經(jīng)網(wǎng)絡(luò)的算法普遍在性能上的表現(xiàn)較為突出。Zheng等人提出算法的主要特點是采用雙損失組合去增強特征的表達，也就是提高類內(nèi)特征的聚攏性和類間特征的區(qū)分性，還通過比較特征可視化效果圖，可以看到雙損失能獲得更好的特征表達。但是該算法模型在新的場景下，如細粒度分類等，如何學(xué)習(xí)較魯棒的特征描述符，并進一步提高在大數(shù)據(jù)集上的性能還需進一步研究。

　　4.結(jié)語

　　近年來研究者們不斷地提出新的研究方法，以解決行人檢索系統(tǒng)在實際中應(yīng)用所出現(xiàn)的問題，這說明了行人檢索領(lǐng)域近年來得到了廣大專家和學(xué)者的普遍關(guān)注。特別是，如何減少發(fā)生在機場這樣高密度人群場所的突發(fā)事件所產(chǎn)生的不良影響，從而保證我國民航運輸行業(yè)一直保持著強勁的發(fā)展勢頭具有重要的現(xiàn)實意義。通過以上實驗數(shù)據(jù)可知，行人檢索領(lǐng)域雖然取得了一些成果，但是由于行人姿勢的多變性和外界客觀因素的影響，行人檢索系統(tǒng)所表現(xiàn)的性能仍然達不到預(yù)期效果。因此，未來的行人檢索研究可以從數(shù)據(jù)完善、模型優(yōu)化進行提升算法模型的性能。

　　【參考文獻】

　　[1]Hantao，Yao，Shiliang，et al.Deep Representation Learning With Part Loss for Person Re-Identification[J].Image Processing IEEE Transactions on, 2019.

　　[2] Longhui Wei, Shiliang Zhang, Hantao Yao, Wen Gao, Qi Tian.Glad: Global-local-alignment descriptor for pedestrian retrievalUj.arXiv preprint arXiv: 1709.04329, 2017.

　　[3] LI W, ZHU X, GONG S. Harmonious attention network for person re-identification[C1//Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway: IEEE, 2018: 2285-2294.

　　[4] Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C//Advances in neural information processing systems. New York, NY: MIT Press, 2014: 2672-2680

　　[5] Wang Haoran, Fan Yue, Wang Zexin, et al. Parameter-Free Spatial Attention Network for Person Re-Identificationl1I. arXiv:1811. 12150, 2018.

　　[6] Zhong Zhun, Zheng Liang, Zheng Zhedong, et al. Camera styleadaptation for person re-identification[ CJ//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Piscataway, NJ: IEEE Press, 2018: 5157-5166.

　　[7] Zheng Zhedong, Zheng Liang, Yang Yi. Unlabeled samples generated by gan improve the person re-identification baseline in vitro[C]//Proceedings of the IEEE International Conference on Computer Vision. Piscataway, NI: IEEE Press, 2017: 3754-3762.