摘要：針對實(shí)際環(huán)境噪聲下的手機(jī)來源識(shí)別問題，提出一種基于線性判別分析和時(shí)序卷積網(wǎng)絡(luò)的手機(jī)來源識(shí)別方法。首先，通過分析不同手機(jī)語音特征在實(shí)際環(huán)境噪聲下的分類性能，基于帶能量描述符、常數(shù)變換域和線性判別分析得到一種新的手機(jī)語音混合特征。然后以此混合特征為輸入，基于時(shí)序卷積網(wǎng)絡(luò)進(jìn)行訓(xùn)練和分類。最后，在10個(gè)品牌、47種手機(jī)型號、32,900個(gè)語音樣本的實(shí)際環(huán)境噪聲語音庫上的測試結(jié)果顯示，本文所提方法的平均識(shí)別準(zhǔn)確率達(dá)到99.82%。此外，與經(jīng)典的基于帶能量描述符和支持向量機(jī)的方法，以及基于常數(shù)變換域和卷積神經(jīng)網(wǎng)絡(luò)的方法相比，平均識(shí)別準(zhǔn)確率分別提高了0.44和0.54個(gè)百分點(diǎn)，平均召回率分別提高了0.45和0.55個(gè)百分點(diǎn)，平均精確率分別提高了0.41和0.57個(gè)百分點(diǎn)，平均F1分?jǐn)?shù)分別提高了0.49和0.55個(gè)百分點(diǎn)。實(shí)驗(yàn)結(jié)果表明，本文所提方法具有更優(yōu)的綜合識(shí)別性能。

　　關(guān)鍵詞：手機(jī)來源識(shí)別;實(shí)際環(huán)境噪聲;混合特征;線性判別分析;時(shí)序卷積網(wǎng)絡(luò)

　　1.引言

　　隨著視頻、圖片、音頻等各種編輯軟件的普及以及操作的智能化，對多媒體數(shù)據(jù)進(jìn)行編輯和修改顯得越來越輕而易舉。用戶可能對信息進(jìn)行惡意剪切或篡改，在不尊重事實(shí)和他人的基礎(chǔ)上謀取私人利益，從而帶來潛在的不利因素和惡劣影響。為此，多媒體取證技術(shù)[1]旨在能夠鑒別多媒體數(shù)據(jù)是否經(jīng)過編輯、篡改以及識(shí)別和驗(yàn)證多媒體數(shù)據(jù)來源。與視頻和圖像相比，音頻取證隱蔽性更強(qiáng)，且更容易操作。

　　移動(dòng)互聯(lián)網(wǎng)論文：中國智能手機(jī)的大變局時(shí)代

　　越來越多的人在交流、交易協(xié)商時(shí)會(huì)選擇使用語音聊天記錄或手機(jī)錄音取證方式固定曾經(jīng)發(fā)生的客觀事實(shí)，以期在出現(xiàn)法律糾紛時(shí)作為證據(jù)進(jìn)行使用。但是，手機(jī)語音是否可以作為有效證據(jù)被法庭采納的一個(gè)先決條件是需要確定其真?zhèn)�，而對手機(jī)語音的來源設(shè)備識(shí)別是語音證據(jù)鑒真和形成完備證據(jù)鏈的一個(gè)根本前提，已成為近年來多媒體取證領(lǐng)域中的一個(gè)研究熱點(diǎn)[1]。

　　2.相關(guān)工作

　　近年來，手機(jī)來源識(shí)別研究取得了豐碩成果，從對語音信號處理對象的角度，可以分為整體語音和非語音部分兩大類。有觀點(diǎn)認(rèn)為，利用語音信號的非語音部分可以降低計(jì)算復(fù)雜度，且能夠排除語音部分的干擾，從而挖掘手機(jī)設(shè)備的本質(zhì)特征。在這方面，Hanilci和Kinnunen[2]采用信息論的方法提取非語音部分的特征，利用最大互信息訓(xùn)練的高斯混合模型來表示特定設(shè)備的特征。

　　Aggarwal等[3]從噪聲估計(jì)樣本中提取梅爾頻率倒譜系數(shù)(MelFrequencyCepstralCoefficient,MFCC)。Qi等[4]從背景噪聲中提取語音特征，并對比分析了在不同深度學(xué)習(xí)分類器下的識(shí)別性能。Jin等[5]提取自噪聲的光譜形狀特征和光譜分布特征用于手機(jī)來源識(shí)別。裴安山等[6]將本底噪聲作為手機(jī)的指紋，提出了一種基于本底噪聲的手機(jī)來源識(shí)別方法。在他們的后續(xù)研究中[7]，通過使用自適應(yīng)端點(diǎn)檢測算法得到語音的靜音段，然后將靜音段的梅爾頻譜系數(shù)的均值作為分類特征。

　　Baldini等[8]在不同頻率下用非語音聲音刺激內(nèi)置麥克風(fēng)，利用手機(jī)內(nèi)置麥克風(fēng)的固有物理特性構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)對智能手機(jī)進(jìn)行識(shí)別和認(rèn)證。上述針對非語音部分的研究可以有效降低計(jì)算開銷，但完全無視語音部分，可能會(huì)丟失語音部分包含的一些關(guān)鍵設(shè)備特征，從而影響識(shí)別效果。因此，主流的研究大都致力于從整體語音信號上提取特征。特別是最近，Luo等[9]提出了一種新的帶能量描述符(BandEnergyDescriptor,BED)特征，并使用支持向量機(jī)(SupportVectorMachine，SVM)進(jìn)行設(shè)備識(shí)別。BED主要利用不同生產(chǎn)商在音頻采集管道上不盡相同，從而產(chǎn)生可用于音頻取證的微小差異。

　　Qin等[10]提出了一種常數(shù)變換域(ConstantQTransform,CQT)的語音特征，并使用卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeuralNetworks,CNN)進(jìn)行訓(xùn)練。在更早期，Hanilci等[11]提取MFCC作為設(shè)備特征，并利用SVM作為分類器。緊接著，Hanilci和Ertas[12]提出MFCC、線性頻率倒譜系數(shù)、巴克頻率倒譜系數(shù)和線性預(yù)測倒譜系數(shù)四種不同的聲學(xué)特征，并采用倒譜平均歸一化、倒譜方差歸一化、倒譜均值和方差歸一化三種不同的歸一化技術(shù)分別處理。Zou等[13]利用高斯混合模型通用背景模型設(shè)計(jì)一種基于MFCC和功率歸一化倒譜系數(shù)的識(shí)別方法。裴安山等人[14]指出不同手機(jī)的語音頻譜特征是不同的，將語音的頻譜信息量、對數(shù)譜和相位譜特征串聯(lián)構(gòu)成原始融合特征。

　　上述已有方法均是從整體語音信號上提取特征，從而可以充分挖掘語音信號中的關(guān)鍵設(shè)備信息，均在手機(jī)來源識(shí)別上取得了較好的識(shí)別效果，但計(jì)算開銷稍大�？偟膩碚f，雖然BED+SVM[9]和CQT+CN[10]等方法在手機(jī)來源識(shí)別上取得了不錯(cuò)的效果，但是一個(gè)突出的問題是，現(xiàn)有研究大都基于理想而又安靜的實(shí)驗(yàn)室環(huán)境，利用純凈語音或添加人工噪聲語音來進(jìn)行測試分析，而對實(shí)際環(huán)境噪聲語音卻鮮有涉及。在音頻取證中，充當(dāng)證據(jù)的手機(jī)語音信號通常產(chǎn)生于人們交流和交易協(xié)商的生活和工作環(huán)境，包含了各種自然環(huán)境背景噪聲。

　　特別的，自然環(huán)境背景噪聲復(fù)雜多變，在不同天氣、地點(diǎn)，背景噪聲信號對手機(jī)語音信號產(chǎn)生的影響也不同。有時(shí)候，強(qiáng)自然環(huán)境背景噪聲甚至可能會(huì)完全掩蓋設(shè)備本身的噪聲。在對這些手機(jī)語音進(jìn)行特征提取時(shí)，如何降低自然環(huán)境背景噪聲對手機(jī)設(shè)備本身噪聲的干擾是一個(gè)難點(diǎn)問題。當(dāng)自然環(huán)境背景噪聲較小或人工背景噪聲具有一定先驗(yàn)知識(shí)時(shí)，傳統(tǒng)的方法，如MFCC、BED、CQT等都可以較好的提取出設(shè)備噪聲特征。

　　但當(dāng)背景噪聲較大且較復(fù)雜的時(shí)候，傳統(tǒng)的特征提取方法不能有效抵抗背景噪聲的干擾，無法滿足司法領(lǐng)域的實(shí)際需求，必然導(dǎo)致識(shí)別準(zhǔn)確率的下降。因此，如何在實(shí)際環(huán)境噪聲干擾下提取出設(shè)備關(guān)鍵特征，是我們需要解決的第一個(gè)難點(diǎn)問題。此外，SVM和CNN這些分類器沒有充分利用音頻信號的時(shí)序特征，在串行信號的處理上，例如在一個(gè)關(guān)鍵性質(zhì)“記憶力”上很難充分發(fā)揮價(jià)值，因此，選取一個(gè)契合時(shí)序信號的分類器、充分挖掘語音時(shí)序特征是我們需要解決的第二個(gè)問題。

　　基于上述分析，為了滿足司法領(lǐng)域音頻證據(jù)的鑒真需求，提高實(shí)際環(huán)境噪聲下手機(jī)來源識(shí)別的準(zhǔn)確率，本文首先利用線性判別分析(LinearDiscriminantAnalysis,LDA)[15]優(yōu)化一個(gè)語音混合特征，并以此混合特征為輸入，基于時(shí)序卷積網(wǎng)絡(luò)(TemporalConvolutionalNetwork,TCN)[16]進(jìn)行訓(xùn)練和分類，提出一種基于LDA和TCN的手機(jī)來源識(shí)別方法，最后基于各種實(shí)際環(huán)境噪聲語音庫對所提方法進(jìn)行了大量測試和驗(yàn)證。

　　3.基于LDA和TCN的手機(jī)來源識(shí)別

　　3.1基于LDA的混合語音特征

　　提取語音信號的不同特征能從不同側(cè)面反應(yīng)語音的不同信息，因此可以使用融合特征來更加全面的表達(dá)語音信號。本文在已有工作基礎(chǔ)上，通過大量測試和分析，選取并嘗試將BED和CQT這兩個(gè)特征結(jié)合起來，利用LDA[15]優(yōu)化從混合特征中降維出LQBED(LDABasedCQTandBED)，以獲得更全面的語音特征信息，從而在整體上提高特征的分辨力。

　　假設(shè)BED特征維數(shù)為，CQT的特征維數(shù)為，則組合后的特征維數(shù)為nm。雖然組合特征能更全面地反映語音特征，但特征值維數(shù)較大，其中可能包含很多對設(shè)備特征沒有貢獻(xiàn)或者貢獻(xiàn)較小的特征值，即存在一定相關(guān)性或冗余性，會(huì)帶來巨大的計(jì)算開銷。因此，我們需要對這個(gè)混合特征進(jìn)行降維，去除其中的冗余信息。在機(jī)器學(xué)習(xí)中，LDA[15]是一種典型的模式識(shí)別和降維算法。

　　其基本思想是將高維模式樣本投影到最優(yōu)判別向量空間中，以提取分類信息并壓縮特征空間的維數(shù)。投影后，保證樣本有最大的類間距離和最小的類內(nèi)距離，使得同一類數(shù)據(jù)盡可能的緊湊，不同類的數(shù)據(jù)盡可能分散。LDA可以充分利用先驗(yàn)知識(shí)，計(jì)算速度快。特別的，當(dāng)數(shù)據(jù)滿足高斯分布時(shí)，LDA的降維效果非常顯著，而基于語音信號的手機(jī)來源識(shí)別主要是根據(jù)語音信號當(dāng)中含有的設(shè)備元器件(主要是麥克風(fēng))自身噪聲的微小差異來進(jìn)行識(shí)別。通常，電路各元器件自身噪聲和相互作用產(chǎn)生的影響主要就是高斯噪聲。因此，本文選擇LDA對混合特征進(jìn)行降維提取出LQBED特征。

　　4.實(shí)驗(yàn)結(jié)果與分析

　　4.1實(shí)際噪聲語音庫的建立

　　為了測試本文所提方法在自然環(huán)境噪聲下的魯棒性，我們首先構(gòu)建了一個(gè)具有實(shí)際環(huán)境噪聲的語音數(shù)據(jù)庫。該語音數(shù)據(jù)庫由來自表所示的10個(gè)品牌、47種型號手機(jī)設(shè)備的MP3格式的音頻信號組成，采樣率為44100Hz或48000Hz，比特率為64kbps或128kbps。每種型號下的手機(jī)語音信號均收錄于不同性別的人在不同生活噪音環(huán)境下的語音(包括日常對話、電影對話、無線電廣播等)。

　　本文將每種型號收錄到的語音信號平均分割成秒，最終每種手機(jī)共收集700條語音片段，其中600條用于訓(xùn)練，其余100條用于測試，從而構(gòu)建了一個(gè)包含32,900個(gè)語音樣本的語音數(shù)據(jù)庫。其中，訓(xùn)練庫有28,200條語音，測試庫包括4,700條語音。本文涉及到的相關(guān)實(shí)驗(yàn)均是基于以上語音數(shù)據(jù)庫進(jìn)行測試和分析。

　　4.2參數(shù)設(shè)置和評價(jià)指標(biāo)

　　對于TCN，訓(xùn)練周期是一個(gè)關(guān)鍵參數(shù)。本文經(jīng)過大量的測試，發(fā)現(xiàn)當(dāng)訓(xùn)練周期達(dá)到30時(shí)TCN的精度和損失基本不變。因此，為了保證充分的學(xué)習(xí)，本文最終將訓(xùn)練周期設(shè)定為30，網(wǎng)絡(luò)學(xué)習(xí)率設(shè)置為0.01，損失函數(shù)為CategoricalCrossentropy。其他的一些參數(shù)已在圖的網(wǎng)絡(luò)結(jié)構(gòu)中給出。為了充分評估所提方法的性能，本文引入如下四種在機(jī)器學(xué)習(xí)中常用性能指標(biāo)[6]：準(zhǔn)確率(Accuracy)：是使用的最普遍的，也是最直觀的性能指標(biāo)，表示預(yù)測正確的樣本占所有樣本的比例，表示了一個(gè)分類器的區(qū)分能力。召回率(Recall)：是指在所有實(shí)際為正例的樣本中，被預(yù)測為正例的樣本比例。精確率(Precision)：是指在所有被分類為正例的樣本中，真正是正例的比例。F1分?jǐn)?shù)(F1score)：為精確率和召回率的調(diào)和平均數(shù)。

　　5.結(jié)束語

　　為解決司法領(lǐng)域中實(shí)際環(huán)境噪聲下的手機(jī)來源識(shí)別問題，本文首先提取含有實(shí)際環(huán)境噪聲的語音混合特征，然后基于LDA對混合特征進(jìn)行降維得到LQBED特征，最后選擇并設(shè)計(jì)TCN進(jìn)一步學(xué)習(xí)語音深度特征并進(jìn)行分類，提出一種基于LDA和TCN的實(shí)際環(huán)境噪聲下的手機(jī)來源識(shí)別方法LQBED+TCN。根據(jù)10個(gè)品牌、47種型號的手機(jī)設(shè)備，本文構(gòu)建了一個(gè)包含32,900個(gè)語音樣本的實(shí)際環(huán)境噪聲下的語音數(shù)據(jù)庫。

　　在該語音庫上的測試結(jié)果顯示，本文所提LQBED+TCN對實(shí)際環(huán)境噪聲具有較好的綜合識(shí)別性能，平均識(shí)別率達(dá)到了99.82%，且在召回率、精確率和F1分?jǐn)?shù)值上也優(yōu)于已有方法，進(jìn)一步降低了錯(cuò)判率，對司法領(lǐng)域中語音證據(jù)的鑒真具有一定的實(shí)際價(jià)值。但是，本文工作只是針對司法領(lǐng)域?qū)嶋H需求，利用TCN在手機(jī)來源識(shí)別上的一個(gè)從初步嘗試，仍有許多工作需要進(jìn)一步深入研究。

　　首先，由于實(shí)驗(yàn)條件的限制，本文收錄的手機(jī)型號覆蓋范圍還不夠廣泛，因此，語音庫仍需要進(jìn)一步的擴(kuò)充;其次，本文創(chuàng)建的語音數(shù)據(jù)庫均是MP3格式，還需要考慮其它的手機(jī)語音格式;而且，還需要考慮語音信號受到信號處理攻擊下的魯棒性;最后，還將進(jìn)一步考慮改善和挖掘TCN的優(yōu)勢。

　　參考文獻(xiàn)：

　　[1]YangRui,LuoWeii,HuangJi.Multimediaforensics[J].ScientiaSinicaInformation,2013,43(12):16541672.(inChinese)

　　[2]HanilciC,KinnunenT.Sourcecellphonerecognitionfromrecordedspeechusingnonspeechsegments[J].DigitalSignalProcessing,2014,35:7585.

　　[3]AggarwalR,SinghS,RoulAK,etal.Cellphoneidentificationusingnoiseestimatesfromrecordedaudio[C]//ProcoftheInternationalConferenceonCommunicationsandSignalProcessing,2014:12181222.

　　[4]QiS,HuangZ,LiY,etal.Audiorecordingdeviceidentificationbasedondeeplearning[C]//ProcoftheIEEEInternationalConferenceonSignalandImageProcessing,2016:426431.

　　作者：吳張倩，蘇兆品,2,,，武欽芳，張國富,2,,