摘要：堆石料的形狀、尺寸以及級(jí)配等參數(shù)直接影響堆石壩的穩(wěn)定性和抗?jié)B性能，為滿足工程建設(shè)質(zhì)量需求，需要對(duì)堆石料進(jìn)行測(cè)量分析。當(dāng)前主要采用人工的方式篩分堆石料，效率低下。而傳統(tǒng)的圖像分割算法分割精度低，無法準(zhǔn)確測(cè)量巖石的參數(shù)信息。針對(duì)這一問題，本文提出一種深度圖像引導(dǎo)的巖石顆粒分割方法。首先對(duì)深度圖像進(jìn)行預(yù)處理，去除深度圖像的噪聲;然后提取深度圖像與可見光圖像的隨機(jī)特征和顯著性特征，并對(duì)隨機(jī)特征進(jìn)行多次抽樣;最后根據(jù)多組隨機(jī)特征和顯著性特征得到多個(gè)分割預(yù)測(cè)結(jié)果，并選擇最優(yōu)的分割。實(shí)驗(yàn)結(jié)果表明，本文方法能夠?qū)崿F(xiàn)巖石顆粒的準(zhǔn)確分割，并將其應(yīng)用到巖石顆粒度評(píng)估的場(chǎng)景中，計(jì)算巖石顆粒參數(shù)信息。

　　關(guān)鍵詞：圖像分割;深度圖像;可見光圖像;顯著性檢測(cè);堆石料;隨機(jī)特征;顯著性特征;級(jí)配

　　1堆石料開采過程中常采取爆破直采的方法[1]。

　　堆石壩的填筑材料需要具有良好的級(jí)配，以保證壩體的穩(wěn)定性[2]。同時(shí)堆石料的級(jí)配性狀直接影響到石壩的力學(xué)特性和抗?jié)B性能[34]。因此需要對(duì)堆石料進(jìn)行準(zhǔn)確的測(cè)量，將石料的粒徑控制在一定的范圍內(nèi)。傳統(tǒng)的巖石顆粒篩分以人工的方式進(jìn)行，通過肉眼估計(jì)或手工測(cè)量的方法，需要花費(fèi)大量的人力和時(shí)間成本，效率低下且精確度不夠。相較于傳統(tǒng)的人工篩分法，圖像分割技術(shù)具有簡(jiǎn)單、快速、花費(fèi)小的優(yōu)點(diǎn)，能夠?qū)崿F(xiàn)更智能化的堆石料巖石顆粒參數(shù)測(cè)量和分析[5]。通過圖像處理技術(shù)，對(duì)巖石顆粒圖像進(jìn)行分割后獲取巖石顆粒的形狀等信息，能夠測(cè)算堆石料的級(jí)配數(shù)據(jù)。在巖石圖像分割方面，目前有很多學(xué)者進(jìn)行了大量的研究。

　　文獻(xiàn)[5]提出一種基于MaskCNN和分水嶺算法的巖石顆粒圖像分割方法，能避免圖像過分割和欠分割的問題，但網(wǎng)絡(luò)訓(xùn)練過程耗時(shí)較長(zhǎng);文獻(xiàn)[6]通過分類器學(xué)習(xí)圖像的特征，利用圖像特征對(duì)像素進(jìn)行分類后實(shí)現(xiàn)分割，但方法對(duì)巖石顆粒圖像的分割精度低;文獻(xiàn)[7]提取圖像感興趣的區(qū)域后進(jìn)行SRM圖像分割，對(duì)小面積區(qū)域進(jìn)行合并處理得到最終的分割結(jié)果。

　　但該方法無法準(zhǔn)確分割復(fù)雜的巖石顆粒圖像，效果較差;文獻(xiàn)[8]利用改進(jìn)的圖論歸一化割算法來分割礦巖顆粒圖像，分割精度低;文獻(xiàn)[9]結(jié)合深度信息和圖像區(qū)域特征聚類的算法進(jìn)行顯著性目標(biāo)檢測(cè)，分割效果較好。傳統(tǒng)的分割算法大多只使用到了顏色、灰度等特征信息，同時(shí)算法應(yīng)用的待分割圖像中目標(biāo)數(shù)較少，目標(biāo)與背景區(qū)分明顯，分割任務(wù)較為簡(jiǎn)單。

　　當(dāng)面對(duì)目標(biāo)數(shù)多，形狀不規(guī)則，顏色相近的巖石圖像分割任務(wù)時(shí)，通常難以實(shí)現(xiàn)準(zhǔn)確的分割，存在一定的局限性[1012]。隨著深度傳感器技術(shù)的發(fā)展，有效利用深度信息這一重要的視覺信息成為了可能，并為圖像分割提供了新的解決方案，有效提高了分割的精確度[1317]。針對(duì)巖石圖像難以精確分割的問題，本文提出了一種深度圖像引導(dǎo)的巖石顆粒分割方法，有效利用了深度圖像所提供的三維距離信息輔助分割[8,16,18]。

　　協(xié)同利用可見光圖像和深度圖像的信息冗余性和互補(bǔ)性，大幅提高了巖石顆粒圖像分割的準(zhǔn)確性[1922]。首先對(duì)深度圖像進(jìn)行預(yù)處理，去除深度圖像中的噪聲;然后通過神經(jīng)網(wǎng)絡(luò)提取深度圖像和可見光圖像中的隨機(jī)特征和顯著性特征，并對(duì)隨機(jī)特征進(jìn)行多次采樣得到多組不同的隨機(jī)特征;最后結(jié)合顯著性特征和多組不同的隨機(jī)特征，得到多個(gè)圖像分割預(yù)測(cè)結(jié)果圖像，并選擇最優(yōu)的分割結(jié)果。實(shí)驗(yàn)結(jié)果證明，該算法在分割目標(biāo)數(shù)目多、邊界模糊的復(fù)雜場(chǎng)景下能實(shí)現(xiàn)準(zhǔn)確的分割。對(duì)精確分割堆石壩石料，保障堆石壩填筑材料的良好級(jí)配，提高壩體穩(wěn)定性有著極大的應(yīng)用價(jià)值。

　　1圖像分割算法

　　1.1算法流程

　　本文提出的深度圖像引導(dǎo)的巖石顆粒分割方法的流程如下：(1)通過深度圖校正網(wǎng)絡(luò)優(yōu)化深度圖像，去除原始深度圖像中的噪聲;(2)通過先驗(yàn)網(wǎng)絡(luò)對(duì)深度圖像與可見光圖像進(jìn)行卷積操作，將RGBD圖像對(duì)映射至低維的特征空間，提取圖像中的隨機(jī)特征;(3)通過顯著性網(wǎng)絡(luò)提取優(yōu)化后的深度圖像 和可見光圖像的顯著性特征;(4)對(duì)隨機(jī)特征進(jìn)行多次采樣，并結(jié)合顯著性特征，得到多個(gè)圖像分割預(yù)測(cè)結(jié)果;(5)通過顯著性共識(shí)網(wǎng)絡(luò)，根據(jù)每個(gè)預(yù)測(cè)結(jié)果各個(gè)位置的像素值，投票選出對(duì)應(yīng)位置的像素值，得到最終的圖像分割結(jié)果。

　　1.特征提取

　　1.2.1深度圖像校正

　　深度圖像的獲取主要采用深度傳感器或雙目立體相機(jī)計(jì)算深度的方式。不論是深度傳感器獲取得到的深度，還是雙目立體相機(jī)計(jì)算得到的深度圖像，深度圖像中都會(huì)存在一定的噪聲[23]。同時(shí)，由于遮擋、光照等原因，深度圖像中存在有無效點(diǎn)構(gòu)成的缺失區(qū)域。深度圖像的灰度值變化反映了場(chǎng)景中距離信息的變化，可以近似地認(rèn)為深度圖像的邊緣與可見光圖像的邊緣具有一致性。

　　因此，可以利用可見光圖像的邊緣信息對(duì)深度圖像進(jìn)行校正處理。通過基于語義引導(dǎo)的深度圖校正網(wǎng)絡(luò)[24]，得到處理后的深度圖像。深度圖校正網(wǎng)絡(luò)的編碼部分采用VGG16網(wǎng)絡(luò)[24]前五級(jí)作為輸入圖像的編碼器，并刪去了網(wǎng)絡(luò)第五個(gè)池化層之后的全連接層。SS15分別表示為VGG16網(wǎng)絡(luò)刪去第五個(gè)池化層之后的全連接層之后，剩余網(wǎng)絡(luò)部分的五組卷積層和池化層。解碼部分由四個(gè)連續(xù)卷積層和雙線性上采樣操作組成。

　　2實(shí)驗(yàn)結(jié)果及分析

　　針對(duì)實(shí)際場(chǎng)景下堆石料巖石顆粒圖像具有不同的巖塊類型，本文使用ZED2雙目相機(jī)拍攝了多種類型的巖石顆粒圖像，并制作數(shù)據(jù)集。其中，數(shù)據(jù)集共包含巖石顆粒RGBD圖像1000組。訓(xùn)練集與測(cè)試集以9:1的比例進(jìn)行劃分。訓(xùn)練集包含900組巖石顆粒的RGBD圖像及真值圖像GT;測(cè)試集包含100組巖石顆粒的RGBD圖像及真值圖像GT。

　　2.1分割結(jié)果預(yù)測(cè)實(shí)驗(yàn)

　　本文算法針對(duì)不同類型的巖石圖像進(jìn)行分割實(shí)驗(yàn)對(duì)比。并與傳統(tǒng)分割算法OTSU分割算法，分水嶺分割算法以及深度學(xué)習(xí)算法UNet[26]，RTFNet[27]進(jìn)行比較，驗(yàn)證本文算法的分割效果與成功率。

　　對(duì)測(cè)試集中100組RGBD圖像進(jìn)行算法分割結(jié)果預(yù)測(cè)實(shí)驗(yàn)，根據(jù)巖石形狀、大小、堆疊以及遮擋情況將實(shí)驗(yàn)圖像劃分為四組。其中，組圖像巖石數(shù)目以及形狀較為簡(jiǎn)單，巖石之間間隔大，易于區(qū)分。組圖像巖石形狀、大小復(fù)雜，有堆疊、粘連的問題，同時(shí)有較多的非巖石目標(biāo)物。組圖像巖塊之間的堆疊現(xiàn)象較為嚴(yán)重，難以區(qū)分巖石邊界。組圖像巖石的堆疊、粘連現(xiàn)象嚴(yán)重，存在有非巖石目標(biāo)物遮擋的情況。

　　2.1.1傳統(tǒng)分割算法結(jié)果

　　OTSU分割算法通過最大化類間方差劃分圖像中的目標(biāo)和背景。對(duì)于組巖石圖像，OTSU分割算法能夠較好的處理圖像，但是分割結(jié)果并不精確，同時(shí)并未很好地區(qū)分前景與背景，還出現(xiàn)了錯(cuò)誤分割的問題;對(duì)于組巖石圖像，OTSU分割算法對(duì)光照較為敏感，同時(shí)無法處理巖石之間的粘連部分，出現(xiàn)了錯(cuò)誤分割的問題;對(duì)于組巖石圖像，OTSU無法區(qū)分前景與背景，在巖石堆疊部分的分割出現(xiàn)錯(cuò)誤;對(duì)于組巖石圖像，OTSU分割算法無法區(qū)分非巖石目標(biāo)物，對(duì)其他目標(biāo)物出現(xiàn)了錯(cuò)誤的分割。

　　為分水嶺分割算法的分割結(jié)果圖像，分水嶺分割算法將待分割圖像按照像素灰度值進(jìn)行排序，局部極小值處被視為集水盆地，盆地的邊界構(gòu)成分水嶺。對(duì)于四組巖石圖像，分水嶺算法的分割效果均較差，無法實(shí)現(xiàn)巖石的正確分割。根據(jù)分割結(jié)果可知，兩種傳統(tǒng)的圖像分割算法，OTSU分割算法與分水嶺分割算法對(duì)于巖石圖像分割的效果均較差。其中，OTSU分割算法對(duì)巖石圖像能夠進(jìn)行較好的處理，然而其分割結(jié)果并不準(zhǔn)確，背景存在有明顯的噪聲;分水嶺分割算法完全無法實(shí)現(xiàn)巖石圖像的正確分割。

　　2.2定量分析

　　2.2.1評(píng)價(jià)指標(biāo)

　　本文選取平均絕對(duì)誤差(MeanAbsoluteError,MAE)[28]、measure[29]、加權(quán)measure[30]、measure[31]、measure[32]以及AreaUndertheCurve(AUC)作為算法性能的評(píng)價(jià)指標(biāo)。實(shí)驗(yàn)中各個(gè)算法對(duì)100組測(cè)試圖像均做了多次重復(fù)實(shí)驗(yàn)，結(jié)果取平均值。MAE通過計(jì)算分割結(jié)果中每個(gè)像素點(diǎn)的值與人工標(biāo)注圖像之間絕對(duì)差的均值。代表了誤差相對(duì)于真實(shí)值的大小，值越小反映誤差越小。

　　2.3方法應(yīng)用

　　采用數(shù)字圖像處理技術(shù)的方式，對(duì)巖石顆粒圖像進(jìn)行分割，能夠?qū)崿F(xiàn)無接觸地測(cè)量巖石參數(shù)信息。相較于人工篩分的方式具有較大的優(yōu)勢(shì)，能夠?qū)崿F(xiàn)更智能化的堆石料巖石顆粒參數(shù)測(cè)量和分析。然而單獨(dú)使用可見光圖像所提供的顏色、形狀、紋理等信息難以實(shí)現(xiàn)巖石目標(biāo)的精確分割，進(jìn)而影響到巖石參數(shù)測(cè)量的準(zhǔn)確性。

　　讀取巖石目標(biāo)的可見光圖像與深度圖像，協(xié)同使用可見光圖像提供的細(xì)節(jié)信息以及深度圖像提供的三維距離信息，完成對(duì)巖石圖像的精確分割。然后，通過連通域分析方法，標(biāo)記出圖像分割結(jié)果圖像中的巖石目標(biāo)，并測(cè)量出巖石的面積等參數(shù)信息。有助于在堆石壩建設(shè)過程對(duì)堆石料巖石實(shí)現(xiàn)精確地分割后獲取堆石料巖石顆粒準(zhǔn)確的參數(shù)信息，保證堆石料良好的級(jí)配，提高壩體的穩(wěn)定性。

　　3結(jié)論

　　本文提出了一種深度圖像引導(dǎo)的巖石顆粒分割方法，利用深度圖像所提供的三維距離信息輔助分割巖石顆粒并測(cè)量參數(shù)。1)算法對(duì)初始的深度圖像進(jìn)行優(yōu)化，增加深度圖像的語義和幾何信息。通過模擬標(biāo)注真值圖像的不確定性，網(wǎng)絡(luò)輸出多組圖像分割預(yù)測(cè)結(jié)果并選擇最優(yōu)的分割圖像。2)由于堆石料巖石顆粒圖像具有待分割目標(biāo)多、巖石間堆疊粘連、目標(biāo)與背景相近的問題，現(xiàn)有的大部分圖像分割算法無法實(shí)現(xiàn)精確的圖像分割。本文算法有效利用了深度圖像的三維距離信息，大幅提高了圖像分割的精確度。本文算法協(xié)同使用巖石RGBD圖像進(jìn)行分割，算法在多個(gè)評(píng)價(jià)指標(biāo)上均優(yōu)于對(duì)比算法，分割精度高。算法后續(xù)可以應(yīng)用到巖石顆粒度評(píng)估的場(chǎng)景中，獲取巖石顆粒的形狀等信息，測(cè)算堆石料的級(jí)配數(shù)據(jù)。

　　參考文獻(xiàn)

　　[1]楊晨光鐘權(quán)冷振東等.猴子巖面板堆石壩石料開采爆破試驗(yàn)與分析[J].長(zhǎng)江科學(xué)院院報(bào),2015,32(10):7073.

　　[2]陳兵于沭溫彥鋒等.寬級(jí)配粗粒土數(shù)值試驗(yàn)微觀參數(shù)的敏感性分析[J].水利學(xué)報(bào),2015,46(S1):31520.

　　[3]雷雨萌陳祖煜于沭等.基于深度閾值卷積模型的土石料級(jí)配智能檢測(cè)方法研究[J].水利學(xué)報(bào),2021,52(3):369380.

　　[4]朱晟鐘春欣鄭希鐳等.堆石體的填筑標(biāo)準(zhǔn)與級(jí)配優(yōu)化研究[J].巖土工程學(xué)報(bào),2018,40(1):10815.

　　[5]司晨冉王仁超邸闊等.一種基于MaskRCNN和分水嶺算法的巖石顆粒圖像分割方法[J].水電能源科學(xué),2020,38(11):128,129132.

　　[6]崔冰王衛(wèi)星.基于統(tǒng)計(jì)模式識(shí)別的巖石節(jié)理圖像分割方法J].計(jì)算機(jī)工程與應(yīng)用,2006(10):21315.

　　[7]吳擁蘇桂芬滕奇志等.巖石薄片正交偏光圖像的顆粒分割方法[J].科學(xué)技術(shù)與工程,2013,13(31):92019206.

　　[8]楊丹丹王衛(wèi)星廖一鵬.基于多尺度分析及圖論歸一化割的礦巖顆粒圖像分割及應(yīng)用[J].四川大學(xué)學(xué)報(bào)工程科學(xué)版),2015,47(S1):118124.

　　作者：嚴(yán)良平,潘月梁,姜雄彪,陸秋雨,徐暢