改進(jìn)的U-Net網(wǎng)絡(luò)及在遙感影像道路提取中的應(yīng)用

　　摘 要：高分辨率遙感圖像分割在軍事、民用等領(lǐng)域具有良好的應(yīng)用前景，但由于復(fù)雜的背景條件以及干擾物的遮擋，導(dǎo)致現(xiàn)有算法無(wú)法較好地從遙感影像中提取道路細(xì)節(jié)信息。研究基于改進(jìn) U-Net 網(wǎng)絡(luò)模型，提出了 MDAU-Net(multi dimension attention U-Net)網(wǎng)絡(luò)結(jié)構(gòu)模型：通過(guò)對(duì) U-Net 網(wǎng)絡(luò)結(jié)構(gòu)加深至七層結(jié)構(gòu)來(lái)提升精細(xì)分割道路的能力;并提出了一種多維注意力模塊 MD-MECA(Multi Dimension Modified Efficient Channel Attention)模塊，將其添加至編碼部分的特征傳遞步驟中，以達(dá)到對(duì)編碼部分的特征傳遞進(jìn)行優(yōu)化的目的;其中利用 DropBlock 與 Batch Normalization 解決網(wǎng)絡(luò)訓(xùn)練過(guò)程中出現(xiàn)的過(guò)擬合。實(shí)驗(yàn)結(jié)果表明:改進(jìn)后算法可以有效提升道路的提取效果，在測(cè)試集上的準(zhǔn)確率達(dá)到了 97.04%。

　　孔嘉嫄; 張和生， 中國(guó)空間科學(xué)技術(shù) 發(fā)表時(shí)間：2021-08-02

　　關(guān)鍵詞：遙感影像;道路提取;U-Net 網(wǎng)絡(luò);多維注意力;特征傳遞

　　近年來(lái)，我國(guó)遙感衛(wèi)星事業(yè)高速發(fā)展，對(duì)于遙感影像的獲取日益簡(jiǎn)便快捷。由于高分辨率圖像的廣泛覆蓋和高精度，它已成為地理信息數(shù)據(jù)的重要來(lái)源。從這些圖像中提取的道路網(wǎng)絡(luò)信息具有廣泛的適用性，包括在導(dǎo)航、制圖，城市規(guī)劃和地理?xiàng)l件監(jiān)視中的應(yīng)用。道路是重要的人工建筑物、現(xiàn)代交通基礎(chǔ)設(shè)施的主體和地理信息系統(tǒng)中的基本數(shù)據(jù)。因此，及時(shí)更新道路信息將對(duì)依賴于這些系統(tǒng)的所有事物產(chǎn)生影響：如制圖、路線分析和緊急響應(yīng)。利用遙感影像，大范圍自動(dòng)提取道路數(shù)據(jù)吸引了全世界的廣泛關(guān)注。眾多學(xué)者經(jīng)過(guò)多年的研究，提出并改進(jìn)了多種道路提取方法。如張永宏等[1]全面總結(jié)分析了現(xiàn)有的道路提取方法，將其分為三類： 1)基于像元的道路提取方法。如羅慶洲等[2]提出了用光譜特征與形狀特征相結(jié)合的方法提取道路，林祥國(guó)等[3]使用角度紋理特征和灰度最小二乘匹配進(jìn)行最佳量算提取陰影下帶狀道路。該類方法主要利用道路本身波譜特征的差異進(jìn)行道路提取，對(duì)于背景簡(jiǎn)單清晰、目標(biāo)較少的遙感圖像提取效果較好，但對(duì)于背景信息較為復(fù)雜的遙感圖像道路提取效果不佳，需要大量后續(xù)處理。2)面向?qū)ο蟮牡缆诽崛》椒āＨ珀惲⒏５萚4]提出的將馬爾可夫隨機(jī)場(chǎng)分割與數(shù)學(xué)形態(tài)學(xué)處理融合的方法，曹云剛等[5]提出的融合像元多尺度對(duì)象級(jí)特征的高分辨率遙感影像道路中心線提取方法。該類方法主要將圖像作為整體，將其分割為小像元，再進(jìn)行道路提取。適用于信息量豐富、特征分明的遙感影像，而對(duì)于相似地物容易混分產(chǎn)生粘連現(xiàn)象。3)基于深度學(xué)習(xí)的道路提取方法。如 Cheng 等 [6]通過(guò)將兩個(gè)卷積網(wǎng)絡(luò)級(jí)聯(lián)到一個(gè)框架中，提出了級(jí)聯(lián)的端到端卷積神經(jīng)網(wǎng)絡(luò)(CasNet)的方法。Liu 等 [7]提出的深度解析網(wǎng)絡(luò)(DPN)將卷積神經(jīng)網(wǎng)絡(luò)(CNN)與馬爾可夫隨機(jī)場(chǎng)(MRF)相結(jié)合對(duì)道路進(jìn)行提取。這類方法具有高效的學(xué)習(xí)能力和特征表達(dá)能力，在區(qū)別道路與其他非道路地物方面有突出優(yōu)勢(shì)，但仍存在道路斷點(diǎn)，提取效果有待進(jìn)一步提升。

　　隨著計(jì)算機(jī)技術(shù)不斷發(fā)展進(jìn)步，不少學(xué)者對(duì)深度學(xué)習(xí)方法做出了許多改進(jìn)，以此提高遙感影像道路的識(shí)別精度。其中 U-Net 網(wǎng)絡(luò)[8]的跨越連接結(jié)構(gòu)實(shí)現(xiàn)了多尺度圖像信息的融合，在保留了高級(jí)的語(yǔ)義信息的同時(shí)顧及了低級(jí)的細(xì)節(jié)信息，因其改造性強(qiáng)且訓(xùn)練速度快，目前在圖像分割領(lǐng)域最為常用。如袁偉等[9]提出一種新的形態(tài)損失函數(shù)有效提高道路分割精度。金飛等[10]用雙 U-Net 網(wǎng)絡(luò)聯(lián)合訓(xùn)練和形態(tài)學(xué)后處理方式取得不錯(cuò)效果。王卓等[11]通過(guò)在 U-Net 網(wǎng)絡(luò)中利用 Batch Normalization、ELU 與 Dropout 較好地解決了過(guò)擬合問(wèn)題。

　　針對(duì)以上分析，研究采用 U-Net 網(wǎng)絡(luò)模型作為基礎(chǔ)結(jié)構(gòu)，提出了一種基于改進(jìn) U-Net 的多維度監(jiān)督特征優(yōu)化的網(wǎng)絡(luò)模型 MDAU-Net：通過(guò)對(duì) U-Net 進(jìn)行加深結(jié)構(gòu)處理，采用 7 層卷積和下采樣模塊進(jìn)行特征提取;同時(shí)，為了優(yōu)化建筑物目標(biāo)的淺層細(xì)節(jié)特征和深層的語(yǔ)義特征，設(shè)計(jì)了模塊 MD-MECA 并將其添加至編碼部分到解碼部分的特征傳遞步驟中;并引入Batch Normalization[12] 和DropBlock[13] 解決網(wǎng)絡(luò)訓(xùn)練過(guò)程中出現(xiàn)的過(guò)擬合問(wèn)題。在遙感影像上進(jìn)行道路提取試驗(yàn)，有效減少了提取中的斷裂問(wèn)題，較好提取細(xì)小道路，實(shí)現(xiàn)遙感影像道路完整提取。

　　1 網(wǎng)絡(luò)結(jié)構(gòu)

　　1.1 U-Net 結(jié)構(gòu)

　　U-Net 結(jié)構(gòu)于 2015 年 5 月由 Ronneberger 等 [8] 提出，最初廣泛應(yīng)用于醫(yī)學(xué)圖像分割領(lǐng)域。作為一種非常經(jīng)典的全卷積網(wǎng)絡(luò)模型，目前在遙感影像分割領(lǐng)域中被廣泛采用，其網(wǎng)絡(luò)結(jié)構(gòu)如圖 1 所示。

　　U-Net 分為兩部分，左邊為特征提取部分也稱下采樣部分，右邊為上采樣部分。特征提取部分通過(guò)卷積以及池化的計(jì)算方式提取圖像的深層語(yǔ)義特征，每次過(guò)程包括：將圖像經(jīng)過(guò)兩次卷積后變?yōu)橥ǖ罃?shù)增加 64 的矩陣，接著進(jìn)行最大池化操作，圖像長(zhǎng)寬縮小至原來(lái)的一半。依照相同的過(guò)程，經(jīng)過(guò)4次下采樣之后，圖像變?yōu)?32×32×512 的矩陣，再經(jīng)過(guò)兩次 3×3 的卷積操作得到最終的特征圖。而對(duì)于上采樣部分，從網(wǎng)絡(luò)底層信息開始計(jì)算，每經(jīng)過(guò)一次 2×2 的反卷積后與同一層的下采樣特征圖進(jìn)行拼接，和特征提取部分對(duì)應(yīng)的通道數(shù)相同尺度融合，再經(jīng)過(guò)兩次 3×3 的卷積操作完成 1 次上采樣。通過(guò)不斷結(jié)合特征提取而得到的特征圖，來(lái)進(jìn)行信息補(bǔ)充，從而優(yōu)化分割結(jié)果。

　　1.2 MECA 與 MD-MECA

　　受最近提出的 CAR-UNet(Channel Attention Residual U-Net)[14]的啟發(fā)，研究改進(jìn)了 CAR-UNet 中的 MECA(Modified Efficient Channel Attention)模塊，MECA 模塊結(jié)構(gòu)如圖 2 所示，該模塊在保持性能的同時(shí)大大降低了圖像分類、對(duì)象檢測(cè)和實(shí)例分割中的網(wǎng)絡(luò)復(fù)雜性。本文將優(yōu)化后的模塊命名為多 維 度 監(jiān) 督 機(jī) 制 MD-MECA ( multi dimension Modified Efficient Channel Attention )， 通 過(guò) 將 MD-MECA 添加到 U-Net 架構(gòu)的編碼傳遞特征到解碼模塊，相比于原始的 U-Net，結(jié)構(gòu)在特征圖傳遞的過(guò)程中，進(jìn)行了特征圖優(yōu)化，將編碼部分的特征圖進(jìn)行不同方式的信息監(jiān)督，然后傳遞到解碼部分進(jìn)行信息補(bǔ)充。

　　通 道 注 意 力 機(jī) 制 CA(Channel Attention mechanism)最初被用作分類中的特征壓縮激勵(lì)網(wǎng)絡(luò)塊 (Squeeze-and-Excitation Networks) [15]，它通過(guò)對(duì)通道間的依賴關(guān)系進(jìn)行建模，可以自適應(yīng)的調(diào)整各通道的特征響應(yīng)值。最近研究表明，通道注意力在提高深度卷積神經(jīng)網(wǎng)絡(luò)的性能方面有很大的潛力。近來(lái)，Guo 等人[14]提出了一種改進(jìn)高效通道注意力(MECA)模塊應(yīng)用于視網(wǎng)膜血管分割，取得較好效果，MECA 模塊利用卷積來(lái)避免在 SE 網(wǎng)絡(luò)塊中的降維操作，從而在保持優(yōu)越性能的同時(shí)大大降低了模型的復(fù)雜度。MECA 模塊是可嵌入的通道監(jiān)督模塊，通過(guò)使用不同的全局池化計(jì)算來(lái)提取全局特征：平均池化計(jì)算可以提取空間信息，同時(shí)最大值池化可以獲取獨(dú)特的對(duì)象特征，從而可以吸引更多精細(xì)的通道注意。因此，MECA 模塊通過(guò)組合兩者提取的全局特征來(lái)獲得更精細(xì)的通道監(jiān)督權(quán)重，并且以 C 通道為基礎(chǔ)進(jìn)行通道注意監(jiān)控，獲取不同通道之間的權(quán)重參數(shù)。

　　MECA 模塊中特征圖具有不同維度 H、W 和 C，分別代表輸入特征的高(height)、寬(width)和通道 (channels)數(shù)量,因而可以通過(guò)多角度全方面進(jìn)行監(jiān)督來(lái)強(qiáng)化 MECA 模塊，使得特征圖能代表更加精細(xì)的道路信息。基于特征圖的維度特點(diǎn)，本文設(shè)計(jì)的一種多維度監(jiān)督機(jī)制 MD-MECA(multi dimension Modified Efficient Channel Attention)：在 C 通道維度的基礎(chǔ)上，增加 H 維度和 W 維度通道，并分別設(shè)計(jì)了相同的注意力監(jiān)督模塊，得到不同維度的監(jiān)督權(quán)重參數(shù)。

　　本文設(shè)計(jì)的 MD-MECA 模塊結(jié)構(gòu)如圖 3 所示， MD-MECA 模塊結(jié)構(gòu)：以 MECA 的監(jiān)督結(jié)構(gòu)，分別提取基于各維度的監(jiān)督權(quán)重。以 C 通道為例，首先，輸入特征圖 F ∈