基于密集連接與特征增強的遙感圖像檢測

　　摘 要：隨著遙感技術的發展，遙感圖像檢測技術被廣泛應用于軍事、農業、交通及城市規劃等多個領域中，針對遙感圖像分辨率高、背景復雜和目標尺度小等特點，本文提出一種改進的 YOLOv3 算法以提升對遙感圖像的檢測效果。在原始算法的基礎上，使用改進的密集連接網絡替換原有的 DarkNet53 作為基礎網絡，并在淺層特征圖中加入特征增強模塊，豐富特征圖的感受野，強化網絡對淺層特征信息的提取，使網絡對遙感圖像中小目標的檢測精度和魯棒性均有所提升。在本文整理的遙感數據集上進行多組對比實驗，實驗結果表示本文提出的算法相比于原始的 YOLOv3 算法，平均準確率提高了 9.45%，且在檢測小尺度目標的準確性上提升顯著，比原始算法提高了 11.03%，模型參數量相比于原始算法也進行了縮減。

　　王道累; 杜文斌; 劉易騰; 張天宇; 孫嘉珺; 李明山， 計算機工程 發表時間：2021-07-29

　　關鍵詞：目標檢測;深度學習;遙感圖像;特征增強;密集連接

　　隨著遙感技術的飛速發展，高分辨率光學遙感圖像以其觀察面積大、范圍廣、不受國界和地理條件限制等特點受到國內外廣泛重視。在森林防護、交通監測、電力檢修、資源勘探、城建規劃等方面遙感圖像檢測占據著十分重要的位置，例如通過檢測車輛目標來進行交通秩序的管理，通過檢測建筑房屋等目標來為城市規劃提供依據，以及對受災房屋、道路、橋梁等目標進行檢測以評估受災情況等等[1]。傳統的遙感圖像檢測方法主要利用人工設計特征的方式提取特征信息訓練分類器，通過滑動窗口獲取圖像區域，由分類器輸出預測的結果[2]。這種檢測方法不僅資源消耗大，檢測速度與準確性往往也無法達到實用要求。

　　近年來，隨著計算機硬件與人工智能技術的不斷發展，基于深度學習的目標檢測算法因其適用性強、檢測效率高等優點得到廣泛的應用。基于深度學習的目標檢測算法可主要分為兩類：第一類為雙階段目標檢測算法，以 Faster R-CNN[3]和 Mask R-CNN[4]等為代表;第二類為單階段目標檢測算法，以 SSD[5]、YOLO[6]、YOLO9000[7]和 YOLOv3 [8] 等為代表。目前深度學習在遙感圖像檢測的應用[9]中主要有以下問題：1)遙感圖像的分辨率較高，被檢目標信息少，背景噪聲影響較大，使得一般的目標檢測算法無法準確提取原始圖像中的特征信息，造成分類和定位困難;2)遙感圖像中的目標普遍小而密集，尺寸較小的目標在網絡學習過程中極易被忽略，導致網絡對小目標的學習不足，降低檢測的準確率。

　　為解決上述問題，本文針對 YOLOv3 算法進行改進，提出了一種基于密集連接與特征增強的目標檢測模型。模型使用改進的密集連接網絡作為主干網絡，同時基于 Inception[10] 與 RFB(Receptive Field Block) [11]擴大卷積感受野的原理，引入特征增強模塊和新型的特征金字塔結構，增強淺層特征圖語義，改善模型對小目標的檢測性能。

　　1 基于密集連接與特征增強的檢測算法

　　1.1 YOLOv3 算法

　　YOLOv3 是 Redmon 等人在 2018 年提出的一種單階段目標檢測算法，是目前應用最廣泛的目標檢測算法之一。YOLOv3 的檢測框架如圖 1 所示，主要包括兩個部分，第一部分為基礎網絡，采用 DarkNet53，網絡包含 5 個殘差塊(ResBlock)，每個殘差塊由多個殘差結構(Residual Structure)組成，第二部分為借鑒 FPN(Feature Pyramid Networks)[12]設置的特征金字塔網絡結構，通過卷積和上采樣產生三個具有豐富語義信息的特征圖，大小分別為 13?13，26?26， 52?52。在訓練階段，網絡將圖像分別劃分為 N?N 個網格單元，每個網格單元輸出預測框的信息以及分類置信度以完成檢測。

　　現有一些研究將 YOLOv3 應用在遙感圖像檢測領域，如李昕等[13]將空間變換網絡(Spatial Transformer Networks，STN)融入 YOLOv3 算法中，以提升遙感圖像中油罐的檢測精度;鄭海生等[14]通過替換主干結構和激活函數將 YOLOv3 的參數量縮小為原始的十五分之一，實現了輕量級的遙感圖像檢測;沈豐毅[15]在原始 YOLOv3 算法中引入壓縮激勵結構，通過權重的差異提升模型對遙感圖像特征的敏感度。上述研究通過不同方法改進 YOLOv3 模型，使其具有更好的表現，但是都未能很好的解決遙感圖像中特征提取困難以及目標尺度小的問題。這是由于 YOLOv3 對小尺度目標的檢測主要依賴位于淺層的特征圖，淺層特征圖的分辨率較高，空間位置信息豐富，但由于其處于網絡的淺層位置，沒有經過足夠的處理，因此語義信息較少，特征表達能力不足;其次 YOLOv3 的主干網絡 DarkNet53 在遙感圖像中無法取得較好的表現，特征提取能力不足，導致檢測效果較差。

　　1.2 改進 YOLOv3 算法

　　本文針對 YOLOv3 算法在遙感圖像檢測上的缺陷，提出一種基于密集連接與特征增強的目標檢測方法。

　　1.2.1 主干網絡改進

　　本文依據 DenseNet121[16]提出一種新型的密集連接主干網絡，網絡由閥桿模塊(Stem Block)和四個密集連接塊(Dense Block)組成。閥桿模塊借鑒 Inception v4 和 DSOD(Deeply Supervised Object Detectors)[17]的思想，結構如圖 2，該模塊可以有效提升特征表達能力，而不會增加過多的計算成本，與 DenseNet121 中的原始設計(大小為 7，步長為 2 的卷積層，之后是大小為 3，步長為 2 的最大池化層)相比，多分支的處理可以大幅減少輸入圖像在下采樣過程中的信息損失。

　　密集連接塊的基本組成為密集連接結構(Dense Structure)，如圖 4 中所示，其最顯著的特點是跨通道的特征連接方式，通過每一層與前面所有層建立連接，使誤差信號快速傳播到較淺層，加強整個網絡對特征信息的傳播，在提升特征提取能力的同時大幅減低網絡參數量，其計算可表示為： ( [ , ,..., ]) x x x x l 0 1 l -1 ? Hl ?(1)其中 l x 表示第 層的輸出， () Hl ?表示非線性操作組合，包括 BN 層、ReLu 和卷積層，? [] 表示 Concatenation 特征融合操作。

　　網絡的輸入大小為 448?448，在訓練階段輸入圖像首先經過閥桿模塊處理，通過大尺度卷積與多分支處理以緩解圖像下采樣時尺度變化所帶來的損失，之后經過密集連接塊得到四個不同尺度的特征圖，其下采樣倍數分別為 4，8，16，32。圖 3 為 DarkNet、原始 DenseNet 與本文改進主干網絡的結構對比圖，相較于原始的 DenseNet121，本文改進的主干網絡的輸入分辨率與預測特征圖分辨率更高，并通過閥桿模塊緩解了原始網絡輸入時信息損失過大的問題。同時本文采用四種預測尺度，最大的尺度為 112?112，最小的尺度為 14?14，在保持小目標檢測精度的同時提升對大尺度目標的檢測效果。

　　1.2.2 特征增強模塊

　　在使用本文所提出的主干網絡時，由于預測所用的特征圖分辨率較大，淺層特征圖沒有經過充分處理可能會導致特征中的語義信息不足，因此本文提出一種特征增強模塊，針對淺層特征圖語義信息少、感受野不足的缺點，使用多分支處理和空洞卷積提高淺層特征圖的語義信息，改善網絡對小尺度目標的適應能力。本文模型的總體結構如圖 4 所示，提取出下采樣倍數為 4，8，16，32 倍的特征圖用以預測，對淺層特征圖(下采樣倍數為 4 和 8 倍)進行特征增強處理，對深層特征圖(下采樣倍數為 16 和 32 倍)使用 SPP(Spatial Pyramid Pooling)[18]進行處理，SPP 結構如圖 6。

　　特征增強模塊借鑒 RFB 感受野原理，通過增加網絡的寬度與感受野，提高模型的特征提取能力，增加特征圖的語義信息，其結構如圖 5，共有四條支路，其中一條支路為殘差網絡結構中的殘差支路(Shortcut Connection)，只進行 1?1 的卷積操作，另外三條支路由 1?1 與 3?3 的卷積級聯而成，并在 3?3 的卷積后加入不同膨脹率的空洞卷積層。多個 3?3 的卷積級聯既保證了擴大感受野的同時也減少了參數量，使網絡的訓練與推理速度更快，網絡中的每個卷積層后都加入了 BN(Batch Normalization)層，旨在通過數據的歸一化處理來加快模型的收斂。特征增強模塊的計算可表示為： Q X i j ? ? H P i i [ ( )], 1,2,3 (2)W Q i i ? Ri (3) [ , , ] ( ) Z W W W X j 1 2 3 j ? ? ?i P (4)式中， X j 表示輸入的特征圖， P 表示由 1?1 的卷積層、BN 層和 ReLu 層組成的非線性操作組合， Hi 表示進行 次由 3?3 的卷積層、BN 層和 ReLu 層組成的非線性操作組合， Qi 表示 i 次卷積操作后的特征圖， Ri 表示空洞卷積， i ? 1, 2,3 時空洞卷積的膨脹率分別為 1,3,5 ， [] ? i 表示 Concatenation 特征融合操作， Z j 表示融合后的新特征圖。

　　經過特征增強模塊的處理，網絡對小目標的敏感度更高，在復雜背景下依然可以準確的提取小目標的特征信息，提升網絡的檢測精度。

　　1.2.3 特征金字塔結構

　　在本文中使用重復的自淺而深(Double Bottom-up path)的特征金字塔結構，如圖 4，使用經特征增強模塊和 SPP 處理的特征圖作為特征金字塔結構的輸入，輸入的特征圖被分為兩個分支，其中一支在進行下采樣與卷積操作后與下一層的特征圖相累加，另一支同樣進行下采樣操作與累加后的特征相結合，使網絡中的信息由淺層向深層流動。

　　通常網絡在訓練過程中，目標的像素不斷減小，若小目標的信息在主干網絡的最后一層已經消失，則在上采樣操作后無法恢復小目標的信息，在淺層特征與深層特征相結合時便會出現混淆，降低網絡的檢測精度。通過本文的特征金字塔結構處理，網絡不會因上采樣操作而丟失小目標的信息，避免了網絡因小目標信息丟失所造成的精度損失。

　　2 實驗結果與分析

　　2.1 實驗平臺

　　本文實驗平臺：使用的操作系統： Ubuntu16.04 操作系統;使用的 NVIDIA Tesla T4(16G 顯存);使用的編程語言： python;使用的深度學習框架：Tensorflow。

　　2.2 數據集制作

　　本 文 實 驗 所 用 數 據 來 自 RSOD 和 NWPU NHR-10[19]數據集，針對原始圖像進行篩選，剔除了質量較差的圖片，并對標注信息進行核驗，對錯標、漏標的樣本進行重新標注，最終得到包括不同場景下的圖片共計 1620 張，檢測目標包括飛機、船舶、儲油罐、棒球場、網球場、籃球場、田徑場、海港、橋梁和車輛 ，圖片分辨率為 600~1000?600~1000。

　　圖7為本文數據集中目標真實框的尺寸分布圖，目標真實框總計共 11296 個，并主要集中于小尺度范圍內，絕大多數目標分布在 100?100 像素點以內，其中 16?16 像素大小的目標占比為 41.79%，低于 32?32 像素的目標占比約達到總目標數的 92%。

　　2.3 模型訓練及評價指標

　　數據增強采用隨機裁剪、隨機旋轉及縮放等操作，初始學習率設置為 0.01，采用隨機梯度下降法對總損失函數進行優化訓練，訓練批次設置為 4。

　　本文使用的評價指標為平均準確率(mAP)，通過衡量預測標簽框與真實標簽框的交并比(IOU)得到每個類別的精確度(Precision)和召回率(Recall)，由精確度和召回率所繪制的曲線面積即為準確率均值(AP)，多個類別的 AP 平均值即為平均準確率，其計算可表示為： n 1 0 ( ) mAP i p r dr n ???(5)

　　2.4 對比實驗結果分析

　　利用整理的數據集對本文提出的算法性能進行驗證，將使用本文算法、原始 YOLOv3 算法、SSD 算法、EfficientDet 算法[20]、CenterNet 算法[21]、YOLOv4 算法[22] 以及 Faster R-CNN 算法得到的結果進行客觀比較，訓練方案與 2.3 節相同，結果如表 1 所示，本文提出的改進 YOLOv3 算法的平均準確率高于其他算法，達到了 74.56%，相比于原始的 YOLOv3 算法提高了 9.45%，尤其在小尺度目標檢測上，比原始算法提高了 11.03% ， 并 且 參數 量 也 低于原始的 YOLOv3 算法。與 YOLOv4 相比，本文算法在大目標的檢測精度上與其相差 0.69%，但 在 中 、 小 目 標 的 檢 測 精 度 上 均高于 YOLOv4 算法，與雙階段算法 Faster R-CNN 相比，本文算法也取得了更優秀的檢測效果。

　　圖 8 為檢測效果對比圖，左側為原始 YOLOv3 算法的檢測結果，右側為本文算法的檢測結果。圖 8(a)和(b)背景為機場與港口，是典型的遙感圖像場景，從圖像中可以看出，原始 YOLOv3 算法在這種具有復雜背景的圖片下存在漏檢現象，部分目標如飛機、油罐等無法檢出，而本文算法漏檢現象則大幅減少;圖 8(c)和(d)為道路背景圖片，待檢目標的尺寸較小，原始 YOLOv3 算法無法有效檢出目標車輛，而本文算法在高分辨率下對小目標仍有較好的檢測效果;圖 8(e)、(f)和(g)為森林、海域背景圖片，可以明顯看出當待檢目標距離較近時，原始 YOLOv3 算法便會出現漏檢現象，相比之下，本文算法的檢測效果得到了有效的提升。

　　2.5 消融實驗結果分析

　　本節通過消融實驗以探究各部分改進對模型的影響。

　　第一組對照試驗分析替換主干網絡對算法精度的影響，本組實驗設置了三組模型進行對照，分別為原始 YOLOv3 模型，對比一(使用原始 DenseNet121 的 YOLOv3 模型)以及對比二(使用本文主干網絡的 YOLOv3 模型)，三組實驗分別使用不同的主干網絡，其他參數相同，實驗結果如表 2。

　　從表中可以看出，使用原始 DenseNet121 作為主干網絡時 mAP 的提升并不明顯，這是由于較低的分辨率輸入以及原始DenseNet121在下采樣時損失過多特征信息所導致，而使用本文改進的主干網絡時，mAP 提高了 6.76%，在大、中型目標的檢測精度均高于原始模型，且在小目標檢測上提升最為顯著。由于遙感圖像中的目標尺度集中分布在小尺寸范圍內，因此本文提出的主干網絡更適用于遙感圖像檢測。

　　第二組對照試驗分析特征增強模塊與特征金字塔對算法的影響，設置四組模型進行對照實驗，分別為原始 YOLOv3 算法和對比實驗(分別使用特征增強模塊和改進特征金字塔的 YOLOv3 算法)。

　　從表3中可以看出使用特征增強模塊的算法 mAP 提升顯著，而單獨使用改進特征金字塔結構時則效果不明顯，這是由于原始YOLOv3 算法中特征未經強化處理語義信息過少，使改進后的特征金字塔效果較差。而當兩項改進共同使用時，檢測精度達到最高。

　　3 結論

　　本文針對遙感圖像背景干擾大和目標尺度小等問題，提出一種基于改進 YOLOv3 的遙感圖像目標檢測算法。將密集連接網絡與 YOLOv3 結合，并通過多分支結構與空洞卷積所組成的特征增強模塊加強特征的語義信息，使用新型的特征金字塔減少對小目標檢測的精度損失。在遙感圖像數據集上的實驗結果表明本文算法相比于其他算法檢測效果有了顯著的提升，并主要表現在小目標檢測上。接下來將結合本文算法進一步探究密集連接網絡與感受野原理對遙感圖像檢測的影響，以達到更高的檢測精度。