基于人工圖像數(shù)據(jù)擴(kuò)充的輸電線路絕緣子識(shí)別

　　摘要：深度學(xué)習(xí)方法在計(jì)算機(jī)視覺領(lǐng)域發(fā)展迅速，但依賴于海量訓(xùn)練數(shù)據(jù)。輸電線路絕緣子自動(dòng)識(shí)別任務(wù)中，航拍圖像數(shù)量不足、多樣性差等問題影響識(shí)別的準(zhǔn)確性。提出人工絕緣子圖像數(shù)據(jù)擴(kuò)充方法，通過3D建模創(chuàng)建人工絕緣子圖像，并構(gòu)建導(dǎo)向反向補(bǔ)償網(wǎng)絡(luò)，對創(chuàng)建的人工圖像進(jìn)行補(bǔ)償優(yōu)化，用補(bǔ)償后的人工圖像擴(kuò)充航拍絕緣子圖像數(shù)據(jù)集。在多個(gè)典型卷積神經(jīng)網(wǎng)絡(luò)上進(jìn)行絕緣子識(shí)別對比實(shí)驗(yàn)，結(jié)果顯示，所提方法使絕緣子識(shí)別準(zhǔn)確率平均提升2.1%，且網(wǎng)絡(luò)相對輕量級，驗(yàn)證了所提方法的有效性和優(yōu)勢。

　　關(guān)鍵詞：人工圖像;數(shù)據(jù)擴(kuò)充;絕緣子;導(dǎo)向反向傳播;卷積神經(jīng)網(wǎng)絡(luò)

　　王亞茹;楊凱;翟永杰;郭聰彬;趙文清 系統(tǒng)仿真學(xué)報(bào)2021-12-05

　　絕緣子是高壓輸電線路中用于電氣隔離和機(jī)械固定的基本設(shè)備[1]。絕緣子故障直接威脅著輸電線路的穩(wěn)定和安全。據(jù)統(tǒng)計(jì)，由絕緣子缺陷引起的事故占電力系統(tǒng)故障的比例極高[2,3]。因此，絕緣子缺陷的及時(shí)檢測尤為重要。傳統(tǒng)的檢測方法是電氣維修人員攀爬電桿，對缺陷進(jìn)行視覺或電氣分析，費(fèi)時(shí)、費(fèi)力且危險(xiǎn)。隨著直升機(jī)和無人駕駛飛行器等空中平臺(tái)的出現(xiàn)，它們表現(xiàn)出高效率和安全性，近年來已成為電力設(shè)備檢查的重要工具[4,5]。安裝在平臺(tái)上的攝像機(jī)能夠獲得絕緣子航拍圖像。目前，絕緣子圖像識(shí)別、目標(biāo)及缺陷檢測均是人工手動(dòng)執(zhí)行，工作強(qiáng)度大、易發(fā)生漏檢和錯(cuò)檢，且需要專業(yè)技術(shù)人員。為了克服人工識(shí)別、檢測的局限性，需要開發(fā)智能技術(shù)輔助或替代人工決策[6-8]，而絕緣子圖像識(shí)別是首要任務(wù)。近年來，深度學(xué)習(xí)算法在計(jì)算機(jī)視覺領(lǐng)域取得長足進(jìn)展，也逐漸被應(yīng)用于絕緣子的圖像識(shí)別與檢測研究[9]。然而，目前缺乏公開的絕緣子數(shù)據(jù)集;絕緣子長度、角度各異，航拍視角和視距變化很大，現(xiàn)場樣本采集不全面，多樣性差;不同狀況的絕緣子樣本數(shù)量差異大，樣本分布不平衡;樣本標(biāo)注過程困難，因此樣本集在數(shù)量和質(zhì)量上均難以滿足深度學(xué)習(xí)算法的要求[10,11]，導(dǎo)致深度學(xué)習(xí)算法無法得到充分訓(xùn)練，難以得到期望的識(shí)別準(zhǔn)確率。數(shù)據(jù)擴(kuò)充是一個(gè)能夠有效提高有限數(shù)據(jù)下模型識(shí)別能力的外部方法。主要可分為基于深度學(xué)習(xí)的數(shù)據(jù)擴(kuò)充方法和基于圖像處理的數(shù)據(jù)擴(kuò)充方法。基于深度學(xué)習(xí)的數(shù)據(jù)擴(kuò)充方法主要有對抗攻擊[12,13]、生成式方法[14-16]、風(fēng)格遷移[17-20]等。對抗攻擊采用對抗性的數(shù)據(jù)明確數(shù)據(jù)空間中的類別邊界;生成式方法以現(xiàn)有數(shù)據(jù)為基礎(chǔ)訓(xùn)練生成網(wǎng)絡(luò) [21]，產(chǎn)生與現(xiàn)有數(shù)據(jù)類似的圖像，用以擴(kuò)充訓(xùn)練集;風(fēng)格遷移則通過神經(jīng)網(wǎng)絡(luò)改變圖像風(fēng)格的同時(shí)保留被識(shí)別目標(biāo)的特征，擴(kuò)充訓(xùn)練集。

　　基于圖像處理的數(shù)據(jù)擴(kuò)充方法包含幾何變換、噪聲擾動(dòng)、色彩變換、內(nèi)核過濾、對比度擾動(dòng)、灰度增強(qiáng)、圖像融合等[22-24]，通過一些較為規(guī)則的映射來擴(kuò)充數(shù)據(jù)集的規(guī)模，從而使得模型的泛化能力得到一定程度的提高。由谷歌大腦( Google Brain ) [25] 提出的 AutoAugment 方法能夠在策略空間中搜索出效果最優(yōu)的圖像處理策略，并得到包含多個(gè)子策略的數(shù)據(jù)擴(kuò)充方案，其中每個(gè)子策略由兩個(gè)基本的幾何變換組成。Tao 等[10]通過給絕緣子目標(biāo)更換背景的方式產(chǎn)生新的絕緣子樣本圖像，對原有圖像數(shù)據(jù)集進(jìn)行擴(kuò)充。翟永杰等[26]基于平行視覺理論[27]，初步探索了人工絕緣子圖像建模。但上述數(shù)據(jù)擴(kuò)充方法均未針對具體網(wǎng)絡(luò)的響應(yīng)及輸出情況對用于擴(kuò)充的圖像進(jìn)行評估，缺乏對圖像進(jìn)行針對性優(yōu)化的策略。因此，本文通過 3D 建模軟件創(chuàng)建人工絕緣子圖像數(shù)據(jù)集，并基于導(dǎo)向反向傳播算法設(shè)計(jì)導(dǎo)向反向補(bǔ)償網(wǎng)路，對人工絕緣子圖像進(jìn)行補(bǔ)償優(yōu)化，提高其質(zhì)量和數(shù)據(jù)擴(kuò)充的效果，進(jìn)而采用補(bǔ)償后的人工絕緣子圖像對航拍絕緣子圖像數(shù)據(jù)集進(jìn)行數(shù)據(jù)擴(kuò)充，得到數(shù)量與質(zhì)量更佳的訓(xùn)練數(shù)據(jù)集，使得卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練更加充分，進(jìn)一步提升網(wǎng)絡(luò)的絕緣子識(shí)別性能。

　　1 導(dǎo)向反向傳播

　　導(dǎo)向反向傳播(Guided Backpropagation)[28] 廣泛應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)的可視化分析研究中。神經(jīng)網(wǎng)絡(luò)可視化方法一般是通過輸出端反向估算網(wǎng)絡(luò)上一層的梯度，將輸入圖像對神經(jīng)網(wǎng)絡(luò)輸出結(jié)果的影響程度可視化，可以判斷神經(jīng)網(wǎng)絡(luò)所關(guān)注的目標(biāo)特征，對神經(jīng)網(wǎng)絡(luò)進(jìn)行解釋。以 AlexNet 網(wǎng)絡(luò)[29]為例，在網(wǎng)絡(luò)的前向傳播(Forward Propagation)過程中，對輸入圖像像素矩陣進(jìn)行反復(fù)的卷積、激活、規(guī)范化與池化操作，以提取圖像特征，并將得到的特征圖輸入最終的全連接層后輸出分類結(jié)果。激活層 ReLU(Rectified Linear Unit)的前向傳播公式為： 1 ( ) max( ,0) l l l i i i f relu f f ?? ? (1) 其中， l i f 為前向傳播過程中 ReLU 的輸入， l 1 i f ?為輸出特征激活響應(yīng)。反向傳播(Back Propagation)與前向傳播相反，是由網(wǎng)絡(luò)輸出端向輸入端反推的過程，通過將梯度誤差體現(xiàn)到網(wǎng)絡(luò)參數(shù)的更新上，改變網(wǎng)絡(luò)參數(shù)，使得神經(jīng)網(wǎng)絡(luò)能夠作為一個(gè)“黑盒子”完成從圖像到對應(yīng)類別標(biāo)簽的近似擬合。反向傳播時(shí)只回傳激活響應(yīng)大于 0 的區(qū)域，計(jì)算的梯度為： 1 1 1 ( ),( 0) l l l i i i l out i l i Back f f f ???? ???? R R R (2) 其中， Back( ) 為反向傳播的回傳操作， l 1 i ? R 代表反向計(jì)算過程中第 l ?1 層的梯度，即該層輸出對該層輸入的偏導(dǎo)。反卷積(Deconvolution)通過將特征圖中的激活響應(yīng)映射到圖像像素空間實(shí)現(xiàn)可視化，主要解決了三個(gè)關(guān)鍵問題：1)通過記錄索引近似地對池化操作進(jìn)行逆操作;2)使用卷積核的轉(zhuǎn)置對卷積進(jìn)行逆操作;3)用 ReLU 函數(shù)將激活單元的輸入輸出都保持為正的激活響應(yīng)。反卷積過程將公式(2)中的回傳限制條件改為梯度大于 0，即： 1 1 ( ),( 0) l l l i i i Dec ? ? R R R ? ? (3) 其中， Dec( ) 為反卷積的回傳操作。導(dǎo)向反向傳播算法在公式(3)的基礎(chǔ)上添加限制條件，對激活響應(yīng)與梯度值均大于 0 的區(qū)域進(jìn)行回傳，即： 1 1 _ ( ),( 0 & 0) l l l l i i i i G back f ? ? R R R ? ? ? (4) 其中， G back _ ( ) 為導(dǎo)向反向傳播的回傳操作。這種限制條件可有效篩選出能夠?qū)矸e神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果產(chǎn)生正向作用的圖像像素區(qū)域，最終可得到比反卷積更優(yōu)的激活響應(yīng)可視化效果。

　　2 提出的方法

　　基于導(dǎo)向反向傳播，提出的人工絕緣子圖像數(shù)據(jù)擴(kuò)充方法框圖如圖 1 所示，包括人工絕緣子圖像創(chuàng)建、導(dǎo)向反向補(bǔ)償網(wǎng)絡(luò)構(gòu)建和數(shù)據(jù)擴(kuò)充三部分。具體介紹如下：

　　(1)人工絕緣子圖像創(chuàng)建

　　真實(shí)場景的絕緣子圖像來源于無人機(jī)航拍，拍攝距離和角度受輸電線路、桿塔及無人機(jī)性能的限制，因此航拍圖像數(shù)量和多樣性不充分。相比之下，人工建模的絕緣子圖像容易獲取、可控性強(qiáng)。美國 Autodesk 公司開發(fā)的三維建模軟件 3ds Max(3D Studio Max)，主要功能是三維模型制作和渲染，廣泛應(yīng)用于場景設(shè)計(jì)、特效制作、工業(yè)設(shè)計(jì)等領(lǐng)域。采用 3ds Max 軟件，人工絕緣子圖像創(chuàng)建方法如下 ： 根 據(jù) 電 力 線 路 絕 緣 子 國 家 標(biāo) 準(zhǔn) ( GB/T 1386.1-1997)對絕緣子各部件進(jìn)行標(biāo)準(zhǔn)化三維建模;設(shè)定各部件的材質(zhì)參數(shù)，對三維模型進(jìn)行顏色和材質(zhì)的渲染;配置虛擬視覺攝像機(jī)，采用光源、景深等設(shè)置增加三維模型的真實(shí)性效果，并通過改變上述設(shè)置增加絕緣子模型的多樣性;通過放縮、旋轉(zhuǎn)等操作，利用虛擬攝像機(jī)拍攝得到不同角度、不同占比的多樣性人工絕緣子圖像;采用圖像標(biāo)注軟件 LabelImg 對人工絕緣子圖像進(jìn)行批量標(biāo)注。圖 2(a)為陶瓷絕緣子的 3D 建模圖，由此得到的人工陶瓷絕緣子圖像如圖 2(b)所示。

　　(2)導(dǎo)向反向補(bǔ)償網(wǎng)絡(luò)構(gòu)建

　　為了強(qiáng)化人工絕緣子圖像中的目標(biāo)區(qū)域特征，基于導(dǎo)向反向傳播算法構(gòu)建導(dǎo)向反向補(bǔ)償網(wǎng)絡(luò)，對人工絕緣子圖像進(jìn)行補(bǔ)償優(yōu)化，步驟如下：

　　1)計(jì)算人工圖像的導(dǎo)向反向傳播響應(yīng)強(qiáng)度：將人工絕緣子圖像輸入訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)，根據(jù)公式(4)所示的導(dǎo)向反向傳播算法，計(jì)算人工圖像的響應(yīng)強(qiáng)度矩陣，記為 R ，其中各元素為響應(yīng)強(qiáng)度值。以 AlexNet 網(wǎng)絡(luò)為例，將如圖 3(a)所示的未補(bǔ)償人工陶瓷材質(zhì)絕緣子圖像輸入訓(xùn)練好的網(wǎng)絡(luò)，根據(jù)公式(4)，對人工圖像的響應(yīng)強(qiáng)度進(jìn)行計(jì)算，其可視化結(jié)果如圖 3(b)所示，響應(yīng)強(qiáng)度直方分布統(tǒng)計(jì)如圖 3(c)所示。圖 3(c)中可見，反向傳播的圖像響應(yīng)強(qiáng)度分布于 0 附近，-0.17~0.37 之間，其中響應(yīng)強(qiáng)度大于 0 的像素為正面響應(yīng)區(qū)域，反之則是負(fù)面響應(yīng)區(qū)域;將圖像的導(dǎo)向反向傳播響應(yīng)強(qiáng)度規(guī)范化到 0~255 之間，得到三通道可視化結(jié)果，如圖 3(b)所示。由于絕大部分像素的響應(yīng)強(qiáng)度在 0.01~0.04 之間，因此圖 3(b)圖像的背景為灰色。不難看出，絕緣子目標(biāo)的輪廓明顯地顯現(xiàn)出來，這說明相較于其它特征，目標(biāo)的輪廓特征響應(yīng)強(qiáng)度較大，對卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)識(shí)別結(jié)果影響也較大。

　　2)響應(yīng)強(qiáng)度變換：采用以自然常數(shù) e 為底的指數(shù)函數(shù)，將響應(yīng)強(qiáng)度 R 的各元素值由 0 附近變換到 1 附近，得到變換后的響應(yīng)強(qiáng)度矩陣 * R 。這兩個(gè)矩陣中元素之間的變換方法為： * , 1,2,..., , 1,2,..., Rij R e i M j N ij ? ? ? (5) 其中，M 和 N 分別為 R 和 * R 矩陣的行數(shù)和列數(shù)。對圖 3 中人工絕緣子圖像的響應(yīng)強(qiáng)度進(jìn)行規(guī)范化后的響應(yīng)強(qiáng)度直方分布統(tǒng)計(jì)如圖 4 所示。3)人工圖像補(bǔ)償：將原始人工絕緣子圖像的像素矩陣記為 0 I ，計(jì)算 0 I 與 * R 的 哈 達(dá) 馬 積(Hadamard Product), 得到初步的補(bǔ)償結(jié)果 c0 I ： * c0 0 0 ? ? e R I I R I (6) 其中， "" 為哈達(dá)馬積運(yùn)算符。進(jìn)一步對 c0 I 進(jìn)行規(guī)范化(Normalization， Norm)處理得到最終的補(bǔ)償結(jié)果 c I ： 0 0 0 0 0 min( ) Norm( ) max( ) min( ) c c c c c c ?? ?? I I I I I I (7) 其中， min( ) 和 max( ) 分別為取最小值和最大值函數(shù)。圖 5(a)是對圖 3(a)所示的原始人工絕緣子圖像進(jìn)行補(bǔ)償優(yōu)化的結(jié)果。圖中可見，絕緣子目標(biāo)的輪廓更清晰，顏色更深，目標(biāo)區(qū)域更加突出，但圖像的整體亮度降低，這是因?yàn)椋鶕?jù)公式(5)計(jì)算得到的初步補(bǔ)償圖像中存在 RGB 值大于 255 的區(qū)域，再根據(jù)公式(6)進(jìn)行規(guī)范化后，拉低了圖像的平均像素值。將圖 5(a)和圖 3(a)作差，并進(jìn)行規(guī)范化，可以獲得圖像補(bǔ)償算法對人工絕緣子圖像的作用，其可視化結(jié)果如圖 5(b)所示。直觀上來看，補(bǔ)償算法增強(qiáng)了絕緣子的目標(biāo)區(qū)域，抑制了背景信息，并強(qiáng)化了絕緣子目標(biāo)區(qū)域內(nèi)部的光影效果，在視覺上豐富了圖像的立體感。卷積神經(jīng)網(wǎng)絡(luò)中全連接層的輸入是由激活響應(yīng)變換的一維矩陣，因此通過計(jì)算每個(gè)特征圖的激活響應(yīng)之和，可以得到卷積層中每個(gè)濾波器對輸入圖像的響應(yīng)。將圖 3(a)所示的補(bǔ)償前圖像和圖 5(a) 所示的補(bǔ)償后圖像分別輸入 AlexNet 網(wǎng)絡(luò)，以特征圖為單位將全連接層前的激活響應(yīng)進(jìn)行統(tǒng)計(jì)，可以得到 256 個(gè)特征圖的激活響應(yīng)強(qiáng)度，如圖 6 所示。對比圖 6(a)和圖 6(b)，補(bǔ)償后的圖像中，對網(wǎng)絡(luò)判斷有強(qiáng)烈正面影響(響應(yīng)強(qiáng)度值大于 0)和負(fù)面影響(響應(yīng)強(qiáng)度值小于 0)的激活響應(yīng)幅度被增強(qiáng), 尤其是負(fù)面影響的激活響應(yīng)幅度增強(qiáng)顯著。

　　(3)數(shù)據(jù)擴(kuò)充

　　如圖 1 所示，將經(jīng)過步驟(2)導(dǎo)向反向補(bǔ)償網(wǎng)絡(luò)補(bǔ)償優(yōu)化后的人工絕緣子圖像數(shù)據(jù)集與航拍絕緣子圖像數(shù)據(jù)集進(jìn)行混合，構(gòu)建虛實(shí)結(jié)合的混合圖像大數(shù)據(jù)集，實(shí)現(xiàn)對航拍絕緣子圖像數(shù)據(jù)集的數(shù)據(jù)擴(kuò)充，提高其圖像數(shù)量和多樣性。最后，采用混合圖像大數(shù)據(jù)集對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并識(shí)別絕緣子。

　　3 實(shí)驗(yàn)過程與結(jié)果

　　3.1 數(shù)據(jù)集與實(shí)驗(yàn)環(huán)境

　　本文實(shí)驗(yàn)?zāi)Ｐ驮?Jupyter 平臺(tái)建立，采用深度學(xué)習(xí)框架 PyTorch 實(shí)現(xiàn)，GPU 為 Nvidia 1080Ti。實(shí)驗(yàn)采用的航拍絕緣子圖像數(shù)據(jù)集由無人機(jī)航拍或固定攝像頭拍攝獲得，均為 128 128 ?像素的三通道圖像，總計(jì) 8000 張，部分圖像如圖 7(a)所示，絕緣子串或串組包含 4 到 16 個(gè)傘裙，其材質(zhì)包括玻璃、陶瓷、復(fù)合材料等;圖像背景包括綠色森林或田地、灰黃色荒野、陰沉或晴朗天空等;光照情況隨機(jī)。人工絕緣子圖像數(shù)據(jù)集由 3ds Max 建模軟件創(chuàng)建，同樣為 128 128 ?像素的三通道圖像，總計(jì) 1000 張，部分圖像如圖 7(b)所示，目標(biāo)為包含 4 到 20 個(gè)傘裙的絕緣子串;材質(zhì)為乳白色陶瓷;背景為純黑色;絕緣子大小、角度各異。

　　3.2 實(shí)驗(yàn)內(nèi)容

　　絕 緣 子 圖 像 識(shí) 別 實(shí) 驗(yàn) 分 別 在 torchvision. models 庫 中 的 AlexNet 、 VGG11 、 VGG13 、 ResNet18、Inception_v3 等典型卷積神經(jīng)網(wǎng)絡(luò)上進(jìn)行，均不加載預(yù)訓(xùn)練參數(shù)，選擇隨機(jī)梯度下降 (Stochastic Gradient Descent, SGD)算法優(yōu)化損失函數(shù)，學(xué)習(xí)率設(shè)為 0.01，動(dòng)量參數(shù)設(shè)為 0.5，迭代次數(shù)設(shè)為 500。用本文方法對航拍絕緣子圖像數(shù)據(jù)集進(jìn)行數(shù)據(jù)擴(kuò)充，并與不進(jìn)行數(shù)據(jù)擴(kuò)充和采用未補(bǔ)償?shù)娜斯D像進(jìn)行數(shù)據(jù)擴(kuò)充的情況相比較。此外，現(xiàn)有的基于 GAN (Generative Adversarial Networks)網(wǎng)絡(luò)的圖像風(fēng)格遷移也可產(chǎn)生新的圖像用于數(shù)據(jù)擴(kuò)充，而 CycleGAN(Cycle-Consistent Generative Adversarial Networks)[17]是近年來典型的風(fēng)格遷移網(wǎng)絡(luò)，對生成圖像質(zhì)量的可控性較好，且不需要大量成對樣本訓(xùn)練，對訓(xùn)練樣本量的要求遠(yuǎn)低于隨機(jī)噪聲生成方式，適用于航拍絕緣子圖像數(shù)量不充足的情況，因此本文亦選擇基于 CycleGAN 的圖像風(fēng)格遷移數(shù)據(jù)擴(kuò)充方法作對比實(shí)驗(yàn)。采用準(zhǔn)確率 Accuracy 和 AUC (Area Under Curve)值評價(jià)絕緣子識(shí)別結(jié)果，對比不同方法下卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練階段的收斂速度，并對比不同數(shù)據(jù)擴(kuò)充方法所需的浮點(diǎn)計(jì)算次數(shù) FLOPs (Floating Point Operations)。由于以上數(shù)據(jù)擴(kuò)充方法均不會(huì)引起參數(shù)量的改變，因此不對參數(shù)量進(jìn)行統(tǒng)計(jì)。絕緣子數(shù)據(jù)集中，含有絕緣子目標(biāo)的圖像為正樣本，不含絕緣子目標(biāo)的圖像為負(fù)樣本。從航拍絕緣子圖像數(shù)據(jù)集中分別隨機(jī)抽取 2000 張正樣本和 2000 張負(fù)樣本組成包含 4000 張圖像的原始訓(xùn)練集，再分別隨機(jī)抽取 1000 張正樣本和 1000 張負(fù)樣本組成包含 2000 張圖像的測試集。以 AlexNet 網(wǎng)絡(luò)為例的對比實(shí)驗(yàn)流程如圖 8 所示，不同實(shí)驗(yàn)中訓(xùn)練集不同，測試集是相同的，具體介紹如下：

　　實(shí)驗(yàn) 1 不進(jìn)行數(shù)據(jù)擴(kuò)充的絕緣子識(shí)別：將原始訓(xùn)練集圖像輸入 AlexNet 網(wǎng)絡(luò)進(jìn)行訓(xùn)練，實(shí)時(shí)保存網(wǎng)絡(luò)參數(shù)，訓(xùn)練完成后，在測試集上測試網(wǎng)絡(luò)的絕緣子識(shí)別性能。

　　實(shí)驗(yàn)2 采用未補(bǔ)償?shù)娜斯そ^緣子圖像進(jìn)行數(shù)據(jù)擴(kuò)充，并進(jìn)行絕緣子識(shí)別：從 3D 建模得到的人工絕緣子圖像數(shù)據(jù)集中隨機(jī)抽取 1000 張正樣本圖像，從航拍絕緣子圖像數(shù)據(jù)集中隨機(jī)抽取 1000 張負(fù)樣本圖像，對原始訓(xùn)練集進(jìn)行擴(kuò)充。將擴(kuò)充后的包含 6000 張圖像的訓(xùn)練集輸入 AlexNet 網(wǎng)絡(luò)重新訓(xùn)練，并在測試集上進(jìn)行絕緣子識(shí)別。

　　實(shí)驗(yàn) 3 采用基于 CycleGAN 的圖像風(fēng)格遷移方法進(jìn)行數(shù)據(jù)擴(kuò)充，并進(jìn)行絕緣子識(shí)別：從原始訓(xùn)練集中隨機(jī) 抽取 1000 張正樣本圖 像，利用 CycleGAN 對每張圖像進(jìn)行風(fēng)格遷移，生成 1000 張新圖像。將新生成的 1000 張正樣本圖像和實(shí)驗(yàn) 2 中隨機(jī)抽取的 1000 張負(fù)樣本圖像對原始訓(xùn)練集進(jìn)行擴(kuò)充，擴(kuò)充后的訓(xùn)練集包含 6000 張圖像，將其輸入 AlexNet 網(wǎng)絡(luò)進(jìn)行訓(xùn)練。并在測試集上測試網(wǎng)絡(luò)的絕緣子識(shí)別性能。

　　實(shí)驗(yàn) 4 采用本文方法進(jìn)行數(shù)據(jù)擴(kuò)充，并進(jìn)行絕緣子識(shí)別：對于實(shí)驗(yàn) 2 中的 AlexNet 網(wǎng)絡(luò)，記錄準(zhǔn)確率平穩(wěn)后的 AlexNet 網(wǎng)絡(luò)參數(shù)，根據(jù)公式 (4)~(7)計(jì)算導(dǎo)向反向補(bǔ)償網(wǎng)絡(luò)，對實(shí)驗(yàn) 2 中的 1000 張人工正樣本圖像進(jìn)行補(bǔ)償，得到 1000 張補(bǔ)償后的人工正樣本圖像。用補(bǔ)償后的 1000 張人工正樣本圖像和實(shí)驗(yàn) 2 中隨機(jī)抽取的 1000 張負(fù)樣本圖像對原始訓(xùn)練集進(jìn)行擴(kuò)充，擴(kuò)充后訓(xùn)練集同樣包含 6000 張圖像，輸入 AlexNet 網(wǎng)絡(luò)進(jìn)行訓(xùn)練。在測試集上測試網(wǎng)絡(luò)的絕緣子識(shí)別性能。為了獲得多組實(shí)驗(yàn)結(jié)果，重復(fù)進(jìn)行以上實(shí)驗(yàn) 1~實(shí)驗(yàn) 4。每次重復(fù)開始時(shí)，需重新隨機(jī)抽取 2000 張正樣本圖像和 2000 張負(fù)樣本圖像構(gòu)建原始訓(xùn)練集，但需保持測試集不變。在其它卷積神經(jīng)網(wǎng)絡(luò)上的 實(shí) 驗(yàn) ， 例 如 VGG11 、 VGG13 、 ResNet18 、 Inception_v3 等，只需將上述實(shí)驗(yàn) 1~實(shí)驗(yàn) 4 中的 AlexNet 網(wǎng)絡(luò)進(jìn)行替換。

　　3.3 實(shí)驗(yàn)結(jié)果

　　重復(fù)進(jìn)行以上實(shí)驗(yàn) 1~實(shí)驗(yàn) 4，獲得 5 組絕緣子識(shí)別對比結(jié)果，對評價(jià)指標(biāo)取平均值，如表 1 所示，具體分析如下：

　　1)在準(zhǔn)確率方面：不進(jìn)行數(shù)據(jù)擴(kuò)充時(shí)， AlexNet、VGG11、VGG13 和 Inception_v3 網(wǎng)絡(luò)的準(zhǔn)確率均為最低;使用未補(bǔ)償?shù)娜斯D像進(jìn)行數(shù)據(jù)擴(kuò)充后，四個(gè)網(wǎng)絡(luò)的準(zhǔn)確率分別提升 2.2%、1.2%、 0.9%和 0.6%;使用基于 CycleGAN 的圖像風(fēng)格遷移方法進(jìn)行數(shù)據(jù)擴(kuò)充后，以上四個(gè)網(wǎng)絡(luò)的準(zhǔn)確率分別提高 1.9%、1.6%、0.8%和 0.6%;使用本文方法進(jìn)行數(shù)據(jù)擴(kuò)充后，以上四個(gè)網(wǎng)絡(luò)的準(zhǔn)確率分別提高 3.3%、1.7%、2.0%和 1.9%;而對于 ResNet18 網(wǎng)絡(luò)，只有本文方法使其準(zhǔn)確率提高 1.5%，5 個(gè)網(wǎng)絡(luò)的準(zhǔn)確率平均提升 2.1%，明顯優(yōu)于現(xiàn)有方法。

　　2)在 AUC 值方面：與不進(jìn)行數(shù)據(jù)擴(kuò)充相比，使用數(shù)據(jù)擴(kuò)充方法后，各個(gè)網(wǎng)絡(luò)的 AUC 值均變化不顯著，甚至在使用基于 CycleGAN 的圖像風(fēng)格遷移數(shù)據(jù)擴(kuò)充后，ResNet18 的 AUC 值有所降低。而本 文 方 法 使 VGG11 、 VGG13 、 ResNet18 和 Inception_v3 網(wǎng)絡(luò)的 AUC 值均有所提高，在多數(shù)網(wǎng)絡(luò)上對 AUC 值有一定的提升效果。

　　3)在收斂速度方面：表 1 中統(tǒng)計(jì)了不同方法下卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練階段準(zhǔn)確率穩(wěn)定時(shí)的迭代次數(shù)，迭代次數(shù)越低說明網(wǎng)絡(luò)收斂速度越快。通過數(shù)據(jù)對比可見，采用未補(bǔ)償?shù)娜斯D像進(jìn)行數(shù)據(jù)擴(kuò)充，與不進(jìn)行數(shù)據(jù)擴(kuò)充時(shí)相比，網(wǎng)絡(luò)的收斂速度明顯提高;采用本文方法進(jìn)行數(shù)據(jù)擴(kuò)充時(shí)，大部分網(wǎng)絡(luò)的收斂速度與未進(jìn)行數(shù)據(jù)擴(kuò)充時(shí)相比明顯提高，但與采用未補(bǔ)償?shù)娜斯D像數(shù)據(jù)擴(kuò)充時(shí)相比，有一定程度的下降，這是因?yàn)?3D 建模得到的未補(bǔ)償人工絕緣子圖像結(jié)構(gòu)簡單、背景單一，經(jīng)過補(bǔ)償優(yōu)化后，更逼近于航拍絕緣子圖像。而采用基于 CycleGAN 的圖像風(fēng)格遷移數(shù)據(jù)擴(kuò)充時(shí)，多數(shù)網(wǎng)絡(luò)的收斂速度最慢。

　　4)在算法復(fù)雜度方面：僅對比不同數(shù)據(jù)擴(kuò)充方法的復(fù)雜度，即計(jì)算所需的浮點(diǎn)計(jì)算次數(shù) (FLOPs)。由于采用未補(bǔ)償?shù)娜斯D像進(jìn)行數(shù)據(jù)擴(kuò)充不會(huì)額外增加 FLOPs，因此僅需對比本文數(shù)據(jù)擴(kuò)充方法和基于 CycleGAN 的圖像風(fēng)格遷移數(shù)據(jù)擴(kuò)充方法的 FLOPs 值，如表 2 所示。需說明的是，表 2 僅反映數(shù)據(jù)擴(kuò)充方法本身的復(fù)雜度，未將后續(xù)用于絕緣子識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)計(jì)算在內(nèi)。可見，基于 CycleGAN 的圖像風(fēng)格遷移數(shù)據(jù)擴(kuò)充方法的 FLOPs 為 27.06 G，與后續(xù)采用的卷積神經(jīng)網(wǎng)絡(luò)無關(guān)。本文方法由于導(dǎo)向反向補(bǔ)償網(wǎng)絡(luò)與所采用的卷積神經(jīng)網(wǎng)絡(luò)有關(guān)，因此本文方法的 FLOPs 值隨著所采用的卷積神經(jīng)網(wǎng)絡(luò)的不同而有差別，但均明顯小于基于 CycleGAN 的風(fēng)格遷移數(shù)據(jù)擴(kuò)充方法，平均降低 60.3%，這說明本文數(shù)據(jù)擴(kuò)充方法為相對輕量級的方法，便于移植到其它網(wǎng)絡(luò)上使用。

　　4 結(jié) 論

　　本文針對輸電線路絕緣子識(shí)別任務(wù)中訓(xùn)練樣本不足的問題進(jìn)行研究，探索更有效的絕緣子圖像數(shù)據(jù)擴(kuò)充方法，提出基于導(dǎo)向反向傳播的人工絕緣子圖像數(shù)據(jù)擴(kuò)充方法，包括批量創(chuàng)建人工絕緣子圖像、構(gòu)建導(dǎo)向反向補(bǔ)償網(wǎng)絡(luò)和數(shù)據(jù)擴(kuò)充三部分。在多個(gè)典型的卷積神經(jīng)網(wǎng)絡(luò)上的絕緣子識(shí)別對比實(shí)驗(yàn)結(jié)果表明，本文數(shù)據(jù)擴(kuò)充方法能明顯改善卷積神經(jīng)網(wǎng)絡(luò)的絕緣子識(shí)別準(zhǔn)確性，且具有較小的 FLOPs 值，是相對輕量級的網(wǎng)絡(luò)結(jié)構(gòu)，便于和其它網(wǎng)絡(luò)結(jié)合，對推進(jìn)深度學(xué)習(xí)算法的應(yīng)用具有現(xiàn)實(shí)意義。未來工作中，針對人工絕緣子圖像與航拍絕緣子圖像差異性或建模困難等情況，需要進(jìn)一步探索人工圖像數(shù)據(jù)擴(kuò)充與網(wǎng)絡(luò)訓(xùn)練相結(jié)合的策略。