基于深度學習的密集人群安全監測系統

　　摘 要：近年來高密度人群聚集活動經常因為缺乏及時有效的管理而導致安全事故頻頻發生，人群活動的應急管理、風險評估、隱患識別越來越受到重視。鑒于系留無人機的自由靈活性，其可長時間、全方位監測密集人群，將監測數據傳入深度學習的卷積模型中，計算人群密度等指標，并驗證實驗結果的可行性，將預警信息、風險點數據推送至相關管理單位，形成監測信息、預警信息、對應措施信息化安全管理系統，為安全管理部門提供幫助。

　　關鍵詞：城市安全;高密度人群;系留無人機;深度學習;場景分析;卷積模型

　　《智能系統學報》已于2006年3月正式出刊,雙月刊。是由中國人工智能學會和哈爾濱工程大學聯合主辦，是中國人工智能學會會刊之一。

　　0 引 言

　　當今國民經濟快速發展，人們的物質生活和精神生活大幅提升，節假日旅游、明星演唱會、城市各大廣場商場、地鐵站、火車站等大型人群活動越來越多，急劇發展的同時也帶來了城市的安全問題。群眾的聚集性活動具有秩序混亂、容易恐慌、擁擠度高、管理困難等特點，比較容易發生意外，比如踩踏性事件、重大傷亡事件、財產丟失事件等[1]。近年來，我國頻頻發生大型人群活動惡性事件，2004年2月5日在北京市密云縣密虹公園舉辦的密云縣第二屆迎春燈展中，因為游人在公園橋上跌倒，引起身后游人擁擠，造成踩死、擠傷游人的特大惡性事故，事故造成37人死亡、37人受傷;2007年11月，重慶一家樂福超市因食用油打折促銷引發踩踏事故，造成3人死亡，31人受傷;2014年12月31日上海外灘陳毅廣場發生踩踏性事件，造成36人死亡，49人受傷[2]。若能實時監測每個場景中的人群密度、擁擠度、人群流向、人群異常行為等指標，然后根據實時監測指標采取相對應的安保措施和實行不同等級的緊急預案，就能及時避免或者減少此類事件的發生。

　　傳統的人群計數研究方法分為兩種：第一種是基于檢測的方法，使用一個滑動窗口檢測器來檢測場景中的人群，并統計對應人數;第二種是基于回歸的方法，該方法通過提取一些低級特征學習一個人群計數的回歸模型，但很難處理人群之間嚴重遮擋的問題[3]。隨著深度學習計算機視覺技術的發展，卷積模型處理視頻數據的效果顯著，同樣也被應用于人群計數的研究中。因為卷積神經網絡具有強大的特征學習能力，可以解決遮擋、視角等問題，所以深度學習在人群計數數據集和卷積神經網絡模型等方面表現良好。

　　1 系留無人機監測系統

　　系留無人機近年來已被廣泛應用在應急搶險工作中，國內外很多公司對系留無人機的相關設備有了成熟的研究并不斷完善，在起飛、懸停高度、載荷等方面也進行了不斷探索[4]。系留無人機通過系留電纜連接系留控制箱，系留控制箱與地面電源連接，具有續航時間長、穩定性高、精度高、成本低、拍攝范圍廣、實時監測等特點。系留無人機可以搭載高清廣角相機、紅外相機、雷達傳感器等監測工具，采集的高質量視頻圖像通過HDMI接口傳入電腦，視頻數據經計算處理得出監控場景中的人群數量等指標，傳輸到指揮中心進行判斷，對人群疏導、安全事故、風險評估起預測作用，可節約人力，提高效率。系留無人機監測平臺方案示意如圖1所示。

　　2 基于深度學習的監測數據處理方法

　　深度學習的基本工作原理如圖2所示。圖像輸入設計的卷積神經網絡提取特征通過權重值輸出預測值，一一對應的預測值與真實值利用損失函數判斷之間的差異，作為反饋信號權重進行微調，在調節過程中使用優化器來完成，最終經過數次迭代使模型達到最小的損失值，訓練結束，保存權重。

　　數據來源于公開的shanghai-tech數據集(1 100張圖片)和自己拍攝的大型活動場景圖片(900張)，所有圖片數據均需經過標準化處理。將高密度人群圖像和稀疏人群圖像整合后，訓練一個適用于普遍場景下的人群計數模型。數據標記過程是把每一張圖像中的頭部標注成稀疏矩陣，再通過高斯濾波轉換成2D密度圖，密度圖中所有單元格的總和為圖像中的實際人數，經數據預處理后生成一一對應的數據標簽圖像[5-6]。其中1 400張為訓練圖像，600張為測試和驗證圖像。

　　2.1 網絡結構

　　本文通過兩類卷積神經網絡模型計算人群指標并驗證深度學習的準確率。一類是基于卷積+空洞卷積的CNN模型，其前端利用預訓練的VGG16網絡前的十層卷積層和三層池化層，每次卷積采用補0操作，保持輸出的圖像大小不變，最大池化步幅為2，圖像輸入網絡中，經過4次卷積和3次池化后，輸出圖像尺寸變為之前的1/8，圖像變小后生成密度圖比較困難，所以后端加上六層空洞卷積(Dilated Convolution)，設置膨脹率為2[7-8]，其網絡結構如圖3所示。

　　另一類是基于多尺度的編碼-解碼(Encoder-Decoder)網絡結構，網絡的編碼部分使用多尺度卷積結構，通過不同大小的卷積核可以很好地學習不同尺度的人群特征，使模型的泛化能力更強。本次研究設計了4種不同尺度的卷積核，串聯輸出，采用最大池化，每次池化圖像變為之前的

　　1/2[9-10]。網絡解碼部分使用卷積和三層轉置卷積得到最終的人群密度圖，網絡結構如圖4所示。

　　2.2 損失函數

　　(1)基于CSRNet的損失函數采用歐式距離來計算標簽圖像的真值和預測密度圖之間的差異[11]，計算過程如下：

　　式中：N為訓練樣本的數量;Z(Xi; θ)為輸入第i個樣本的預測密度;ZiGT為第i個樣本的真實密度;L(θ)代表密度損失。

　　(2)基于SANet的損失函數采用SSIM和歐氏距離的結合來計算密度圖與真實值之間的相似性[9]，計算過程如下：

　　式中：N代表樣本的數量;C1和C2代表常數;μF為樣本F的均值;μY為樣本Y的均值;σF為樣本F的方差;σY為樣本Y的方差;σFY為樣本Y，F的協方差;SSIM衡量真實值與密度圖之間的一致性;LC代表圖片的一致性損失;Lθ代表歐式距離的密度損失;LOSS代表總的密度損失。

　　2.3 評估標準

　　采用平均均方根誤差MSE和平均絕對誤差MAE兩個指標評價模型的性能，MSE評價模型的準確率，MAE評價模型的魯棒性[5，11]，公式如下：

　　式中：N為測試集的圖像數量;G(i)和P(i)分別表示第i張測試圖像的真實值和預測值。

　　2.4 實驗過程

　　實驗環境為Ubuntu18.04操作系統，GPU為GTX1060，使用后端為TensorFlow的Keras深度學習框架。實驗過程中為了防止出現過擬合和通過少量樣本訓練泛化能力強的新模型，使用訓練數據增強生成器，通過旋轉、平移、縮放、翻轉等隨機變化來增加樣本數量。數據輸入采用小批次訓練，每次輸入8個樣本，訓練過程的參數設置見表1，表2所列。

　　2.5 實驗結果分析

　　測試結果見表3所列，MSE和MAE兩個誤差指標都在誤差范圍內，驗證了本文介紹的人群計數網絡結構方案的有效性。

　　本文基于卷積-空洞卷積和多尺度編碼-解碼兩種網絡在深圳市海岸城、廣州市火車站和shanghai-tech測試數據集進行測試，結果見表4、表5所列。

　　系統分析流程如圖5所示。

　　3 案例的應用分析

　　3.1 深圳市南山區海岸城購物中心

　　海岸城位于深圳市南山區后海，緊鄰濱海大道、南海大道、后海大道、創業路等南山區城市主干道，附近有百貨商場、特色餐飲、潮流娛樂、零售店面、品牌商鋪，周邊有深圳大學、寫字樓、科技創業園、居民住宅等建筑，周末、節假日成為了人們聚集的休閑地點，從而形成人流量較大、人群活動密集的現象。本文選取靠近后海地鐵站D，E出口近150 m的步行街為研究對象，此步行街在地上二層，兩側排滿商鋪，采集數據的時間為每個周末的下午5點，采集次數為5次，具體場景如圖6所示。

　　(1)評價監控場景中人群舒適度與行人心理情緒的關系

　　研究區段長近50 m，寬近10 m，研究面積為500 m2，通過人群計數的實驗得出無人機特定視角監測范圍內人數為400～450人，行人密度為0.8～0.9人/m2，通常情況下，行人密度小于1人/m2時，人群活動比較自由，行人密度小于0.5人/m2時，人群活動比較舒適[12]，所以研究路段基本可滿足行人自由活動的需求，但是人群行走舒適度不高，有行走限制，會影響行人購物的心理情緒，出現焦慮、煩躁等心理狀態，需注意排隊購物、行人突然奔跑、小孩隨意走動等行為[13]。

　　(2)人群聚集度與危險等級的關系

　　通過計算人群的數量，可以得到人群聚集程度、步行街的熱點商鋪，因為排隊購物將導致人群聚集度高，因此應重點關注類似商鋪，采取控制人流量、設置欄桿、合理疏導等措施。購物中心管理人員根據聚集程度合理設置商鋪功能，靠近地鐵口的路段勿安排熱銷購物品牌商鋪，以免造成交通堵塞。靠近電梯口的地方盡量不要設置商鋪，以防擁擠造成事故。

　　3.2 廣州市火車站

　　廣州火車站是廣九、京廣鐵路的終點站，有4個站臺、7條到發線，途徑線路有廣茂鐵路、廣佛肇城際軌道。春運期間運送乘客約200萬人次，廣州火車站的設計規模已無法滿足當下需求，面對如此巨大、密集的客流量，人工安全管理工作很難落實到每一個角落，所以采用無人機監測火車站的安全很有必要。廣州火車站的具體場景如圖7所示。

　　(1)人群密度與疏散時間的關系

　　廣州火車站的候車廣場較大，如果發生意外，需要進行人群緊急疏散，那么人群的合理疏散問題就非常重要。系留無人機憑借靈活穩定等特點，可以拍攝各個位置的人數，無人機視頻圖像再經過模型計算后得出各位置的實時人群數量，根據人群數量合理規劃各通道的疏散時間，并根據人群密度判斷行走速度，合理規劃走電梯、扶梯、樓梯等時間，進行合理引導確保安全疏散，以免造成恐慌和踩踏事故的發生，同時還可以根據計算得到的人群總數采用不同等級的緊急預案，節約決策時間[14]。

　　(2)人群數量與交通引導的關系

　　對于進站人群，通過無人機的航拍得知擁堵人群的位置和數量，告知進站人員選擇合理的進站口，錯開擁堵的進站口，以減少工作人員的工作量，節省人力[15]。廣州火車站附近有地鐵2號線、地鐵5號線和廣州火車站東側的30多個總公交車站，對于出站人員，通過計算人群數量、人群聚集度等指標引導出站人員選擇正確的通道出站，節約時間。

　　4 結 語

　　本文主要研究人群密集活動場景下，通過系留無人機監測平臺拍攝的場景視頻經過深度學習卷積模型計算得出人群密度圖和人群數量，并以深圳市南山區海岸城和廣州火車站兩個案例進行分析，得出以下結論：

　　(1)實驗通過對深度學習模型進行測試，證明基于深度學習的人群計數是可行的，并且誤差較小，符合密集或者稀疏場景的需求;

　　(2)系留無人機監測平臺可以對密集活動進行現場安全保護，實時提供人員聚集程度、人員分布情況等信息，拍攝廣泛或者特定位置信息;

　　(3)通過兩個案例的簡單分析說明基于系留無人機監測平臺的安全應用可以節約人力、提高效率、提供安全風險等級、預防安全事故發生;

　　(4)未來的研究工作還包括人群異常行為檢測和人群數量預測，結合已有人群計數、人群聚集度等指標來減少安全事故的發生，為大型人群活動提供有效的保護措施。

　　參 考 文 獻

　　[1]梁靜，楊君濤.大型社會活動安全風險指標體系構建的思考[J].現代職業安全，2015(4)：71-73.

　　[2]盧文剛，蔡裕嵐.城市大型群眾性活動應急管理研究：以上海外灘“12·31”特大踩踏事件為例[J].城市發展研究，2015，22(5)：118-124.

　　[3]藍海磊.人群計數算法綜述[J].計算機產品與流通，2019(7)：91.