2021-4-10 | 互聯網
1系統組成
根據系統總體框架和軟件模型,將互聯網電視內容監管系統劃分為三個子系統,分別是:互聯網電視用戶端數據采集系統、互聯網電視內容監管平臺、數據庫服務系統。互聯網電視用戶端數據采集系統與內容監管平臺之間實時業務通過HTTP協議進行通信,數據通過XML格式進行封裝,音視頻數據流通過RTSP實時流媒體協議傳輸,非實時數據通過數據庫服務系統進行數據存儲與交換,文件流通過FTP協議傳輸。
數據庫服務系統:實現數據的統一存儲與管理,包括EPG數據、節目元信息、審批機構信息、下載及錄像文件、用戶管理信息、設備狀態信息、數據處理分析結果等。
2系統總體功能
系統的主要功能包括:互聯網電視機用戶端數據采集、互聯網電視節目監看、下載和存儲、EPG、節目元采集、管理和核查、違規節目鑒別、取證錄制、審批機構管理與核查、統計分析報告、系統運行管理等。
1.互聯網電視用戶端數據采集及存儲:從用戶端(內容接收端)獲取互聯網電視接收節目的EPG信息、節目元信息、點播節目內容、直播節目碼流;下載點播節目文件、錄制直播節目內容;違規節目搜索及效果驗證。
2.節目內容監看:通過監管門戶提供的用戶配置界面節目單,選擇互聯網電視機實際播出的點播/直播節目,實現對相應實時/歷史節目的多源、多碼率、多畫面監看監聽。
3.EPG及節目元信息管理:對7種電視機采集終端獲得的EPG信息、節目元信息進行匯總和統一存儲,建立互聯網電視EPG信息庫。
提供EPG及節目元信息查詢、分析處理功能。
4.機構信息管理與核查:建立全國互聯網電視業務審批基礎信息庫,審批機構包括互聯網電視集成業務持證機構,以及互聯網電視內容服務持證機構;通過采集前端采集的節目元信息,以及對相關節目內容、呼號、臺標等的抽查,對實際播出情況進行核對。一是確保終端收看的節目來自合法的集成播控平臺,二是確保集成播控平臺中的節目來自合法的互聯網電視內容服務持證機構,三是確保各類持證機構按照審批范圍和標準開展業務。
5.違規節目鑒別:通過預定義的節目文本關鍵字規則,自動標記EPG信息庫中的節目元信息、歸類篩選疑似違規節目;對用戶指定的疑似違規待下載/錄制節目,在下載/錄像完成回傳到監管平臺后,利用視頻拷貝檢測技術,通過鏡頭劃分、關鍵幀抽取等視頻語義分析手段,輔助實現節目內容的智能識別。
6.違規節目取證:建立違規取證數據庫,存儲已確認違規節目的相關信息和錄像文件,包括節目元信息、節目內容、節目靜態視頻摘要、違規性質、違規類別、審核時間、審核人、下線通知時間、下線確認時間等。
7.查詢、統計分析功能:對系統內各類監管數據的查詢、綜合統計、分析、報表功能。
8.系統運行管理:運行管理實現對系統業務參數和運行參數的配置和管理,分配用戶權限,監控系統網絡、軟硬件等運行狀態,出現異常時進行報警等。
9.系統安全:為防止網絡攻擊及反向定位,在網絡層將所有訪問互聯網的終端地址加以隱藏,并在應用層設置訪問黑/白IP地址,保證系統的安全。
3系統軟件總體設計
互聯網電視內容監管系統軟件在結構上分為數據采集、數據邏輯和數據表示三個部分,如圖4所示。其中數據表示層(即監管門戶)采用B/S架構,整個系統采用模塊化設計,每個功能模塊保持相對的獨立性,具有較好的開放性和易擴展性,結構清晰、維護簡單易行。
第一部分是數據采集和回傳。互聯網電視用戶端的數據采集用于采集互聯網電視用戶接收端的節目信息及音視頻內容信息。模擬電視機終端通過公共互聯網訪問對應的集成播控平臺。互聯網電視機采集終端由數據采集服務器、互聯網電視機和相關應用軟件組成,自動采集實際傳輸到用戶端的互聯網電視EPG、節目元信息等,并能根據監管平臺的遠程指令,對點播節目內容、直播節目碼流進行主動下載、輪播、錄制,對違規節目進行搜索驗證和下線效果驗證。
第二部分是監管數據回傳網絡。互聯網電視機采集終端設置兩塊網卡,一塊與互聯網連接,一塊與內網連接;與外網連接的網絡通過硬件防火墻NAT等技術接入公共互聯網,與內網連接的網絡應用安全策略邏輯隔離后,通過交換機與監管平臺組成內部局域網。
第三部分是內容監管平臺,主要由流媒體服務器、WEB服務器、EPG管理/機構管理與核查服務器、數據庫服務器、違規節目鑒別服務器、違規節目取證服務器組成。互聯網電視內容監管平臺作為全國互聯網電視內容監管數據統一分析與處理平臺,通過指令控制互聯網電視機采集終端,接收采集終端回傳的監管數據。監管平臺對互聯網電視內容監管采集數據進行統一解析、存儲、分析和處理,為監管人員和管理部門提供多源、多畫面監看和各種監管數據,從而實現對互聯網電視的有效監管。
4關鍵技術
1.網絡抓包技術
捕獲流過網卡的數據包,工作在混雜模式下的網卡接收所有流過網卡的幀,信包捕獲程序就是在這種模式下運行的。
網卡的缺省工作模式包含廣播模式和直接模式,即它只接收廣播幀和發給自己的幀。如果采用混雜模式,一個站點的網卡將接受同一網絡內所有站點所發送的數據包,這樣就可以達到對網絡信息監視捕獲的目的。
2.網絡爬蟲及XML解析技術
采用網絡數據包截獲手段來獲取節目播出平臺的首頁地址,從而得到初始網頁URL,根據初始網頁的XML描述,配置網頁爬取規則,用來把需要采集的網頁批量保存到本地,進行一定的分析、過濾,并建立索引。在模塊內部構建一個XML解析器,不斷獲取新的URL放入隊列,這樣一直循環下去,直到把節目播出平臺所有的網頁都爬取完為止。為了提高網絡爬取的效率,此模塊使用多線程方式進行。