支持輕量級IPv6終端的大數(shù)據(jù)實驗平臺建設(shè)

　　【摘要】 大數(shù)據(jù)實驗平臺為大數(shù)據(jù)實驗教學(xué)提供了有力支撐。隨著移動設(shè)備的不斷普及，如何在輕量級終端上支持大數(shù)據(jù)實驗成為一個重要難題，而IPv6技術(shù)的應(yīng)用為解決該問題提供了可能。提出了支持IPv6輕量級終端的大數(shù)據(jù)實驗平臺架構(gòu)，支持輕量級終端對大數(shù)據(jù)平臺云端集群的快速交互，實現(xiàn)在各類型輕量級終端設(shè)備上遠(yuǎn)程進(jìn)行大數(shù)據(jù)實驗的目標(biāo)，從而突破大數(shù)據(jù)實驗教學(xué)的時空局限性。

　　高建良; 高俊; 段桂華， 工業(yè)和信息化教育 發(fā)表時間：2021-10-22

　　【關(guān)鍵詞】大數(shù)據(jù)平臺;實驗教學(xué);IPv6技術(shù);輕量級終端;人工智能;交叉學(xué)科

　　0 引言

　　數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)人才培養(yǎng)需要加強(qiáng)大數(shù)據(jù)實驗教學(xué)[1]。在大數(shù)據(jù)實驗教學(xué)中，實驗環(huán)境通常運行在大數(shù)據(jù)集群上以處理海量數(shù)據(jù)。搭建集群的過程主要包括Spark、HBase、Hadoop等多種自動化和開源軟件的設(shè)計安裝，煩瑣的配置工作量大[2]。

　　為了解決高校的大數(shù)據(jù)實驗環(huán)境基礎(chǔ)構(gòu)建煩瑣困難的問題，已經(jīng)出現(xiàn)了不少商用大數(shù)據(jù)實驗平臺。例如，按照數(shù)據(jù)挖掘、大數(shù)據(jù)平臺與算法及行業(yè)實戰(zhàn)數(shù)據(jù)分析3個層次來構(gòu)建的大數(shù)據(jù)實驗平臺。一站式大數(shù)據(jù)實驗平臺集分布式實驗集群、主流平臺及教程、培訓(xùn)于一體，緩解了配置難的痛點。但是，目前高校大數(shù)據(jù)實驗教學(xué)依然存在一些問題。一方面，高校的大數(shù)據(jù)實驗教學(xué)局限于僅在高校機(jī)房中配置大數(shù)據(jù)實驗平臺以完成教學(xué)及學(xué)習(xí)任務(wù)，時間地點不靈活，存在時空局限性問題。另一方面，隨著智能手機(jī)和平板電腦等輕量級移動設(shè)備的遍及，基于移動設(shè)備的學(xué)習(xí)資源設(shè)計已成為移動學(xué)習(xí)研究的方向之一[3-4]。若能借助移動智能設(shè)備，構(gòu)建支持輕量級移動終端的大數(shù)據(jù)實驗平臺，便可以突破大數(shù)據(jù)實驗的時空局限。因此，針對支持輕量級終端的大數(shù)據(jù)實驗平臺進(jìn)行研究，提出支持輕量級IPv6終端的大數(shù)據(jù)實驗平臺的解決方案。

　　1 大數(shù)據(jù)實驗平臺的背景和構(gòu)建意義

　　平臺建設(shè)是大數(shù)據(jù)落地的關(guān)鍵之所在[5]。呂云翔等人探究與實現(xiàn)了大數(shù)據(jù)在線學(xué)習(xí)網(wǎng)站以提升大數(shù)據(jù)學(xué)習(xí)的效率[6]。為了促進(jìn)學(xué)生的大數(shù)據(jù)實踐，楊丹等人研究了“大數(shù)據(jù)技術(shù)”課程實驗教學(xué)環(huán)境的構(gòu)建[7]，趙亮、陳志奎設(shè)計了基于 Hadoop的大數(shù)據(jù)算法庫教學(xué)實驗平臺[8]。

　　大數(shù)據(jù)實驗平臺在線上學(xué)習(xí)和資源配置上具備極大優(yōu)勢。大數(shù)據(jù)實驗平臺不僅能減輕教師的實驗授課負(fù)擔(dān)，同時也能為學(xué)生的實驗學(xué)習(xí)提供保障。一方面，對于剛接觸大數(shù)據(jù)學(xué)習(xí)的學(xué)生來說，其在正確配置大數(shù)據(jù)實驗環(huán)境并且理解配置參數(shù)上存在困難。另一方面，很多學(xué)生選擇使用筆記本計算機(jī)進(jìn)行實驗，但筆記本計算機(jī)的性能一般不足以支撐分布式實驗環(huán)境的搭建。目前學(xué)生的大數(shù)據(jù)實驗多數(shù)在虛擬機(jī)上完成，但是因為內(nèi)存、CPU等受限，無法給虛擬機(jī)分配足夠多的資源，學(xué)生只能以單機(jī)實驗為主，難以完成多機(jī)集群部署，給大數(shù)據(jù)學(xué)習(xí)帶來很大的困擾。

　　大數(shù)據(jù)實驗平臺功能強(qiáng)大，可以滿足教師實驗授課與學(xué)生學(xué)習(xí)的全部需求。云端的虛擬化大數(shù)據(jù)實驗平臺啟動快、占用資源少，可以在有限的物理資源上創(chuàng)建多個虛擬化的實驗機(jī)環(huán)境，并可遠(yuǎn)程訪問，完成包括單機(jī)與集群環(huán)境下的大數(shù)據(jù)實驗。學(xué)生不需要搭建實驗環(huán)境，也無須等候?qū)嶒炇野才牛恍璧卿浽破脚_即可進(jìn)行實驗;教師也可通過平臺方便獲知學(xué)生實驗情況，大數(shù)據(jù)實驗平臺主要功能如表1所示。

　　但是現(xiàn)有的大數(shù)據(jù)實驗平臺在遠(yuǎn)程訪問和設(shè)備支持上存在不足。一方面，目前很多高校的內(nèi)部網(wǎng)站僅支持校內(nèi)網(wǎng)訪問，因此需要解決大數(shù)據(jù)實驗平臺的校外訪問問題;另一方面，智能手機(jī)、計算機(jī)等移動設(shè)備的數(shù)量逐年增長，智能終端已經(jīng)融入每個人的生活當(dāng)中。隨著智能終端的不斷遍及，探討移動環(huán)境下的課程學(xué)習(xí)模式十分必要。

　　2 IPv6技術(shù)支持多終端大數(shù)據(jù)實驗平臺

　　構(gòu)建支持輕量級移動終端的大數(shù)據(jù)實驗平臺的困難在于如何建立與識別每臺移動終端與實驗平臺之間的連接。IPv6技術(shù)是很好的解決方案， IPv6技術(shù)有以下3方面優(yōu)點。

　　(1)擁有巨大的地址空間。IPv6能夠確保每個輕量級移動終端獲得其唯一的IP地址。隨著移動終端數(shù)量的爆發(fā)性增長，IPv6成為解決終端設(shè)備地址問題的根本途徑[9]。IPv6規(guī)定IP地址長度為 128位Bit，理論上存在2128-1個不同的IPv6地址，這使每個輕量級的移動設(shè)備都能擁有全球唯一的 IP地址成為可能。因此，借助IPv6技術(shù)，可以很好地建立與識別每臺移動終端設(shè)備與大數(shù)據(jù)實驗平臺間的連接。

　　(2)具有可靠的安全性。IPv6能夠保證數(shù)據(jù)傳輸中的數(shù)據(jù)安全可靠。IPv6網(wǎng)絡(luò)層可以加密用戶的傳輸數(shù)據(jù)并校驗IP報文，實現(xiàn)對通信端的驗證，極大地提高了網(wǎng)絡(luò)的安全性。IPv6根據(jù)密碼生成地址，能夠較大限度確保地址不被偽造[10]。因此，IPv6的安全性可以保證數(shù)據(jù)在傳輸過程中不被截獲和丟失，實現(xiàn)輕量級終端對大數(shù)據(jù)實驗平臺的安全訪問與數(shù)據(jù)傳輸。

　　(3)具備高效的數(shù)據(jù)傳輸速率。IPv6能夠保證數(shù)據(jù)傳輸速率的高效性。與需要大量冗長數(shù)據(jù)的IPv4相比，IPv6的固定報頭非常短，可以有效地提高網(wǎng)絡(luò)數(shù)據(jù)傳輸?shù)男省；诰垲愒瓌t的 IPv6地址分配方式，使用路由表中的一條記錄便可表示路由器的一片子網(wǎng)，從而減少路由器中路由表的長度，提高路由器轉(zhuǎn)發(fā)數(shù)據(jù)包的速度。因此，可以憑借IPv6高效的數(shù)據(jù)傳輸速率實現(xiàn)輕量級終端與大數(shù)據(jù)平臺云端集群的快速交互。

　　3 支持輕量級IPv6終端的大數(shù)據(jù)實驗平臺

　　3.1  支持IPv6終端的大數(shù)據(jù)實驗平臺簡介

　　為了突破大數(shù)據(jù)實驗平臺的時空限制以滿足實時使用的問題，筆者提出構(gòu)建支持輕量級 IPv6終端的大數(shù)據(jù)實驗平臺，如圖1所示。支持輕量級IPv6終端的大數(shù)據(jù)實驗平臺借助IPv6安全性高、地址廣泛和傳輸速度快的特點，利用云平臺與IPv6技術(shù)的結(jié)合，將輕量級終端(便攜式移動終端)納入平臺服務(wù)范圍內(nèi)，通過配置云平臺以支持IPv4/IPv6的雙棧網(wǎng)絡(luò)傳輸，實現(xiàn)輕量級終端對大數(shù)據(jù)實驗平臺的遠(yuǎn)程訪問，省去用戶在終端上安裝實驗環(huán)境等煩瑣操作，同時突破時空訪問局限性，極大地提高大數(shù)據(jù)實驗平臺的使用便利性。

　　支持輕量級IPv6終端的大數(shù)據(jù)實驗平臺主要分為3個模塊：輕量級終端、互聯(lián)網(wǎng)傳輸層和服務(wù)器集群端。輕量級IPv6終端主要包括手機(jī)、平板計算機(jī)和筆記本計算機(jī)等移動終端，以及用來發(fā)送終端傳輸信息的IPv6路由器。服務(wù)器集群端包括集群搭建的Master節(jié)點、Slave節(jié)點(如支持 Spark、Hadoop、Kafka等)、分布式資源管理器及用來接收終端傳輸信息的IPv6路由器;在輕量級終端和服務(wù)器集群之間的傳輸層通過使用支持 IPv4/IPv6的雙棧網(wǎng)絡(luò)傳輸，實現(xiàn)輕量級終端和服務(wù)器集群終端之間信息的穩(wěn)定傳輸，保證信息完整性和安全穩(wěn)定性。

　　3.2  支持IPv6終端的大數(shù)據(jù)實驗平臺架構(gòu)

　　支持輕量級IPv6終端的大數(shù)據(jù)實驗平臺架構(gòu)如圖2所示，其主要包括3個部分：App應(yīng)用客戶端、數(shù)據(jù)傳輸層和服務(wù)端。

　　(1)App應(yīng)用客戶端。客戶端上的功能模塊主要分為代碼提交模塊、數(shù)據(jù)提交模塊和數(shù)據(jù)可視化模塊，以分別執(zhí)行代碼編輯、數(shù)據(jù)導(dǎo)入及數(shù)據(jù)可視化等功能。用戶通過支持IPv6的各類型輕量級終端(移動設(shè)備)下載大數(shù)據(jù)實驗應(yīng)用客戶端，并在客戶端上完成用戶注冊和用戶登錄，通過支持IPv6的數(shù)據(jù)傳輸層建立與大數(shù)據(jù)實驗平臺的連接，實現(xiàn)與大數(shù)據(jù)集群數(shù)據(jù)交互。

　　(2)數(shù)據(jù)傳輸層。數(shù)據(jù)傳輸層主要包括支持IPv6的路由器和網(wǎng)絡(luò)，涉及基于IPv6的數(shù)據(jù)傳輸、地址轉(zhuǎn)換及隧道技術(shù)，以建立服務(wù)端與客戶端間數(shù)據(jù)傳輸?shù)臉蛄海ＷC服務(wù)端的大數(shù)據(jù)實驗平臺與輕量級移動終端間的安全高效傳輸。客戶端通過發(fā)送訪問請求和IP地址，經(jīng)由支持IPv6的路由器接收解析客戶端請求的數(shù)據(jù)，并發(fā)送到互聯(lián)網(wǎng)的傳輸層。傳輸層根據(jù)訪問地址IP找到服務(wù)端的大數(shù)據(jù)平臺設(shè)備所在的網(wǎng)絡(luò)接口，經(jīng)由服務(wù)端的IPv6路由器接收解析該訪問請求，并建立客戶端與服務(wù)端間的連接。

　　(3)服務(wù)端。服務(wù)端主要涉及大數(shù)據(jù)實驗平臺的服務(wù)器集群，主要為客戶端提供大數(shù)據(jù)實驗的資源服務(wù)。服務(wù)端的集群設(shè)備分為主節(jié)點設(shè)備和從節(jié)點設(shè)備。大數(shù)據(jù)實驗平臺的服務(wù)端支持基于YARN的資源管理系統(tǒng)、基于Kafka的流數(shù)據(jù)處理、基于Spark的數(shù)據(jù)處理及基于SparkML的機(jī)器學(xué)習(xí)。在數(shù)據(jù)存儲方面，支持輕量級IPv6終端的大數(shù)據(jù)實驗平臺支持HDFS文件系統(tǒng)、HBase、 Redis、MySQL數(shù)據(jù)庫等來存儲和緩存各種類型數(shù)據(jù)。同時，大數(shù)據(jù)實驗平臺具有基于ElasticSearch 的數(shù)據(jù)檢索模式，保證大數(shù)據(jù)實驗的資源配置和大數(shù)據(jù)學(xué)習(xí)內(nèi)容的豐富性。

　　4 結(jié)語

　　大數(shù)據(jù)實驗環(huán)境配置復(fù)雜，對計算機(jī)性能要求較高。構(gòu)建支持輕量級IPv6終端的大數(shù)據(jù)實驗平臺不僅可以解決實驗環(huán)境的設(shè)備性能制約問題，同時能夠滿足在各類型輕量級終端設(shè)備上進(jìn)行平臺訪問的需求，突破大數(shù)據(jù)實驗平臺訪問的時空限制。支持輕量級IPv6終端的大數(shù)據(jù)實驗平臺可為培養(yǎng)大數(shù)據(jù)應(yīng)用型人才提供重要保障，滿足師生多元化與多終端的需求。