非結(jié)構(gòu)化海量網(wǎng)絡(luò)數(shù)據(jù)處理技術(shù)研究
摘要:為實(shí)現(xiàn)網(wǎng)絡(luò)化測(cè)試系統(tǒng)下非結(jié)構(gòu)化海量網(wǎng)絡(luò)數(shù)據(jù)的快速分析處理,在關(guān)鍵的算法和系統(tǒng)化集成處理方面提出解決方法。采用內(nèi)存映射文件方式快速讀取海量數(shù)據(jù),并設(shè)計(jì)了時(shí)間矩陣算法,用以快速進(jìn)行同步分析處理;應(yīng)用分布式中間件方式實(shí)現(xiàn)海量數(shù)據(jù)的并發(fā)處理和數(shù)據(jù)分發(fā),對(duì)飛行試驗(yàn)采集的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行了分析處理,使用這些算法的數(shù)據(jù)處理軟件,可以使處理效率滿足飛行試驗(yàn)海量網(wǎng)絡(luò)數(shù)據(jù)處理的需求。這些都為新一代機(jī)載采集系統(tǒng)應(yīng)用于飛行試驗(yàn)提供了技術(shù)保障。
關(guān)鍵詞:IENA;XNET/INET;PCAP;飛行試驗(yàn)
飛行試驗(yàn)數(shù)據(jù)處理是飛行試驗(yàn)工程中非常重要的一個(gè)環(huán)節(jié),是對(duì)各類試飛數(shù)據(jù)信息進(jìn)行細(xì)致、充分和全面的分析與處理,數(shù)據(jù)處理結(jié)果是飛行試驗(yàn)鑒定結(jié)論的核心依據(jù)。隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)在飛行試驗(yàn)測(cè)試領(lǐng)域的深入應(yīng)用,網(wǎng)絡(luò)化測(cè)試技術(shù)逐漸成為飛行試驗(yàn)測(cè)試技術(shù)發(fā)展的另一個(gè)核心。同時(shí)隨著現(xiàn)代飛機(jī)設(shè)計(jì)技術(shù)的發(fā)展,飛機(jī)系統(tǒng)越來(lái)越復(fù)雜,飛行試驗(yàn)科目、測(cè)試參數(shù)、測(cè)試數(shù)據(jù)種類以及測(cè)試數(shù)據(jù)總量越來(lái)越多。對(duì)飛行試驗(yàn)數(shù)據(jù)處理從質(zhì)量、速度以及數(shù)據(jù)安全性、可靠性等方面提出了更高的要求。機(jī)載網(wǎng)絡(luò)化測(cè)試系統(tǒng)架構(gòu)技術(shù)應(yīng)用于最新的飛機(jī)測(cè)試系統(tǒng)上,該系統(tǒng)采集記錄的網(wǎng)絡(luò)數(shù)據(jù)記錄了飛機(jī)一個(gè)飛行試驗(yàn)起落的各類測(cè)試數(shù)據(jù)信息,新一代飛機(jī)測(cè)試參數(shù)總量激增,數(shù)據(jù)總量達(dá)到上百個(gè)GB。為縮短單架次飛行試驗(yàn)周期,如何高效快捷地對(duì)這些非結(jié)構(gòu)化的海量網(wǎng)絡(luò)數(shù)據(jù)包進(jìn)行同步分析處理,方便科研人員的應(yīng)用,就成為必須解決的實(shí)際問(wèn)題。
1 網(wǎng)絡(luò)化機(jī)載測(cè)試系統(tǒng)飛行試驗(yàn)數(shù)據(jù)的特點(diǎn)
在網(wǎng)絡(luò)化機(jī)載測(cè)試系統(tǒng)Kam4000中,網(wǎng)絡(luò)數(shù)據(jù)包從采集器通過(guò)二級(jí)交換機(jī)到記錄器。第一級(jí)交換機(jī)可以有多個(gè),二級(jí)交換機(jī)作為系統(tǒng)的時(shí)鐘接入點(diǎn)、遙測(cè)數(shù)據(jù)和記錄器的接入點(diǎn)、系統(tǒng)配置文件的加載點(diǎn),結(jié)構(gòu)如圖1所示。網(wǎng)絡(luò)數(shù)據(jù)包被記錄器完整的記錄下來(lái),在此需要分析的是記錄器記錄的完整的網(wǎng)絡(luò)數(shù)據(jù)。該網(wǎng)絡(luò)數(shù)據(jù)是有一個(gè)個(gè)網(wǎng)絡(luò)數(shù)據(jù)包組成,每個(gè)網(wǎng)絡(luò)數(shù)據(jù)包的格式根據(jù)采集器的不同可以是不同的。
1.1 與Kam500采集系統(tǒng)的差別
現(xiàn)在大量應(yīng)用于飛行試驗(yàn)的Kam500機(jī)載測(cè)試系統(tǒng),采集記錄的飛行試驗(yàn)數(shù)據(jù)格式為標(biāo)準(zhǔn)的PCM數(shù)據(jù)。PCM數(shù)據(jù)由重復(fù)出現(xiàn)的長(zhǎng)幀組成,每個(gè)長(zhǎng)幀的長(zhǎng)度是固定的,每個(gè)長(zhǎng)幀包含若干個(gè)短幀。網(wǎng)絡(luò)化機(jī)載測(cè)試系統(tǒng)Kam4000中,采集記錄的飛行試驗(yàn)數(shù)據(jù)為網(wǎng)絡(luò)數(shù)據(jù)包格式。每個(gè)網(wǎng)絡(luò)數(shù)據(jù)包的大小都可以不同,并且每個(gè)網(wǎng)絡(luò)數(shù)據(jù)包中的參數(shù)個(gè)數(shù)也可以不同。
1.2 海量網(wǎng)絡(luò)數(shù)據(jù)包的格式
網(wǎng)絡(luò)化測(cè)試系統(tǒng)采用ARCA公司的最新采集器,采集記錄的數(shù)據(jù)格式根據(jù)采集器的不同可以是IENA,或XNET/INET網(wǎng)絡(luò)數(shù)據(jù)包格式。采用BCU105(IENA Ethernet Controller)支持的是IENA包結(jié)構(gòu)。而采用BCU140(XNET Ethernet Controller)支持XNET/INET的同時(shí),也支持IEN-A。在網(wǎng)絡(luò)化測(cè)試系統(tǒng)中IENA和XNET/INET網(wǎng)絡(luò)數(shù)據(jù)包以EthernetⅡ協(xié)議廣播。根據(jù)記錄器的不同,記錄的網(wǎng)絡(luò)數(shù)據(jù)包結(jié)構(gòu)可以是PCAP格式或者IRIG106-10格式記錄。
PCAP基本格式:
文件頭 數(shù)據(jù)包頭 數(shù)據(jù)包 數(shù)據(jù)包頭 數(shù)據(jù)包 …
IRIG106-10基本格式:
文件頭 特殊字頭 數(shù)據(jù)包 特殊字頭 數(shù)據(jù)包 …
根據(jù)飛行試驗(yàn)的測(cè)試特性,參照以往的模擬量在飛行實(shí)驗(yàn)中記錄數(shù)據(jù)的大小,如果參數(shù)量為5 000個(gè),一定的飛行時(shí)間內(nèi)記錄的飛行試驗(yàn)數(shù)據(jù)為12 GB左右。隨著飛機(jī)系統(tǒng)的復(fù)雜性的增加,應(yīng)用于飛行實(shí)驗(yàn)的網(wǎng)絡(luò)化測(cè)試系統(tǒng)需測(cè)試的飛行試驗(yàn)參數(shù)也越來(lái)越多,單架次的飛行試驗(yàn)記錄的模擬量數(shù)據(jù)將是現(xiàn)在的4倍、5倍甚至更多。
評(píng)論