內(nèi)存計(jì)算在DSP領(lǐng)域的應(yīng)用前景分析
引言
本文引用地址:http://cafeforensic.com/article/202438.htm對(duì)海量數(shù)據(jù)進(jìn)行實(shí)時(shí)分析處理,一直是數(shù)據(jù)倉庫、OLTP/OLAP、商業(yè)智能等領(lǐng)域的軟件廠商所普遍關(guān)心的課題。前不久,SAP推出了一款面向?qū)崟r(shí)商業(yè)智能領(lǐng)域的高性能分析應(yīng)用軟件(SAP High-Performance Analytic Appliance ,簡(jiǎn)稱SAP HANA)。其中,受到業(yè)界廣泛關(guān)注的是,SAP HANA采用了以往大家很少聽說過的“內(nèi)存計(jì)算(In-Memory Computing)”技術(shù)。而且在IBM、戴爾等廠商推出的HANA解決方案中,無一例外地使用了基于英特爾至強(qiáng)E7平臺(tái)的服務(wù)器。
下面我們來分析一下,到底什么是內(nèi)存計(jì)算,它在企業(yè)級(jí)關(guān)鍵業(yè)務(wù)領(lǐng)域有著怎樣的應(yīng)用前景,然后看看英特爾至強(qiáng)E7為什么能夠很好地支持這類應(yīng)用,從而一起為海量數(shù)據(jù)實(shí)時(shí)處理打造一條寬廣的“高速公路”。
1 內(nèi)存計(jì)算:對(duì)海量數(shù)據(jù)進(jìn)行實(shí)時(shí)處理
今天,許多企業(yè)已經(jīng)面臨越來越多的數(shù)據(jù)要處理,而且對(duì)這些數(shù)據(jù)需要進(jìn)行實(shí)時(shí)的分析。為此,SAP一直在重新構(gòu)想數(shù)據(jù)倉庫的運(yùn)行模式,并提出了內(nèi)存計(jì)算的理念。那么什么是內(nèi)存計(jì)算呢,我們不妨從兩個(gè)角度來理解。
首先,從計(jì)算存儲(chǔ)技術(shù)的角度看,由于服務(wù)器在處理數(shù)據(jù)時(shí),CPU首先會(huì)從其緩存中找數(shù)據(jù),緩存中找不到,再?gòu)膬?nèi)存中找,內(nèi)存里沒有,再?gòu)挠脖P上讀取。在傳統(tǒng)數(shù)據(jù)庫查詢中,磁盤訪問時(shí)間是一個(gè)主要的瓶頸。研究發(fā)現(xiàn),如果讓查詢?cè)谧x寫速度快很多倍的內(nèi)存中進(jìn)行,而不用訪問物理磁盤,將會(huì)大大提升處理性能。試想一下,對(duì)于商業(yè)智能應(yīng)用而言,由于數(shù)據(jù)庫一般都較大,少則幾個(gè)GB,多則成百上千個(gè)GB,如果把整個(gè)數(shù)據(jù)庫都搬到內(nèi)存中去運(yùn)行,又會(huì)怎樣呢?
因此,所謂“內(nèi)存計(jì)算”,實(shí)質(zhì)上就是CPU直接從內(nèi)存而不是硬盤上讀取數(shù)據(jù),進(jìn)行計(jì)算、分析,是對(duì)傳統(tǒng)數(shù)據(jù)處理方式的一種加速。內(nèi)存計(jì)算非常適合處理海量的數(shù)據(jù),以及需要實(shí)時(shí)獲得結(jié)果的數(shù)據(jù),比如可以將一個(gè)企業(yè)近十年幾乎所有的財(cái)務(wù)、營(yíng)銷、市場(chǎng)等各方面的數(shù)據(jù)一次性地保存在內(nèi)存里,并在此基礎(chǔ)上進(jìn)行數(shù)據(jù)的分析。當(dāng)企業(yè)需要做快速的賬務(wù)分析,或要對(duì)市場(chǎng)進(jìn)行分析時(shí),內(nèi)存計(jì)算就能夠快速的按照需求完成。
其次,從應(yīng)用的角度來看,在商業(yè)智能方案中,在線交易處理(OLTP)和在線分析處理(OLAP)是兩種不同的應(yīng)用,其中OLTP系統(tǒng)需要對(duì)發(fā)生的業(yè)務(wù)進(jìn)行實(shí)時(shí)記錄,因此要處理的是大量簡(jiǎn)單、小規(guī)模、同時(shí)發(fā)生的交易;而OLAP系統(tǒng)是對(duì)OLTP提供的數(shù)據(jù)進(jìn)行分析,以支持業(yè)務(wù)決策,因此處理的交易數(shù)量相對(duì)較少,但更為復(fù)雜。使用內(nèi)存計(jì)算的SAP HANA的交易型和分析型引擎能夠同時(shí)應(yīng)對(duì)這兩種應(yīng)用,內(nèi)存計(jì)算技術(shù)實(shí)際上是把現(xiàn)在交易型的數(shù)據(jù)庫和分析型的數(shù)據(jù)庫合并為一個(gè)內(nèi)存數(shù)據(jù)庫,其結(jié)構(gòu)如下圖所示:
談到SAP HANA的具體應(yīng)用場(chǎng)景,SAP中國(guó)區(qū)首席技術(shù)官?gòu)垈b曾對(duì)媒體舉過這樣一個(gè)例子:航空公司。航空公司的主要特點(diǎn)就是信息量大,且有很多實(shí)時(shí)信息,一般會(huì)有這樣兩個(gè)系統(tǒng):一是客戶相關(guān)的系統(tǒng),里面有各種客戶的信息,如誰是金卡會(huì)員,誰希望坐在靠窗或者靠走道的座位,商務(wù)旅客與私人休閑旅客的不同偏好等等;另一個(gè)是定票系統(tǒng),定票系統(tǒng)會(huì)把每個(gè)航班對(duì)應(yīng)的飛機(jī)型號(hào)、座位數(shù)量、飛機(jī)維修、天氣等等信息綜合在一起。高速的內(nèi)存計(jì)算技術(shù)能夠綜合所有以上這些情況,根據(jù)不同場(chǎng)景進(jìn)行更好的匹配。比如,利用高速分析的能力對(duì)航班晚點(diǎn)的情況進(jìn)行調(diào)配,通過分析發(fā)現(xiàn)某些型號(hào)的飛機(jī)可以在某個(gè)飛機(jī)轉(zhuǎn)場(chǎng)。這樣就能把天氣等各種影響降至最低,使客戶盡可能坐在他喜歡坐的位置上,并設(shè)計(jì)好定價(jià)策略做到既能滿足客戶的需求,又能為航空公司帶來更好效益。
評(píng)論