摘要：介紹了一套基于云計算(cloud computing)技術的數(shù)據(jù)應用平臺系統(tǒng)設計方案。該系統(tǒng)由多組服務器集群組成，可提供數(shù)據(jù)存儲、備份和并行運算服務。并可采用虛擬化應用端與分布式(Hadoop)技術相結(jié)合的方式為用戶提供高容量和異構應用存儲系統(tǒng)，以便結(jié)合iSCSI協(xié)議在硬件層獲得更靈活的部署。
關鍵詞：虛擬化；數(shù)據(jù)處理；分布式存儲；云計算

0 引言
通過FreeBSD系統(tǒng)搭建開源的Hadoop存儲應用基礎，依托在服務器虛擬化(VMware)的平臺上進行運行，這樣能夠擁有更快、更穩(wěn)定、更安全的硬件保障，使用iSCSI技術，盡可能降低存儲部署成本。本系統(tǒng)利用VMware虛擬化平臺將服務器硬件存儲資源進行整合，通過建立Lun將服務器的磁盤陣列進行劃分，組成多個磁盤邏輯，然后通過在Lun上安裝FreeBSD操作系統(tǒng)及搭建iSCSI服務器端，使得存儲硬件資源能夠靈活地應用在Hadoop系統(tǒng)中。Hadoop將部署在虛擬化硬件平臺上構成一個分布式的文件系統(tǒng)，通過WebDAV協(xié)議建立與客戶端服務器的應用通信。用戶可以通過訪問客戶端服務器，將文件通過WebDAV以HTTPS方式傳輸?shù)紿adoop存儲集群中保存。
該平臺的設計充分利用了虛擬化與分布式技術的特點，采用多層次的模塊化應用將整個存儲系統(tǒng)從硬件架構到軟件應用方式都變得靈活和易擴展，同時又因為虛擬化與分布式技術本身的安全特性，系統(tǒng)在數(shù)據(jù)安全性上具有先天優(yōu)勢，從而實現(xiàn)數(shù)據(jù)存儲服務的低成本部署。

1 系統(tǒng)設計原理
存儲系統(tǒng)采用底層云存儲技術與應用層iSCSI技術來為用戶提供跨系統(tǒng)應用平臺支持。其工作原理如圖1所示。

系統(tǒng)首先由多臺數(shù)據(jù)存儲服務器通過iSCSI網(wǎng)絡構成一個龐大的數(shù)據(jù)存儲服務集群，每一臺數(shù)據(jù)服務器的配置是相同的。當數(shù)據(jù)達到存儲池飽和狀態(tài)時，可以將同樣配置的服務器加入到這個存儲網(wǎng)絡中，在不改變原有系統(tǒng)運行狀態(tài)下實現(xiàn)擴容。
系統(tǒng)采用VMware ESXi Server虛擬系統(tǒng)作為應用服務器集群底層系統(tǒng)，各應用服務器系統(tǒng)可在VMware虛擬系統(tǒng)之上建立邏輯上的關聯(lián)。 VMware允許多個操作系統(tǒng)并行運行于一臺高性能服務器之上和多個高性能服務器運行同一任務，同時通過網(wǎng)絡對操作系統(tǒng)進行備份和管理，能夠依據(jù)應用服務使用狀況對操作系統(tǒng)實施遷移和復制，從而擴大網(wǎng)絡應用處理帶寬。
在VMware層上安裝FreeBSD系統(tǒng)平臺搭建Hadoop分布式存儲系統(tǒng)，Hadoop系統(tǒng)能將數(shù)據(jù)同時分割成許多小塊和備份，通過點播服務器(NameNode)存放于不同的數(shù)據(jù)存儲服務器中。在Hadoop系統(tǒng)中，會有一臺Master，主要負責NameNode的工作以及JobTracker的工作。Job Tracker的主要職責就是啟動、跟蹤和調(diào)度各個Slave的任務執(zhí)行。還會有多臺Slave，每一臺Slave通常具有DataNode的功能并負責Task Tracker的工作。TaskTracker根據(jù)應用要求來結(jié)合本地數(shù)據(jù)執(zhí)行Map任務以及Reduce任務。
在NameNode上部署WebDAV應用，實現(xiàn)應用服務器對存儲資源的通信，從而讓用戶調(diào)用Hadoop上的數(shù)據(jù)。WebDAV(Web-based Distributed Authoring and Versioning)是基于HTTP 1．1的一個通信協(xié)議。它為HTTP 1．1添加了一些擴展(就是在GET、POST、HEAD等幾個HTTP標準方法以外添加了一些新的方法)，使得應用程序可以直接將文件寫到Web Server上，從而替代傳統(tǒng)的FTP傳輸文件模式。

2 系統(tǒng)關鍵技術實現(xiàn)
存儲平臺通過在Hadoop上部署WebDAV，可實現(xiàn)客戶端(應用服務器)對服務器端(Hadoop節(jié)點服務器)的復制和移動文件，并可進行多用戶同時讀取一個文件等操作。
實施步驟(以四臺服務器為例，結(jié)合局域網(wǎng)內(nèi)DNS服務器)：
第一步：Hadoop環(huán)境搭建使用Hadoop的用戶，機器名和IP依次為域名vc1(192．168．1．1)，域名vc2(192．168．1．2)，域名vc3(19 2．168．1．3)和域名vc4(192．168．1．4)。這是因為四臺機器中vc3作為Hadoop的Namenode，其他的作為Datanode。
詳細環(huán)境配置介紹如下：
Hadoop版本為0．20．2；
JDK版本為1．6．0；
操作系統(tǒng)為FreeBSD8．0(最小化安裝)。
ve3(192．168．1．3)是NameNode(Master)，其他三臺作為DateNode(slave)．
Hadoop是Java語言編寫的機群程序，它的安裝是建立在ssh和JDK之上的，所以在配置Hadoop之前首先要對系統(tǒng)進行ssh和JDK的安裝與配置。
(1)通過ssh來實現(xiàn)Hadoop節(jié)點之間用戶的無密碼訪問
①在各個節(jié)點的／etc／hosts文件中添加節(jié)點IP及對應機器名，并在各個節(jié)點上建立相同用戶名與密碼的賬戶。
修改／etc／hosts文件如下：
192．168．1．1 vc1
192．168．1．2 vc2
192．168．1．3 vc3
192．168．1．4 vc4
修改成功后就可以實現(xiàn)IP地址與機器名的對應解析。
在各個節(jié)點建立用戶名為Hadoop，密碼為123456的用戶。