基于IBA的SRP Target的研究與實(shí)現(xiàn)
加入技術(shù)交流群
掃碼加入
和技術(shù)大咖面對(duì)面交流
海量資料庫(kù)查詢(xún)
(1)SRP Target的端口檢測(cè)RDMA通道中有SRP請(qǐng)求信息，確認(rèn)為接收完成操作失敗，未接收到SRP請(qǐng)求信息，立即進(jìn)行操作失敗下的處理方式。
(2)釋放RDMA緩沖區(qū)相關(guān)資源，重新初始化相關(guān)屬性信息。
2．5 卸載SRPTarget
當(dāng)進(jìn)行卸載SRP Target時(shí)，主要進(jìn)行釋放SRP Target模塊和SCSI模塊所占有資源。具體的步驟如下：
(1)注銷(xiāo)SCSI Target模塊中的I／O控制器，清除該控制器的設(shè)備ID號(hào)，將該控制器從全局上下文中移除。
(2)清I／O控制器所控制的SCSI命令，釋放SCSI命令所占有的內(nèi)存緩沖區(qū)等資源。釋放所占有的內(nèi)存緩沖區(qū)。
(3)釋放SRP Target模塊中I／O控制器所占有的資源，停止對(duì)IB端口服務(wù)人口的監(jiān)聽(tīng)操作，釋放服務(wù)入口所占有的內(nèi)存空間資源，并對(duì)IB端口進(jìn)行更新操作，恢復(fù)端口的初始設(shè)置。
(4)對(duì)所有RDMA通道進(jìn)行斷開(kāi)操作．釋放RDMA通道所占有的資源。
(5)釋放IB I／O控制器所占有的空間。本文引用地址：http://cafeforensic.com/article/202676.htm
3 實(shí)驗(yàn)結(jié)果與分析
3．1 實(shí)驗(yàn)環(huán)境
(1)硬件配置：
神威SWIBS24型IBA交換機(jī)。
IBM System x3650服務(wù)器3臺(tái)(Initiator01，Initiator02，Initiator03)各配有一塊HCA卡，作為SRP Initiator。存儲(chǔ)服務(wù)器一臺(tái)配置一塊HCA卡。作為SRP Target。
(2)軟件配置：
四臺(tái)linux AS4 Updata4服務(wù)器．內(nèi)核版本為2．6．9-42。Initiator01、Initiator02、Initiator03安裝IBA驅(qū)動(dòng)程序IBGD(InfiniBand Gold Distribution)的sRP Initiator，作為Initiator服務(wù)器；Target安裝IBA驅(qū)動(dòng)程序OFED(OpenFabrics En-terprise Distribution)的SRP Target，作為T(mén)arget服務(wù)器。本課題依據(jù)GPFS支持的直接連接、網(wǎng)絡(luò)連接兩個(gè)模式，分別對(duì)讀寫(xiě)性能進(jìn)行比較。
直接連接：使用SRP協(xié)議．只要求在Initiator01、02、03服務(wù)器上安裝GPFS，Target上不安裝GPFS，Initiator服務(wù)器由1B網(wǎng)絡(luò)通過(guò)SRP Target獲得RAID存儲(chǔ)設(shè)備信息，即可對(duì)其進(jìn)行直接掛載、讀寫(xiě)操作。
網(wǎng)絡(luò)連接：不使用SRP協(xié)議．使用IPoIB協(xié)議。要求在每個(gè)服務(wù)器上都安裝GPFS，Initiator服務(wù)器不能通過(guò)SRP協(xié)議獲取Target服務(wù)器上RAID存儲(chǔ)設(shè)備的信，g。Initiator只能通過(guò)IPoIB與Target聯(lián)系，通過(guò)Target服務(wù)器上的GPFS文件系統(tǒng)對(duì)存儲(chǔ)設(shè)備進(jìn)行共享訪問(wèn)。
3．2 實(shí)驗(yàn)結(jié)果
下表為實(shí)驗(yàn)結(jié)果，IPoIB為GPFS的網(wǎng)絡(luò)連接模式，IB-SRP為GPFS的直接連接模式：
(1)Initiator01、02、03同時(shí)對(duì)Target的RAID設(shè)備進(jìn)行讀寫(xiě)操作(如表1)。設(shè)置測(cè)試的空間大小為10 G，一次讀寫(xiě)操作的塊大小分別為64 k，128 k，256 k，速度以K／s為單位。
(2)Initiator01對(duì)Target的RAID設(shè)備單獨(dú)進(jìn)行讀寫(xiě)測(cè)試(如表2)。
3．3 結(jié)果分析
實(shí)驗(yàn)結(jié)果表明，在IBA網(wǎng)絡(luò)中使用SRP協(xié)議的Initiator和Target模塊進(jìn)行數(shù)據(jù)傳輸?shù)乃俣缺葐渭兪褂肐BA網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)傳輸?shù)乃俣雀叱龊芏唷?br /> 使用SRP協(xié)議進(jìn)行數(shù)據(jù)傳輸時(shí)，Initiator服務(wù)器向Tar―get服務(wù)器的RAID設(shè)備傳輸數(shù)據(jù)，是直接與Target內(nèi)存進(jìn)行數(shù)據(jù)傳輸，然后由Target的內(nèi)存將數(shù)據(jù)傳遞給RAID設(shè)備。在此時(shí)，Target系統(tǒng)并不執(zhí)行數(shù)據(jù)的拷貝動(dòng)作，不經(jīng)過(guò)內(nèi)核的調(diào)用，減少了處理網(wǎng)絡(luò)通信時(shí)在內(nèi)核空間和用戶(hù)空間上下文切換的次數(shù)，消除了在應(yīng)用內(nèi)存與內(nèi)核內(nèi)存之間復(fù)制數(shù)據(jù)的需要，減少了CPU的負(fù)載。繞過(guò)內(nèi)核可使應(yīng)用程序不必執(zhí)行內(nèi)核調(diào)用就可以直接發(fā)出命令。減少了延遲時(shí)間，能騰出總線空間和CPU周期用于改進(jìn)應(yīng)用系統(tǒng)性能。然而只利用IBA網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)傳輸時(shí)。Target系統(tǒng)要進(jìn)行數(shù)據(jù)的拷貝．內(nèi)核的調(diào)用，增大了CPU的負(fù)載．性能相對(duì)下降。所以基于SRP的讀寫(xiě)速度性能會(huì)更高。
4 結(jié)束語(yǔ)
本文介紹了實(shí)現(xiàn)SRP Target的過(guò)程．對(duì)各個(gè)獨(dú)立功能部分的工作原理、工作機(jī)制以及工作流程進(jìn)行了分析。并給出了IBA存儲(chǔ)網(wǎng)絡(luò)分別使用IPOIB協(xié)議和SRP協(xié)議讀寫(xiě)性能的測(cè)試結(jié)果，對(duì)于設(shè)計(jì)實(shí)現(xiàn)基于IBA的存儲(chǔ)網(wǎng)絡(luò)有著重要的參考價(jià)值。
評(píng)論