作者簡介：劉倩，廈門大學(xué)碩士，工程師，現(xiàn)工作于中國聯(lián)通河南分公司云網(wǎng)運(yùn)營中心，主要從事IP城域網(wǎng)及承載網(wǎng)的維護(hù)與優(yōu)化工作。E-mail：liuq46@chinaunicom.cn。

0   引言

為進(jìn)一步提升公司現(xiàn)有產(chǎn)業(yè)互聯(lián)網(wǎng)容量和綜合承載能力，降低網(wǎng)絡(luò)建設(shè)和運(yùn)維成本，更好地支撐5G 和通信云化建設(shè)，中國聯(lián)通計(jì)劃對現(xiàn)存的2 張MPLS 骨干承載網(wǎng)絡(luò)（現(xiàn)有的CUII 和IP 承載B 網(wǎng)）進(jìn)行融合，以統(tǒng)一界面的形式更好地為用戶服務(wù)。融合后的CUII 骨干網(wǎng)主要用于移動業(yè)務(wù)、大客戶MV 業(yè)務(wù)、云骨干網(wǎng)業(yè)務(wù)、云網(wǎng)協(xié)同業(yè)務(wù)、物聯(lián)網(wǎng)、聯(lián)通內(nèi)部管理系統(tǒng)以及固網(wǎng)NGN等多業(yè)務(wù)綜合承載，并具備差異化服務(wù)的能力。

省際或省內(nèi)移動業(yè)務(wù)均以MPLS VPN 方式接入移動業(yè)務(wù)IP 承載B 網(wǎng)，隨著業(yè)務(wù)的快速發(fā)展以及5G 和通信云化的建設(shè)，業(yè)務(wù)側(cè)開始采用IPv4/IPv6 雙棧地址接入，IPv6 地址空間巨大，同時(shí)B 網(wǎng)的VPN 數(shù)量及路由條目與日俱增，因此控制VPN 路由信息在全網(wǎng)VRR與AR，VRR 與VRR 之間按需路由反射尤為重要^[1]。為保證公司IP 承載網(wǎng)融合工作的順利開展，根據(jù)總部統(tǒng)一安排，河南鶴壁作為全國第一個(gè)試點(diǎn)開展了IP 承載B 網(wǎng)VPN RR（Route Reflector）按需路由特性優(yōu)化部署實(shí)施，效果明顯，基于此集團(tuán)進(jìn)一步完善實(shí)施操作方案并啟動了其他各省B 網(wǎng)按需路由反射優(yōu)化工作。

1   承載B網(wǎng)網(wǎng)絡(luò)發(fā)展現(xiàn)狀

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

中國聯(lián)通IP 承載B 網(wǎng)采用分層網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)，全網(wǎng)分為核心層、匯聚層和接入層，各網(wǎng)絡(luò)層次的路由器分別簡稱為CR、BR、AR/ER^[2]。核心層由北京、上海、沈陽、武漢、廣州、成都、西安7 個(gè)節(jié)點(diǎn)組成，整個(gè)核心層為全網(wǎng)狀結(jié)構(gòu)^[3]。匯聚層由全國25 個(gè)節(jié)點(diǎn)城市組成，匯聚節(jié)點(diǎn)的兩臺BR 就近上聯(lián)至兩個(gè)不同核心節(jié)點(diǎn)的CR 設(shè)備上，以河南BR 節(jié)點(diǎn)為例，其上聯(lián)大區(qū)CR節(jié)點(diǎn)為北京/ 武漢。接入層由各省的地市節(jié)點(diǎn)組成，內(nèi)部系統(tǒng)接入路由器AR 和外部系統(tǒng)接入路由器ER 均成對設(shè)置，并基于口字形結(jié)構(gòu)與BR 連接，實(shí)現(xiàn)業(yè)務(wù)流量的接入?yún)R聚。

1.2 自治域劃分及路由組織

B 網(wǎng)全網(wǎng)設(shè)置為一個(gè)統(tǒng)一的自治域，并分配公有的自治域號。全網(wǎng)域內(nèi)采用ISIS 協(xié)議處于Level-2 區(qū)域，CR、BR 路由器的所有接口以及AR/ER 路由器的上行、橫聯(lián)、Loopback 接口都參與ISIS L2 路由。

1.3 MPLS/BGP路由策略

B 網(wǎng)上所有業(yè)務(wù)路由的承載均通過MP-iBGP 實(shí)現(xiàn)，通過MPLS 三層VPN 方式實(shí)現(xiàn)業(yè)務(wù)連通和彼此隔離^[4]。MP-BGP 采用扁平化層次結(jié)構(gòu)，AR/ER 均與RR 建立對等體關(guān)系，所有MP-iBGP 路由均由RR 反射。

核心/ 匯聚層CR/BR 路由器僅承載IGP 路由（所有設(shè)備Loopback 與端口互聯(lián)地址），不與RR 建立鄰接關(guān)系。接入層AR/ER 路由器承載全部IGP 路由，作為Client 從RR 得到MP-iBGP 路由。

同一節(jié)點(diǎn)的2 臺AR/ER 向RR 宣告相同路由時(shí)，采用不同的RD 值（雙RD 組網(wǎng)）以便使RR 能夠選出不同方向的VPN 路由加快路由收斂。

1.4 VPN RR部署及結(jié)構(gòu)現(xiàn)狀

承載B 網(wǎng)不設(shè)置普通IPv4 RR 設(shè)備，只設(shè)置VPNRR 設(shè)備，采用“一級RR+ 備份RR ＋異地分簇”方案，系統(tǒng)一級VRR分別設(shè)置在北京、上海、廣州、西安、沈陽、武漢、成都七個(gè)節(jié)點(diǎn)，各部署2 臺RR 設(shè)備。全網(wǎng)一級RR 之間建立FULLMESH MP-iBGP 鄰居關(guān)系，RR 兩兩異地成對，構(gòu)成7 個(gè)簇，每個(gè)簇屬于一個(gè)片區(qū)^[5]。各省每臺AR/ER 路由器作為Client 跟大區(qū)一級RR 路由器和本省省會AR1（備份RR）建立MP-iBGP 鄰居關(guān)系，備份RR 作為所屬兩臺一級RR 的Client 同時(shí)和省內(nèi)AR/ER 建立MP-iBGP 鄰居^[6]。河南所屬一級MPiBGP路由反射簇為武漢VRR1/ 上海VRR2。IP 承載B網(wǎng)VPN RR 結(jié)構(gòu)如圖1 所示。

圖1 VPN RR結(jié)構(gòu)示意圖

1.5 VPN路由現(xiàn)狀

隨著業(yè)務(wù)的不斷發(fā)展，IP 承載B 網(wǎng)內(nèi)VPN 用戶越來越多，目前現(xiàn)網(wǎng)中部署的業(yè)務(wù)系統(tǒng)VPN 多達(dá)70 多個(gè)，VPN 路由條目與日俱增，當(dāng)前業(yè)務(wù)路由總數(shù)達(dá)到了60多萬。由于AR 向RR 宣告相同路由時(shí)采用雙RD 設(shè)計(jì)以及VRR 間FullMesh 全互聯(lián)結(jié)構(gòu)，VRR 上接收到的VPN 路由總數(shù)達(dá)到了200 多萬^[4]。

在IP 網(wǎng)中由于RR 默認(rèn)不會過濾任何路由，其在接收到AR 通告的VPN 路由信息后，經(jīng)過路由優(yōu)選再反射給其他AR 和RR，IP 承載B 網(wǎng)中VPN 路由通告如圖2 所示。

圖2 B網(wǎng)VPN路由通告示意圖

2   承載B網(wǎng)VPN路由反射存在問題及優(yōu)化方案

2.1 VPN路由反射處理機(jī)制問題

IP 網(wǎng)中由于RR 默認(rèn)不會過濾任何路由，導(dǎo)致大量省內(nèi)VPN 路由信息在全網(wǎng)RR 間進(jìn)行反射通告，RR 處理大量的路由信息需要足夠的系統(tǒng)資源，這就容易造成RR 的資源過載。

同時(shí)，RR 也會反射所有VPN 路由信息給AR，這使得大量無用路由信息在網(wǎng)絡(luò)中傳播，造成帶寬資源浪費(fèi)。AR 為了只接收本地期望的VPN 路由信息，需要配置本地路由策略進(jìn)行過濾也消耗了AR處理策略的資源。現(xiàn)網(wǎng)VRR 路由反射處理如圖3 所示。

2.2 VPN路由反射優(yōu)化思路及建議

2.2.1 優(yōu)化思路

通過對B 網(wǎng)內(nèi)VPN 路由進(jìn)行分析統(tǒng)計(jì)，發(fā)現(xiàn)省內(nèi)VPN 路由數(shù)約占總路由數(shù)的87%，省內(nèi)VPN 路由信息只需要在相應(yīng)的RR 和AR 間進(jìn)行反射通告即可，不需要在RR 集群間進(jìn)行反射，外省省內(nèi)VPN 路由也無需在本片區(qū)的路由反射簇和AR/ER 間進(jìn)行反射通告。因此決定對全網(wǎng)VRR 與AR、VRR 與VRR 之間的VPN路由信息進(jìn)行按需路由反射優(yōu)化。

圖3 現(xiàn)網(wǎng)VRR路由反射示意圖

2.2.2 優(yōu)化建議

通過引入VPN ORF 特性，RR 在向?qū)Χ朔瓷渎酚蓵r(shí)，會根據(jù)該對端設(shè)備所捆綁的VPN 實(shí)例的VPN-Target 屬性對路由進(jìn)行過濾^[7]。通過VPN ORF 使對端設(shè)備只接收本地期望的路由，減少接收壓力。

在全網(wǎng)RR 與AR，RR 與RR 之間部署VPN ORF特性，通過應(yīng)用擴(kuò)展的團(tuán)體屬性值對路由信息進(jìn)行區(qū)分，以決定路由是否傳遞，實(shí)現(xiàn)按需反射。據(jù)統(tǒng)計(jì)，目前省內(nèi)VPN 路由數(shù)約占全網(wǎng)總路由數(shù)的87%，在按需路由反射優(yōu)化完成后，將極大地減少RR 上的VPN 路由表，避免系統(tǒng)資源過載，加快路由收斂速度。優(yōu)化后的VRR 路由反射如圖4 所示。RR 集群間僅反射通告省際VPN 路由信息，某省AR/ER 路由器與所屬一級RR之間僅反射通告省際及本省省內(nèi)VPN 路由信息。

圖4 優(yōu)化后的VRR路由反射示意圖

2.2.3 VPN ORF特性

VPN ORF (VPN Outbound Route Filtering) 是在基于BGP 多業(yè)務(wù)統(tǒng)一承載框架的基礎(chǔ)上，實(shí)現(xiàn)VPN ORF 路由指導(dǎo)VPNv4/VPNv6 鄰居路由發(fā)布。ORF 是通過將本地的路由策略應(yīng)用到鄰居的出口，使鄰居在發(fā)布路由時(shí)過濾掉無用路由。

VPN 中的PE 設(shè)備將本地需要的路由IRT(import target) 和原始AS 號以VPN ORF 路由的形式發(fā)送給BGP 鄰居，鄰居根據(jù)此路由構(gòu)造出口策略，使PE 只能收到本地期望的路由，減少PE 接收壓力。如圖5 所示，在使能VPN ORF 能力之前，路由反射器將接收到PE1 的VPN 實(shí)例的VPN 路由全部發(fā)布給PE3，但是對于PE3，只有ERT（export target）1:1 是匹配的；同樣，路由反射器從PE3 接收到VPN 實(shí)例的路由全部發(fā)布給PE1，其中只有ERT1:1 才是匹配的。對于路由PE1 與PE3 上的VPN 實(shí)例，只有ERT1:1 是互相匹配的。在使能VPN ORF 能力之后，即在VPN-Target 地址族視圖下使能了BGP 鄰居關(guān)系。如圖5 中，使能了路由反射器與PE1、路由反射器與PE3 的BGP 鄰居關(guān)系之后，各鄰居之間進(jìn)行VPN ORF 能力協(xié)商，PE1 和PE3 將本地需要的路由IRT，以VPN ORF路由的形式發(fā)送給鄰居，鄰居根據(jù)此路由構(gòu)造出口策略。也就是說，在PE1 在向外發(fā)布BGP VPN 路由時(shí)，會根據(jù)PE1 收到對應(yīng)鄰居對等體的IRT 路由進(jìn)行過濾發(fā)布^[8]。

圖5 VPN ORF基本應(yīng)用場景

2.3 VPN路由反射優(yōu)化方式

基于BGP/MPLS VPN 建立的VPNv4 連接在RR 和AR 之間創(chuàng)建BGP-VT 地址族，建立VPN ORF 路由鄰居關(guān)系，使能與指定對等體（組）之間交換VPN ORF路由信息。AR/ER 相對于RR 來說屬于pgAcessIn 對等體組，RR 相對于AR/ER 來說屬于pgVRR 對等體組。AR 將本地?cái)U(kuò)展團(tuán)體屬性路由過濾列表以VPN ORF 路由的形式發(fā)送給RR，RR 根據(jù)此路由過濾列表構(gòu)造出口策略作為本地出路由過濾。當(dāng)RR 向AR 反射路由時(shí)，僅發(fā)送該AR 需要的VPN 路由。極大地減少了發(fā)送的路由數(shù)量，減少網(wǎng)絡(luò)帶寬占用并提高了路由收斂速度，具體的按需路由反射優(yōu)化配置分別在RR 和AR 上部署。

1）RR 上執(zhí)行如下配置優(yōu)化，進(jìn)入BGP 視圖后執(zhí)行命令ipv4-family vpn-target 進(jìn)入BGP-VT 地址族視圖，建立VPN ORF 路由鄰居關(guān)系，使能與pgAcessIn 對等組之間交換VPN ORF 路由信息，分別在BGP-VPNv4和BGP-VT 地址族視圖下執(zhí)行命令peer pgAcessInreflect-client，配置將本機(jī)作為路由反射器，并將對等組pgAcessIn 作為路由反射器的客戶，將AR 地址加入pgAcessIn 對等體組。

bgp 38XXX

ipv4-family vpn-target

peer pgAcessIn enable

peer pgAcessIn reflect-client

peer AR_address enable

peer AR_address group pgAcessIn

2）AR 上執(zhí)行如下配置優(yōu)化，進(jìn)入BGP 視圖后執(zhí)行命令ipv4-family vpn-target 進(jìn)入BGP-VT 地址族視圖，建立VPN ORF 路由鄰居關(guān)系，使能與pgVRR 對等組之間交換VPN ORF 路由信息，將VRR 地址加入pgVRR 對等體組。

bgp 38XXX

ipv4-family vpn-target

peer pgVRR enable

peer VRR_address enable

peer VRR_address group pgVRR

在RR 和AR 間完成VPN ORF 使能后，可以使用

display bgp vpn-target routing-table 命令，查看BGP VPNTarget

地址族的路由信息；還可以使用display bgp vpnv4/vpnv6 all routing-table peer x.x.x.x advertised-routes/received-routes 命令，查看相應(yīng)鄰居BGP VPNv4/ VPNv6路由和BGP 私網(wǎng)路由的信息收發(fā)情況。

3   B網(wǎng)VRR按需路由反射優(yōu)化方案實(shí)施

3.1 實(shí)施步驟

IP 承載B 網(wǎng)全國14 臺RR 采用跨區(qū)覆蓋方式構(gòu)成7 個(gè)一級MP-iBGP 路由反射簇（Route Reflector Cluster）。各省每臺AR 路由器作為Client 跟所屬兩臺一級RR 和本省省會備份RR 建立鄰居關(guān)系。為保證本次B 網(wǎng)VRR 按需路由反射優(yōu)化工作順利開展，及時(shí)為CUII 與IP 承載B 網(wǎng)融合工程提供有效的實(shí)施方案支撐，根據(jù)總部統(tǒng)一安排，先期在河南鶴壁開展VRR 按需路由反射特性測試和實(shí)施試點(diǎn)，效果明顯。集團(tuán)根據(jù)試點(diǎn)情況進(jìn)一步完善了實(shí)施操作方案，并分階段批量啟動其他各省B 網(wǎng)按需路由反射優(yōu)化部署工作。

首先，在全國7 個(gè)一級RR 集群中，先各選擇一臺RR，與其下聯(lián)的AR 逐步建立VPN ORF 鄰居關(guān)系，使能VPN ORF 功能。完成配置后，該RR 只向下聯(lián)AR通告其需要的VPN 路由信息，實(shí)現(xiàn)對AR 的按需路由反射。其次，在完成下聯(lián)配置的RR 之間，建立VPN ORF 路由鄰居關(guān)系，交換VPN ORF 路由信息。完成配置后，RR 只能接收到對方RR 反射的省際路由信息，實(shí)現(xiàn)相應(yīng)RR 間的按需路由反射。之后對7 個(gè)RR 集群中的另外一臺進(jìn)行部署，與其下聯(lián)的AR 逐步建立VPNORF 鄰居關(guān)系，使能VPN ORF 功能。最后，完成所有RR 之間的VPN ORF 路由鄰居關(guān)系建立，實(shí)現(xiàn)所有RR間的按需路由反射優(yōu)化部署[5]。

3.2 河南聯(lián)通B網(wǎng)VRR按需路由反射優(yōu)化完成情況

河南所屬一級MP-iBGP 路由反射簇為武漢VRR1/上海VRR2。河南鶴壁作為集團(tuán)IP 承載B 網(wǎng)VPN ORF部署試點(diǎn)率先完成了至武漢VRR1 方向的按需路由反射優(yōu)化實(shí)施工作，路由優(yōu)化效果顯著，基于此集團(tuán)完善實(shí)施方案進(jìn)一步開展了全網(wǎng)批量優(yōu)化實(shí)施。批量實(shí)施以RR 為準(zhǔn)，因?yàn)槊颗_AR 與同一集群的兩臺RR 互聯(lián)，需要分批部署。河南聯(lián)通IP 承載B 網(wǎng)AR/ER 設(shè)備至所屬VRR 按需路由反射優(yōu)化工作完成情況如表1 所示。

至此，河南聯(lián)通IP 承載B 網(wǎng)全網(wǎng)40 臺AR/ER 設(shè)備按照集團(tuán)規(guī)劃已經(jīng)全部完成了至武漢/ 上海一級VRR按需路由反射優(yōu)化，并在優(yōu)化操作完成后嚴(yán)格進(jìn)行了全業(yè)務(wù)驗(yàn)證工作保證本次優(yōu)化方案順利實(shí)施。

3.3 優(yōu)化效果

VRR 按需路由優(yōu)化后，AR/ER 設(shè)備只從RR 接收到本地期望的路由，減少了路由接收壓力，同時(shí)RR 集群間僅反射通告省際VPN 路由信息減少了域內(nèi)路由容量的壓力，同時(shí)也節(jié)約了骨干帶寬資源，提高了設(shè)備處理能力。

以河南鶴壁AR 節(jié)點(diǎn)至武漢VRR 間按需路由反射優(yōu)化部署為例，優(yōu)化前后路由條目對比：

1）按需路由優(yōu)化前，在武漢VPN RR 設(shè)備上查看向鶴壁某臺AR 上發(fā)布的VPNv4 路由條目約136 萬條，VPNv6 路由條目約13 萬條：

<HBWH-GS-N40E-V1>dis bgp vpnv4 all routingtable peer 116.XX.16.160 advertised-routes statistics

Advertised routes total: 1360574

<HBWH-GS-N40E-V1>dis bgp vpnv6 all routingtablepeer 116.XX.16.160 advertised-routes statistics

Advertised routes total: 132676

2）按需路由優(yōu)化后，在武漢VPN RR 設(shè)備上查看向鶴壁某臺AR 上發(fā)布的VPNv4 路由條目約為11.5 萬條，減少了約124.5 萬條；VPNv6 路由條目為0 條（鶴壁目前未有IPv6 VPN業(yè)務(wù)地址接入），減少了約13萬條：

<HBWH-GS-N40E-V1>dis bgp vpnv4 all routingtable peer 116.XX.16.160 advertised-routes statistics 

Advertised routes total: 115116

<HBWH-GS-N40E-V1>dis bgp vpnv6 all routingtable peer 116.XX.16.160 advertised-routes statistics

Advertised routes total: 0

河南聯(lián)通IP 承載B 網(wǎng)40 臺AR/ER 設(shè)備歸屬于武漢VPN_RR1和上海VPN_RR2構(gòu)成的CLUSTER_6 地址簇。據(jù)統(tǒng)計(jì)，按需路由優(yōu)化前，對于作為clicent 的AR/ER 設(shè)備來說，每臺AR 需要從兩個(gè)方向的VRR 接收約272 萬條vpnv4 路由，全省40 臺AR/ER 設(shè)備從2 臺VRR 接收合計(jì)約10 880 萬條vpnv4 路由；按需路由優(yōu)化后，每臺AR 從兩方向的VRR 接收約24 萬條vpnv4 路由，全省40 臺AR/ER 設(shè)備從2 臺VRR 累計(jì)接收近960 萬條vpnv4 路由，優(yōu)化減少了超過90% 的路由信息，極大地節(jié)約了帶寬、設(shè)備資源，加快了路由收斂速度。

4   結(jié)束語

為保證公司產(chǎn)業(yè)互聯(lián)網(wǎng)CUII 與B 網(wǎng)融合工作的順利開展，滿足通信云、5GC、云聯(lián)網(wǎng)等業(yè)務(wù)的綜合承載需求，本文通過對IP 承載B 網(wǎng)VPN 路由反射處理機(jī)制問題的研究，提出了在B 網(wǎng)進(jìn)行VRR 按需路由反射優(yōu)化的部署。通過在全網(wǎng)VRR 與AR、VRR 與VRR 之間部署ORF 特性實(shí)現(xiàn)了VPN 路由按需反射，避免了大量無用路由信息在網(wǎng)絡(luò)中傳播，大大節(jié)約了網(wǎng)絡(luò)資源，加快了路由收斂速度，為后期網(wǎng)絡(luò)融合降低了難度。

參考文獻(xiàn)：

[1] 朱智輝.福州電信城域網(wǎng)路由優(yōu)化改造方案研究[D].南京:南京郵電大學(xué),2011.

[2] 胡媛.基于集群路由技術(shù)的IP網(wǎng)的設(shè)計(jì)與實(shí)現(xiàn)[D].西安:西安電子科技大學(xué),2010.

[3] 張奎.電信級IP承載網(wǎng)的研究與設(shè)計(jì)[D].成都:電子科技大學(xué),2009.

[4] 聶亞南.基于MPLS的多業(yè)務(wù)承載研究[D].北京:北京郵電大學(xué),2008.

[5] 徐亦璐,石永革,許小紅.路由反射技術(shù)應(yīng)用于MPLS VPN的研究[J].微計(jì)算機(jī)信息,2008(18):96-98.

[6] 鄧麗云.淺析MPLS BGP VPN技術(shù)及應(yīng)用網(wǎng)絡(luò)[J].中國新通信,2019,21(8):112-114.

[7] 陳軍華,王忠民.BGP/MPLS VPN實(shí)現(xiàn)原理[J].計(jì)算機(jī)工程,2006(23):124-126.

[8] 王琳.基于BGP和OSPF的VPN業(yè)務(wù)網(wǎng)接入優(yōu)化[J].電信技術(shù),2019(10):64-70,75.

（本文來源于《電子產(chǎn)品世界》雜志2021年10月期）