数据库技术
Database Technology电子技术与软件工程
Electronic Technology & Software Engineering
基于EVPN和VXLAN的云数据中心设计与实现
李东
(上海海勃物流软件有限公司上海市200080)
摘要.•本文通过EVPN+VXLAN分布式IP Overlay虚拟局域网设计，以其部署灵活、无环路、抑制广播地址泛洪、收敛快速，虚拟 化和高效转发的特点，满足了云IDC高度虚拟化、资源松耦合，快速部署的需求，尤其是在跨IDC的数据和应用迁移和系统高效协同方面 优势明显，成为了云IDC网络架构设计的首选，得到了广泛的应用。
关键词：云计算中心；EVPN; VXLAN; OSPF BGP
随着时代的发展，数据中心的规模和功能也在不断的演进， 租户业务高冗余的要求催生了跨区域的双活云数据中心，然而，投 入巨大的跨区域双活数据中心也面临着众多，首先租户的服务应用 呈现量级膨胀，并且要求实现负载均衡、无感快速迁移和自由伸 缩延展，这些需求，传统的基于Underlay网络架构的设计已经难 以为继，在此背景下，基于NV03的丨P Overlay的逻辑大二层网络 设计虚拟网络架构逐渐成为了业界主流，NV03主要有VXLAN、 NVGRE和STT •:种，其中VXLAN以其部署灵活、兼容性好、快 速收敛、高效转发、环路比较少、对虚拟资源管理更加便利的特 点得到了更广泛的应用，从VXLAN的控制层面考虑，分布式的 EVPN+VXLAN更有利于控制流量泛洪，同时VTEP发现和主机信 息学习从数据平面转移到控制平面，对数据资源池的管理更加高效 可靠。
1网络架构设计
跨区域数据中心通常由丨DC (主）和丨DC (冗余）组成，同时运营， 互为备份。IDC要满足租户应用可以自动切换，业务零中断，数据 零丢失的需求，实现网络、应用、数据资源层面的双活，传统的数 据中心的网络架构有STP、CSS、TR丨LL等几种，都是基于以太网
成灾难性的影响，网络的自愈能力差，容易造成全局故障；
(4) 网络基于物理实体机，没有虚拟机，设备性能不足后只 能更新，造成成本浪费；(5) 二层只到接入和汇聚的交换机，VM的迁移局限在-个 二层域，跨二层的服务器迁移必须要更换IP地址，造成租户业务 中断，造成跨中心的负载均衡的部署也很困难；
针对这些问题，新一代的IDC的网络架构设计不断演进，开始 逐步走向网络虚拟化和网络资源池化的云设计，主要有multi pod、 underlay、Overlay、OSPF 和 BGP 路由、ECMP、M-LAG 等技术， 业界推崇的是EVPN+VXLAN分布式解决方案，该设计的基本思路 如下：传统的三层网络作为underlay,在其上利用EVPN+VXLAN 技术构建虚拟二M网络Overlay，Underlay和Overlay网络逻辑分离， Underlay与业务脱耦，主要负责进行三层转发，实现不同站点传递，
Overlay网络面向业务，通过一对多的的随道封装，把Underlay的
物理网络虚拟成逻辑上的“大二层交换机”，进行网络二层跨三层 的延展，解决VM应用灵活的部署和迁移。
VXLAN是丨ETF定义的NV03技术，从根本上讲，是-种 Overlay的隧道技术，采用MAC-in-UDP的报文封装格式，通过
VTEP的NVE对进行封装和解封，利用VXLAN TUNNEL在大二
设计，强调即插即用，数据面向学习，主要存在以下几个方面的问题
层域（BD)内进行传输，BD通过VN丨区分，VNI可支持1600万
(1) 由于VLAN的丨D只有12bit,因此VLAN的管理虚拟机
VXLAN，解决了 VM设备的大规模部署问题，VXLAN TUNNE的
的规模最大为4K，扩展性差：
设计可以让VXLAN报文在二层和三层网络上透传，解决了 VM迁
(2) 链路的利用率比较低，无TTL设计，容易产生广播风暴
移时的应用中断问题。集中式VXLAN的三层网关部署在Spine上，
和网络环路，网络隔离能力差，存在安全隐患；
很容易产生流量泛洪，所以在VXLAN设计时首选分布式EVPN技
(3) 业务和网络的耦合性高，网络出现故障后往往对业务做
术，EVPN把VXLAN的L2和L3网关部署在Leaf上，Spine专注
图1:网络架构图
148
电子技术与软件工程
Electronic Technology & Software Engineering
数据库技术
Database Technology
Spinel Spiac2
备，外连出口防火墙及和边界路由器，此ServerLeaf节为业务节点。
关键配置如下：
bridge-domain 216 vxlan vni 216
e
route-distinguisher 1:5216
-target 0:5216 import-exteommunity -target 0:5216 export-exteommunity -target 0:5000 export-exteommunity interface Nvel
vni 216 head-end peer-list protocol bgp interface vbdif 216 ip binding -instance I DC ip address 10.100.1.254 24 mac-address 000()-5e 10-0126 vxlan anycast-gateway enable arp collect host enable
interface Eth-trunkl.l mode 12 encapsulation dotlq vid 216 bridge-domain 216
图2: VXLAN分布式网关结构图
HP的高速转发，根本上解决了广播风暴等问题，传输效率更高，
资源消耗显著降低，丨DC的路由选择OSPF+BGPEVPN协议，实现
等价路由（ECMP)，OSPF不发布和学习业务路由，仅用于建立 BGP 及搭建 VXLAN 架构，Overlay 运行 BGP EVPN，用于 VXLAN
Tunne丨的建立和VM路由的传递。丨DC的Spine作为RR设备（路
山反射器），和LEAF的NVE节点建立iBGP邻居关系，实现路 由可达。网络架构图如图丨所示。2核心层设计
每个丨DC需要2台三层核心交换机（Spine)，同时核心交换 机作为VXLAN的RR路由反射器，主要负责把BGP学到的MAC 衣反射给NVE client,丨DC卜行和Leaf交叉连接，丨DC之间通过
Spine交叉互联，实现双活全互联冗余。
5路由设计
IDC路由选择OSPF+BGP EVPN路由协议，Under丨ay运行 OSPF，用f•建立BGP，承载Overlay、搭建VXLAN架构，保障内
网互联和VTEP地址可达、构建等价路由（ECMP)网络进行业务 流量透传。OSPF设计如下：丨DC (主）在AREAUDC (容灾）
在AREA2，通过Spine的AREA0相连，形成完整的OSPF链式全 局路由；Overlay运行BGP EVPN，用于建立VXLAN Tunnel和传递 VM路由，每个丨DC部署两个Spine作为路由反射器CRR) . RR 和Leaf、NVE处在同一个AS中，建立丨BGP邻居，两个1DC通 过Spine丨丨:联建立iBGP EVPN邻居，处在同• t VXLAN域，Leaf 启动后，VTEP间通过BGP通告EVPN的集成多播路由（Inclusive Multicast Route)来发现各个peer，而peer Router id的丨P地址通常 为underlay丨oopback地址，N Leaf F的业务访，通过本地路由 转发，不M Leaf卜' 的业务互访，通过Spine转到对端Leaf路[4!转发。 6结束语
随着a IDC的发展和成熟，网络架构设计也得到了长足的进步， 基于EVPN+VXLAN的Overlay设计己经成为跨区域云1DC的典型解决方案，为丨DC提供了高效、稳定、灵活的N络环境。
参考文献[1] . Juniper Networks Inc.; Patent Issued for Multicast
Load Balancing In Multihoming EVPN Networks (USPT0 10, 193,812) [J].Computers, Networks &
Communicat ions, 2019.
3接入层设计
接入层交换机（Leaf)采用M-LAG协议，引入EVPN的控制
T•台设计，2台逻辑成组，作为VXLAN的VTEP，担任VXLAN
L3/L2网关，EVPN设计的VTEP网关L2/L3都在本地完成，有
效降低了网络延时，节约了链路带宽，作为L2网关，与VM和 DBSERVER对接，用于租户应用接入VXLAN，负贵同 VXLAN 虚拟网络的通信；作为L3网关，用于VXLAN的VTEP报 文封装和解封，实现虚拟网络的跨f网通信和外部N络的访问。 通过£乂？\\的8〇?，触发乂£丁卩建立乂1^\\1^丁1111此丨，扩散乂\\1 路由、MAC表项，指导流量转发；作为VXLAN的NVE，实现 N络虚拟化功能，Leaf上行与Spine全互联，卜行接入VM和 DBSERVER。
EVPN分布式网关的架构如下阁所示：典型的“ Spine-Leaf” 组网结构，Leaf'是VXLAN Tunne丨的端点VTEP， •方面作为 VXLAN的L3M关，Spine只作为转发点，不感知VXLAN Tunnel 倍息，不在同一网段的server丨和serverl通讯只通过Leafl即可;另-方面，作为VXLAN的L2网关，与VM连接，Leaf只学习A： 连VM的ARP衣项，不需要学习所有VM的ARP表项，避免了数 据流量泛洪，规模扩展能力更强。
EVPN主要丨:作流程如下：
(1) L2网关工作流程：收到vxlan报文后，通过vxlan Tunnel 衣检查 VXLAN UDP D PORT、D1P\\SIP、VNI:获取.层广播域，解封后获得.U•报文，^ mac表后发送报文。
(2) L3 M XM:作流程收到vxlan报文后解封装获取二层报文， 对r非本机MAC,根据目的IP地址杏路由表获取卜•跳丨P地址， 汽找ARP表，然后进行vxlan封装后完成三层转发。如图2所示：4分布式网关设计
分布式网 Xi 丨:要有•:个 NVE P点：Borderleaf、Serverlea丨' I:、 Serverleaf 冗 L2/L3 在 ServerLeaf 1 •，BorderLeaf 是丨DC 的边界设
[2] Pu Ileping, Wang Yijun, An Xinke. Safety Protection Design
of Virtual Machine Drift Flow in Cloud Data Center Based on VXLAN Technology[J]. Journa1 of Computer and Communicat ions, 2020, 08 (08).
[3] 钟耿辉，唐加山.基于VXLAN的EVPN技木研究与实现[J].计
算机技术与发展，27. 005(2017): 46-50.[4] 孙剑平.基于VXLAN的数据传输方法，控制方法及控制器，网
关，中间网元和系统[P】.Cm〇9218158A. 2019.作者简介李东（1971-)，男，上海市人。研究生学历，工程师。研究方向 为信息技术
149
