前言

VXLAN(Virtual eXtensible LAN)是一種overlay網絡技術，由RFC7348定義。VXLAN本質上是MAC in IP(或者說MAC in UDP)，這樣，可以在一個L3 IP網絡上，構建一個L2網絡。這里的L2網絡是overlay網絡，L3網絡是underlay網絡，并且L3網絡對overlay網絡來說是透明的(感知不到)。L3網絡可以是一個數據中心的IP網絡，也可以是跨數據中心的基于VPN的IP網絡。所以，使用VXLAN可以達到：

[[204421]]

• 在一個DC(Data Center)內的多個機架或者機房間，提供L2連接。使用VXLAN可以避免在機架或者機房間構建物理的L2連接，這樣在布線上要簡單一些。
• 在多個遠距離的DC之間，提供L2連接，只要這些DC之間有L3連接。

VXLAN為overlay網絡中的主機(物理，虛擬)提供了一個在L3網絡之上的L2服務，這通常稱為VXLAN bridging。同時Overlay的 L2網絡是支持多租戶的，也就是支持多個隔離的L2網絡。這些隔離的L2網絡之間怎么通訊?與其他的隔離技術，例如VLAN一樣，需要通過routing。所以這次說說VXLAN的routing以及EVPN對VXLAN routing的支持。VXLAN routing傳統上是通過集中式的L3GW(VXLAN Router)來完成。所有的L3轉發，都需要經過L3 GW，才能從一個L2網絡轉發到另一個L2網絡。

如果兩個主機，在不同的VXLAN L2網絡，但是在同一個VTEP(VXLAN Tunnel Endpoint)下面，當它們彼此想通訊時，網絡流量也要先從VTEP流向L3GW，在L3GW完成3層轉發，再回送到同一個VTEP。這種繞啊繞的流量是一種發卡(hair-pin)流量。按照這種方式，VXLAN routing已經實現了，但這里有兩個問題，一個是流量瓶頸，集中式的L3GW的性能決定了三層流量的最大速率;另一個是發卡流量，發卡流量會帶來不必要的網絡負載。

EVPN可以作為VXLAN的控制層面，EVPN技術為VXLAN的L3優化也提出了解決方法。下面看看EVPN怎么完成的VXLAN routing，首先看一下EVPN提出的數據層面的優化，接著介紹EVPN作為控制層面如何支持優化過的數據層面。

一、Routing和Bridging集成

VTEP本身是支持L2橋接(Bridging)，同一個VTEP連接的主機之間的L2通訊，不會生成VXLAN數據，而是直接在VTEP就完成轉發。VXLAN IRB(Integrated Routing and Bridging)是指在VTEP上同時實現L2橋接和L3路由(Routing)功能。同一個VTEP下面的L3流量也不會生成VXLAN數據，只是在VTEP完成轉發。

有關IRB的實現，在EVPN的一份應用草案Integrated Routing and Bridging in EVPN有描述。

1.1 VRF

VRF可以稱為Virtual Routing&Forwarding，有時候也稱為VPN Routing&Forward，這是一個類似Linux network Namespace的東東。VRF一般運行在專用網絡設備上，每一個VRF都有獨立的轉發信息。這樣，不需要多個設備，而只是在一個設備上，就可以為多個租戶創建隔離的環境，每個租戶用自己VRF，獨立完成路由轉發。下圖中，在一個設備上就可以為三個租戶實現三個隔離的VRF。

既然叫VRF，那么沒有懸念，它的功能是跟路由/轉發聯系在一起。在EVPN里面，VRF有兩種，MAC-VRF和IP-VRF。MAC-VRF可以看成L2交換機，IP-VRF可以看成L3路由器。它們之間的關系如下圖所示：

1.2 分布式網關DAG

路由器的工作方式就是在網關(Gateway)之間進行路由轉發，既然IP-VRF可以看成路由器，那么IP-VRF也需要網關。前面說了集中式網關的問題，一般集中式的問題，分布式來解決，所以這里定義一個分布式網關：DAG(Distributed Anycast Gateway)。DAG在所有VTEP上的相關IP-VRF里都存在，并且具有相同的MAC/IP地址。也就是說，原來集中式的VXLAN L3 GW，被復制了多份，分別放在了每個VTEP中，并且插入在IP-VRF上，相應的示意圖如下所示，同一租戶的同一個Gateway，在每個VTEP上都有。

由于DAG在每個VTEP上都有，前面的兩個問題都不存在了。首先，瓶頸問題不存在了，因為現在瓶口變多了;其次發卡流量問題不存在了，因為VTEP就有網關，同一個VTEP下的L3轉發可以不出VTEP(不生成VXLAN)。DAG在所有的VTEP上采用相同的IP/MAC，一方面可以減少IP的占用，另一方面主機從一個VTEP遷移到另一個VTEP，主機內的Gateway信息不需要更新。

當VTEP連接的主機需要做L3路由轉發時，總是選用最近的DAG，也就是當前VTEP上的DAG，來完成路由轉發。這里的路由轉發怎么完成?有兩種方式。

1.3 非對稱路由IRB

非對稱路由，以下圖為例，我們可以看到一次完整請求的來回路徑不一樣，所以這種模式被稱為非對稱路由(Asymmetric IRB)。

以ping為例子來說明吧，當Host A訪問Host B時。Host A將ping包發送到自己所連接的VTEP1(V1)。由于這是一個跨子網的請求，在Host A中會將ping包的目的MAC地址封裝成網關的地址(DAG MAC地址)。根據目的MAC地址，VTEP1可以發現這是一個需要做L3轉發的請求，所以轉到IP-VRF處理。IP-VRF中會存有Host B對應的VXLAN ID和MAC地址。為什么會有?這是EVPN控制層完成的，后面會介紹。接下來VTEP1會將Host B的MAC替換ping包里面的目的MAC(原來是DAG MAC)，并且用VXLAN ID將ping包封裝在VXLAN包中，通過黃色VXLAN tunnel 發送給VTEP3(V3)。黃色的VXLAN實際就是Host B所在的VXLAN。

VTEP3收到黃色VXLAN tunnel發來的數據，直接在自己的MAC-VRF中處理，前面說過MAC-VRF相當于L2交換機，因此MAC-VRF可以直接將請求轉到當前VTEP直連的Host B。整體的流程如下所示：

Host B向Host A返回數據時，先發送給VTEP3，類似的，直接在VTEP3將數據封裝成Host A所在的藍色VXLAN數據，發送給VTEP1。同樣類似的，VTEP1收到藍色的VXLAN數據，在本地的通過本地的MAC-VRF查找，找到對應的MAC地址記錄，發送給Host A。

找了個ARISTA的圖(侵刪)，所以可以看出，路由發生在源VTEP，之后才做VXLAN封裝，走VXLAN的二層網絡：

1.4 Symmetric IRB

對稱路由，以下圖為例，我們可以看到一次完整請求的來回路徑是一樣的，所以這種模式被稱為對稱路由(Symmetric IRB)。

對稱路由與非對稱路由的區別在于，對稱路由多了一個黑色的L3 VNI。

還是以ping為例子來說明吧，當Host A訪問Host Y時。Host A將ping包發送到自己所連接的VTEP1(V1)，由于這是一個跨子網的請求，在Host A中會將ping包的目的MAC地址封裝成網關的地址(DAG MAC地址)。根據目的MAC地址，VTEP1可以發現這是一個需要做L3轉發的請求，所以轉到IP-VRF處理。到此為止，都與非對稱路由一樣，接下來是不一樣的部分。在IP-VRF中存的是L3 VNI和Host Y所在的VTEP3(V3)的MAC地址。接下來，VTEP1會用VTEP3的MAC地址替ping包的目的MAC(原來是DAG MAC)，并且用L3VNI封裝VXLAN數據，通過黑色的VXLAN tunnel，發送給VTEP3。

VTEP3收到黑色VXLAN數據，首先在自身的IP-VRF中做路由，再發送到相應的MAC-VRF，最后轉發給Host Y。回程是類似的流程。

整體流程如下圖所示：

對比這兩種路由方式，非對稱路由(Asymmetric IRB)實現簡單，沒有額外的VXLAN分配，但是需要在所有的VTEP上創建所有子網的網關，即便當前VTEP沒有連接子網中的主機。因為從上面的圖可以看出，VTEP需要同時連接非對稱的兩條VXLAN tunnel，即使VTEP1沒有黃色VXLAN中的Host。對稱路由(Symmetric IRB)，實現更復雜，但是VTEP只需要連接自己管理主機的VXLAN和L3 VNI即可。這兩種分布式路由方式各有利弊，誰也替代不了誰，有些廠商兩種方式都實現了，有些只實現了一種。

二、VXLAN Routing控制層

前面的介紹提到了MAC-VRF和IP-VRF。MAC-VRF實現bridging，MAC-VRF中存的是L2轉發信息，L2轉發信息的傳遞在上一篇VXLAN with EVPN as Control Plane中有介紹，我就不再重復，感興趣的可以回去看看。接下來單獨看一下EVPN如何傳遞IP-VRF中所需的L3轉發信息。

先回顧一下，EVPN作為VXLAN控制層時，MAC/IP Route(Route type 2)的格式。

對于L2信息的傳遞，里面有兩個可選項：IP Address和L3 VXLAN ID。如果還需要傳遞L3信息，這兩個選項將不再是可選項，首先IP地址必須填上，這樣IP-VRF做包封裝的時候，才能夠根據目的IP獲取信息。如果采用Symmetric IRB，L3 VXLAN ID也必須填上，因為對稱路由需要有一個專門的VXLAN通道來傳遞L3數據。

接下來過一下控制層數據傳遞過程，VTEP還是通過Local learning(檢測ARP或者其他的包)獲取本地連接主機的IP/MAC，再生成BGP Route。這條BGP Route里面，實際包含了MAC轉發信息和IP轉發信息。因此在BGP Route之后，會跟兩份RT(Route Targets)，一份為了MAC-VRF，另一份為了IP-VRF。對端的VTEP，根據RT接收相應的BGP Route，MAC-VRF記錄MAC轉發信息，IP-VRF記錄IP轉發信息，具體如下：

• Asymmetric IRB：IP-VRF會記錄Host的IP，Host對應的L2 VNI，Host所在的VTEP信息，以及Host的MAC地址。有這些信息，IP-VRF就能夠根據目的IP地址完成L3轉發以及VXLAN數據封裝。
• Symmetric IRB：IP-VRF會記錄Host的IP，Host對應的L3 VNI，Host所在的VTEP信息(這里會更復雜一些)。有這些信息，IP-VRF就能夠根據目的IP地址完成相應的L3轉發VXLAN數據封裝。

所以可以看出，在原有的Route type2中注入可選的IP地址和L3 VXLAN ID，就可以傳遞VXLAN routing所需要的信息。

這種模式適合VTEP下直接連接的就是主機，且一個租戶網絡的主機分散在各個VTEP下，每個VTEP都連接擁有離散的IP地址的主機。

如果VTEP下面連接的不是主機，而是其他轉發設備，例如路由器呢?這個時候，VTEP會看到大量連續的IP地址從同一個MAC地址發出(路由器網關MAC地址)，如果這個時候還是用Route Type 2，有以下問題：

1. 明明是一個IP prefix(路由器連接的其他子網的CIDR)可以表示的IP地址段，現在只能每個IP發出單獨的BGP route。也就是說，明明一條BGP route就能搞定的轉發，現在只能分成成千上萬條BGP route進行轉發。
2. 當路由器網關是floatingip時，如果發生了遷移，IP地址將保持不變，但是對應的MAC地址可能會發生變化，那么所有通過網關轉發出來的IP地址都需要發一遍BGP Route，來更新MAC地址的變化。

三、Route Type 5

所以，為了支持在VTEP下連接轉發設備，并且支持VXLAN L3，EVPN需要進一步改進(擴充)。EVPN的另一個應用草案，IP Prefix Advertisement in EVPN解決了上面的問題。先來回顧一下EVPN所有新增的MP-BGP路由種類。

所以這次到了Route type 5，來看看Route Type 5的格式。

對于VXLAN來說，只需要關注以下內容：

• IP Prefix Length和IP Prefix：目的IP地址段。
• GW IP Address：VTEP可達的網關，IP Prefix表示的IP地址段都通過這個網關進一步轉發。

Route Type 5并非單獨使用，而是配合前面的Route Type2一起使用。VTEP首先會將自己連接的GW IP(例如路由器網關)及其對應的MAC地址和其他信息，封裝在Route Type 2中，再發送到其他VTEP。這樣，其他的VTEP首先知道了如何到達GW IP。這里可以把GW IP看成一個Host IP。

接下來再發送Route Type 5，從上面的圖可以看出，Route Type 5唯一做的就是將一段IP地址(IP Prefix)，與GW IP關聯在一起。

我們來回顧一下上面兩個問題：

1. 有關IP Prefix的L3轉發信息傳播。現在不管IP Prefix長度是多少，只需要一條Route Type 2傳遞網關，再來一條Route Type 5傳遞IP Prefix信息。當VTEP(IP-VRF)收到了目的IP地址在IP Prefix的網絡包時，根據IP Prefix找到GW IP，再將網絡包發送到GW IP。只要網絡包到達了GW IP，就可以依賴GW自身的轉發能力，將網絡包繼續轉發到真正的設備。這實際上跟現實中的多個路由器轉發類似。
2. 如果GW IP是floatingip，當其MAC地址發生變化，只需要先發送一條BGP withdraw命令，撤回之前有關GW IP的Route Type 2信息，之后再發送一條新的BGP Route Type 2，將GW IP的新MAC地址帶上即可，完全不用處理IP Prefix的更新。

四、總結

VXLAN L3中應用EVPN大體情況說完了。回過頭來看，EVPN最早提出是為了解決MPLS L2 VPN由于數據層學習(flood-learn)帶來的問題，解決辦法是在MP-BGP基礎上，新增了EVPN協議地址族，其中E是Ethernet。隨著技術的發展，EVPN已經不再局限在L2的范圍，而在討論EVPN的時候，也不再特指一種L2 VPN，而是指MP-BGP中的一種協議地址族。

另一方面，由于VXLAN本身并未設計控制層，VXLAN提出的最開始也是通過數據層學習獲得轉發信息，因此，EVPN也可以用來為VXLAN提供一個控制層，抑制VXLAN的BUM包，提升VXLAN數據層的效率。EVPN作為VXLAN的控制層，同時提供了L2、L3轉發信息的傳遞，所以結合EVPN和VXLAN，可以提供一個完整的overlay基礎網絡。

這些目前都還是在一個數據中心內部。VXLAN本身可以在任意的underlay L3網絡之上構建overlay網絡，文章最開始說過，如果跨DC之間有L3網絡連接，VXLAN同樣也可以構建。所以，EVPN結合VXLAN的另一大用途就是用來做DC互聯，希望下次有機會再說說這方面。

作者簡介：肖宏輝，畢業于中科院研究生院，8年的工作經驗，其中6年云計算開發經驗，OpenStack社區積極活躍，有超過300個commit和超過30000行代碼的貢獻。目前關注SDN/NFV等虛擬網絡技術。本文所有觀點僅代表作者個人觀點，與作者現在或者之前所在的公司無關。