淺析RoCE網絡技術
在數據為王的時代，人們對網絡的要求更加嚴苛。然而傳統的TCP / IP以太網連接占用了大量的CPU資源，并且需要額外的數據處理，已無法再滿足當前更快、更高效和可擴展性的網絡需求。在這種情況下，RoCE(RDMA over Converged Ethernet )走進了人們的視野。
什么是RDMA?
RDMA(遠程直接數據存取)就是為了解決網絡傳輸中服務器端數據處理的延遲而產生的，無需使用CPU，就可以從一個主機或服務器的內存直接訪問另一主機或服務器的內存。它釋放了CPU去執行其應做的工作，比如運行應用程序和處理大量數據。這既提高了帶寬又降低了延遲、抖動和 CPU 消耗。
因此，RDMA可以簡單理解為利用相關的硬件和網絡技術，服務器1的網卡可以直接讀寫服務器2的內存，最終達到高帶寬、低延遲和低資源利用率的效果。
如下圖所示，應用程序不需要參與數據傳輸過程，只需要指定內存讀寫地址，開啟傳輸并等待傳輸完成即可。
目前，大致有三類RDMA網絡，分別是Infiniband、RoCE、iWARP。其中，Infiniband是一種專為RDMA設計的網絡，從硬件級別保證可靠傳輸 ，而RoCE 和 iWARP都是基于以太網的RDMA技術，支持相應的verbs接口。
什么是RoCE?
顧名思義，RoCE是在InfiniBand Trade Association(IBTA)標準中定義的網絡協議，允許通過以太網絡使用RDMA。簡而言之，它可以看作是RDMA技術在超融合數據中心、云、存儲和虛擬化環境中的應用。
RoCE的類型
RoCE協議存在RoCEv1和RoCEv2兩個版本，這取決于所使用的網絡適配器或網卡。
- RoCE v1：RoCE v1是基于以太網鏈路層實現的RDMA協議(交換機需要支持PFC等流控技術，在物理層保證可靠傳輸)，允許在同一個VLAN中的兩臺主機進行通信。RoCE V1協議在以太層的typeID是0x8915。
- RoCE v2：RoCE v2克服了RoCE v1綁定到單個VLAN的限制。通過改變數據包封裝，包括IP和UDP標頭，RoCE v2現在可以跨L2和L3網絡使用。
如何實現RoCE?
通常，為了實現RoCE，可以安裝支持RoCE的網卡或卡驅動程序。所有以太網NIC都需要RoCE網絡適配器卡。RoCE驅動程序在Red Hat、Linux、Microsoft Windows和其他常見操作系統中使用。RoCE有兩種可用方式：對于網絡交換機，可以選擇使用支持PFC(優先流控制)操作系統的交換機;對于機架服務器或主機，需要使用網卡。
RoCE的好處
- 低CPU占用率：訪問遠程交換機或服務器的內存，無需消耗遠程服務器上的CPU周期，從而可以充分利用可用帶寬和更高的可伸縮性。
- 零復制：向遠程緩沖區發送數據和接收數據。
- 高效：由于RoCE改善了延遲和吞吐量，網絡性能得到了很大提高。
- 節省成本：借助RoCE，無需購買新設備或更換以太網基礎設施即可處理大量數據，從而大大節省了公司的資本支出。
關于RoCE的常見問題
下面列出了一些有關RoCE的常見問題。
1. RoCE與iWARP、InfiniBand的技術對比
RDMA最早在Infiniband傳輸網絡上實現，技術先進，但是價格高昂，后來業界廠家把RDMA移植到傳統Ethernet以太網上，降低了RDMA的使用成本，推動了RDMA技術普及。在Ethernet以太網上，根據協議棧融合度的差異，分為iWARP和RoCE兩種技術，而RoCE又包括RoCEv1和RoCEv2兩個版本(RoCEv2的最大改進是支持IP路由)，各RDMA網絡協議棧的對比如下圖所示。
- Infiniband，支持RDMA的新一代網絡協議。 由于這是一種新的網絡技術，因此需要支持該技術的NIC和交換機。
- RoCE，一個允許在以太網上執行RDMA的網絡協議。 其較低的網絡標頭是以太網標頭，其較高的網絡標頭(包括數據)是InfiniBand標頭。 這支持在標準以太網基礎設施(交換機)上使用RDMA。 只有網卡應該是特殊的，支持RoCE。
- iWARP，一個允許在TCP上執行RDMA的網絡協議。 IB和RoCE中存在的功能在iWARP中不受支持。 這支持在標準以太網基礎設施(交換機)上使用RDMA。 只有網卡應該是特殊的，并且支持iWARP(如果使用CPU卸載)，否則所有iWARP堆棧都可以在軟件中實現，并且喪失了大部分RDMA性能優勢。
RoCE和iWARP，一個是基于無連接協議UDP，一個是基于面向連接的協議(如TCP)。RoCEv1只能局限在一個二層廣播域內，而RoCEv2和iWARP都能夠支持三層路由。相比RoCE，在大型組網的情況下，iWARP的大量TCP連接會占用大量的額內存資源，對系統規格要求更高。另外，RoCE支持組播，而iWARP還沒有相關的標準定義。
2. RoCE適配器可以與其他適配器類型(例如iWARP)通信嗎?
RoCE適配器只能與其他RoCE適配器通信，如果混合適配器類型配置的話，例如RoCE適配器與iWARP適配器組合，都可能會恢復為傳統的TCP / IP連接。
結論
在數據中心中運行RDMA，可以減輕數據移動的負擔，并為應用程序提供更高的CPU資源可用性。RoCE協議可以從RDMA的功能中受益，而無需更改其網絡基礎架構。通過減少以太網延遲和CPU開銷，RoCE可以提高搜索、存儲、數據庫和高事務處理率應用程序的性能。通過提高CPU效率和應用程序性能，RoCE可以減少所需的服務器數量，從而節省能源，并減少基于以太網的數據中心的占用空間。
