大家好，今天我們通過幾張圖來聊一聊XDP技術(shù)。

XDP技術(shù)對于很多Linux開發(fā)人員來說是一個很陌生的技術(shù)，如果你是一個Linux開發(fā)人員，恰好你從事的網(wǎng)絡相關(guān)的開發(fā)工作，如果你不懂XDP技術(shù)，這是一個非常大的損失。

這個是我一個真實的經(jīng)歷，曾經(jīng)我采用XDP技術(shù)優(yōu)化過一個項目，讓一個項目的網(wǎng)絡處理性能提高了3-4倍，可能很多小伙伴會懷疑項目原本性能就很差，所以才會有很大的提升空間。

我想說的是，按照原來的軟件架構(gòu)，不管你怎么優(yōu)化，性能的瓶頸是不可能突破的，唯一的方式是采用更高效的架構(gòu)，從更高維度去解決問題。

后續(xù)我的項目魔法盒子也會用上XDP技術(shù)，采用XDP技術(shù)后，魔法盒子的網(wǎng)絡性能估計能夠提高3倍左右。

1.XDP技術(shù)簡介

1.1 XDP技術(shù)背景

隨著超高帶寬網(wǎng)絡技術(shù)10G，40G，100G網(wǎng)絡的出現(xiàn)，Linux內(nèi)核協(xié)議棧越來越不能適應新的網(wǎng)絡技術(shù)的發(fā)展，Linux內(nèi)核協(xié)議棧似乎成為了網(wǎng)絡性能的瓶頸和雞肋，為了解決這個尷尬的處境，Linux內(nèi)核引入了一個新的技術(shù)內(nèi)核旁路(Kernel Bypass)技術(shù)，內(nèi)核旁路技術(shù)的核心思想是網(wǎng)絡數(shù)據(jù)包跳過內(nèi)核協(xié)議棧，直接由用戶程序處理，這樣可以避免內(nèi)核協(xié)議棧的開銷，大大提高網(wǎng)絡性能。

XDP就是屬于Linux自己的內(nèi)核旁路技術(shù)，與之對應的還有一種內(nèi)核旁路技術(shù)DPDK技術(shù)，DPDK擁有非常不錯的性能，但是DPDK技術(shù)并不非常適用于Linux系統(tǒng)。

1.2 XDP是什么？

XDP是一種Linux內(nèi)核技術(shù)，通過使用eBPF機制，在內(nèi)核空間中實現(xiàn)高性能的數(shù)據(jù)包處理和轉(zhuǎn)發(fā)。

它可以顯著提高網(wǎng)絡性能，并提供了靈活的編程接口，使用戶能夠?qū)崿F(xiàn)各種自定義的網(wǎng)絡功能，與傳統(tǒng)的用戶空間數(shù)據(jù)包處理相比，XDP可以顯著降低數(shù)據(jù)包處理的延遲和CPU占用。

XDP技術(shù)工作模式：

 原生模式（性能高，需要網(wǎng)卡支持）驅(qū)動模式，將XDP程序運行在網(wǎng)卡驅(qū)動中，從網(wǎng)卡驅(qū)動中將網(wǎng)絡數(shù)據(jù)包重定向，該模式支持的網(wǎng)卡較多且性能也很高，如果網(wǎng)卡支持的話，盡量使用該模式。

卸載模式（性能最高，支持的網(wǎng)卡最少）將XDP程序直接卸載到網(wǎng)卡，該模式支持的網(wǎng)卡少，暫不做討論。

通用模式（性能良好，Linux內(nèi)核支持最好）XDP程序運行在Linux內(nèi)核協(xié)議棧入口，無需驅(qū)動支持，性能低于XDP其他的兩種模式，但是即使XDP通用模式，也會給你的系統(tǒng)性能帶來一定的提升。

后續(xù)會有專門的專題來講XDP技術(shù)，這里不展開討論。

2.AF_XDP工作原理

2.1 整體架構(gòu)

很多同學容易將XDP和AF_XDP技術(shù)給弄混淆。

• XDP技術(shù)是基于BPF技術(shù)的一種新的網(wǎng)絡技術(shù)。
• AF_XDP是XDP技術(shù)的一種應用場景，AF_XDP是一種高性能Linux socket。

AF_XDP需要通過socket函數(shù)創(chuàng)建。

socket(AF_XDP, SOCK_RAW, 0);

AF_XDP技術(shù)會涉及到一些比較重要的知識點：

圖片

• AF_XDP想要XDP程序配合，才能完成網(wǎng)絡數(shù)據(jù)包收發(fā)。
• XDP程序主要工作是根據(jù)以太網(wǎng)幀的相關(guān)信息如：MAC地址，五元組信息等，進行數(shù)據(jù)包的過濾和重定向。
• AF_XDP處理的是以太網(wǎng)數(shù)據(jù)幀，所以用戶程序發(fā)送和接收的是以太網(wǎng)數(shù)據(jù)幀。
• 用戶程序，AF_XDP，XDP會操作一個共享的內(nèi)存區(qū)域，稱之為UMEM。
• 網(wǎng)絡數(shù)據(jù)包的接收和發(fā)送需要用到4個無鎖環(huán)形隊列。

2.2 UMEM共享內(nèi)存

UMEM共享內(nèi)存通過setsockopt函數(shù)進行申請。

setsockopt(umem->fd, SOL_XDP, XDP_UMEM_REG, &mr, sizeof(mr));

UMEM共享內(nèi)存通常以4K為一個單元，每個單元可以存儲一個數(shù)據(jù)包，UMEM共享內(nèi)存通常為4096個單元。

接收和發(fā)送的數(shù)據(jù)包都是存儲在UMEM內(nèi)存單元。

用戶程序和內(nèi)核都可以直接操作這塊內(nèi)存區(qū)域，所以發(fā)送和接收數(shù)據(jù)包時，只是簡單的內(nèi)存拷貝，不需要進行系統(tǒng)調(diào)用。

用戶程序需要維護一個UMEM內(nèi)存使用記錄，記錄每一個UMEM單元是否已被使用，每個記錄都會有一個相對地址，用于定位UMEM內(nèi)存單元地址。

2.2 無鎖環(huán)形隊列

AF_XDP socket總共有4個無鎖環(huán)形隊列，分別為：

• 填充隊列（FILL RING）
• 已完成隊列（COMPLETION RING）
• 發(fā)送隊列（TX RING）
• 接收隊列（RX RING）

圖片

環(huán)形隊列創(chuàng)建方式：

//創(chuàng)建FILL RINGsetsockopt(fd, SOL_XDP, XDP_UMEM_FILL_RING,&umem->config.fill_size,               sizeof(umem->config.fill_size));             //創(chuàng)建COMPLETION RINGsetsockopt(fd, SOL_XDP, XDP_UMEM_COMPLETION_RING,&umem->config.comp_size,               sizeof(umem->config.comp_size));//創(chuàng)建RX RING     setsockopt(xsk->fd, SOL_XDP, XDP_RX_RING,&xsk->config.rx_size,                   sizeof(xsk->config.rx_size));//創(chuàng)建TX RING                setsockopt(xsk->fd, SOL_XDP, XDP_TX_RING, &xsk->config.tx_size,                   sizeof(xsk->config.tx_size));

4個環(huán)形隊列實現(xiàn)方式基本相同，環(huán)形隊列是對數(shù)組進行封裝的數(shù)據(jù)結(jié)構(gòu)，環(huán)形隊列由5個重要部分組成：

• 生產(chǎn)者序號(producer）

    生產(chǎn)者序號用于指示數(shù)組當前可生產(chǎn)的元素位置，如果隊列已滿，將不能再生產(chǎn)。

• 消費者序號(consumer)

    消費者序號用于指示當前可消費的元素位置，如果隊列已空，將不能再消費。

• 隊列長度（len）

    隊列長度即數(shù)組長度。

• 隊列掩碼（mask）

    mask=len-1，生產(chǎn)者和消費者序號不能直接使用，需要配合掩碼使用，producer，consumer和mask進行與運算，可以獲取到數(shù)組的索引值。

• 固定長度數(shù)組

數(shù)組的每一個元素記錄了UMEM單元的相對地址，如果UMEM單元有發(fā)送和接收的數(shù)據(jù)包，還會記錄數(shù)據(jù)包的長度。

環(huán)形隊列的無鎖化通過原子變量來實現(xiàn)，原子變量和原子操作在高性能編程中經(jīng)常會用到。

2.3 AF_XDP接收數(shù)據(jù)包

 AF_XDP接收數(shù)據(jù)包需要FILL RING，RX RING兩個環(huán)形隊列配合工作。

第一步：XDP程序獲取可用UMEM單元。

FILL RING記錄了可以用來接收數(shù)據(jù)包的UMEM單元數(shù)量，用戶程序根據(jù)UMEM使用記錄，定期的往FILL RING生產(chǎn)可用UMEM單元。

 第二步：XDP填充新的接收數(shù)據(jù)包

XDP程序消費FILL RING中UMEM單元用于存放網(wǎng)絡數(shù)據(jù)包，接收完數(shù)據(jù)包后，將UMEM單元和數(shù)據(jù)包長度重新打包，填充至RX RING隊列，生產(chǎn)一個待接收的數(shù)據(jù)包。

 第三步：用戶程序接收網(wǎng)絡數(shù)據(jù)包

用戶程序檢測到RX RING有待接的收數(shù)據(jù)包，消費RX RING中數(shù)據(jù)包，將數(shù)據(jù)包信息從UMEM單元中拷貝至用戶程序緩沖區(qū)，同時用戶程序需要再次填充FILL RING隊列推動XDP繼續(xù)接收數(shù)據(jù)。

圖片

2.4 AF_XDP發(fā)送數(shù)據(jù)包

AF_XDP發(fā)送數(shù)據(jù)包需要COMP RING，TX RING兩個環(huán)形隊列配合工作。

第一步：用戶程序確保有足夠的UMEM發(fā)送單元

COMP RING記錄了已完成發(fā)送的數(shù)據(jù)包（UMEM單元）數(shù)量，用戶程序需要回收這部分UMEM單元，確保有足夠的UMEM發(fā)送單元。

第二步：用戶程序發(fā)送數(shù)據(jù)包

用戶程序申請一個可用的UMEM單元，將數(shù)據(jù)包拷貝至該UMEM單元，然后生產(chǎn)一個待發(fā)送數(shù)據(jù)包填充值TX RING。

第三步：XDP發(fā)送數(shù)據(jù)包

XDP程序檢測到TX RING中有待發(fā)送數(shù)據(jù)包，從TX RING消費一個數(shù)據(jù)包進行發(fā)送，發(fā)送完成后，將UMEM單元填充至COMP RING，生產(chǎn)一個已完成發(fā)送數(shù)據(jù)包，用戶程序?qū)υ摂?shù)據(jù)包UMEM單元進行回收。

圖片

3. AF_XDP高效的秘密

AF_XDP之所以高效，主要有三大原因：

• 內(nèi)核旁路技術(shù)

內(nèi)核旁路技術(shù)在處理網(wǎng)絡數(shù)據(jù)包的時候，可以跳過Linux內(nèi)核協(xié)議棧，相當于走了捷徑，這樣可以降低鏈路開銷。

• 內(nèi)存映射

用戶程序和內(nèi)核共享UMEM內(nèi)存和無鎖環(huán)形隊列，采用mmap技術(shù)將內(nèi)存進行映射，用戶操作UMEM內(nèi)存不需要進行系統(tǒng)調(diào)用，減少了系統(tǒng)調(diào)用上下文切換成本。

• 無鎖環(huán)形隊列

無鎖環(huán)形隊列采用原子變量實現(xiàn)，可以減少線程切換和上下文切換成本。

基于以上幾點，AF_XDP必然是一個高性能的網(wǎng)絡技術(shù)，由于目前沒有一個能夠測試XDP極限性能的測試環(huán)境，大家如果對AF_XDP技術(shù)感興趣，可以自行上網(wǎng)搜索相關(guān)資料。