Kafka是大型架構的必備中間件，也是大廠必備技能，下面我就重點詳解高并發場景下，Kafka實現高并發的關鍵技術@mikechen

Kafka架構設計

Kafka 通過分布式架構、分區機制、以及集群管理，實現了高并發性能。

Kafka 架構，由多個 Broker（服務器節點）組成，每個 Broker 負責存儲、和管理部分消息。

整體架構，如下圖所示：

圖片

其中，Topic 分區（Partitioning） 是 Kafka 分布式設計的核心，它將消息分散存儲在不同節點上。

Kafka 支持水平擴展，可以通過增加 Broker 節點，來提升系統的容量和性能。

新增的 Broker 會自動參、與分區的存儲和管理，分擔原有節點的壓力。

例如：一個擁有 10 個分區的主題，理論上可以支持 10 倍于單分區主題的并發讀寫操作。

所以，分區使得 Kafka 天然支持并行處理，大大提升了系統的并發能力。

Kafka高并發關鍵技術

Kafka 之所以能夠實現高吞吐量、和低延遲的消息處理，其核心設計還有是磁盤順序寫（Sequential Disk Writes）。

圖片

磁盤順序寫：指的是在磁盤上按照順序依次寫入數據，而不是隨機地在不同位置寫入。

傳統的機械硬盤由盤片、磁頭臂、磁頭等部件組成，數據存儲在盤片的不同磁道和扇區上。

當進行隨機寫操作時，磁頭需要頻繁地移動到不同的位置，這個過程涉及尋道和旋轉延遲，會極大地影響寫入性能。

而順序寫時，磁頭可以沿著一個方向連續地寫入數據，減少了尋道和旋轉延遲，從而提高了寫入效率。

Kafka正是利用了這一點，極大的提升了數據寫入性能。

├── 00000000000000000000.log  // 活躍的日志段（順序寫入）
├── 00000000000000000000.index

Kafka 通過將消息，順序追加（Append）到日志文件末尾，充分利用了這一特性，從而，避免了隨機尋址的開銷。

零拷貝

零拷貝（Zero-Copy）是一種計算機技術，其核心目標是減少、或消除數據，在傳輸過程中的拷貝。

在傳統的數據傳輸過程中，數據通常需要在用戶空間（User Space）、和內核空間（Kernel Space）之間多次拷貝。

如下圖所示：

圖片

首先，數據從磁盤讀取到內核空間的緩沖區。

其次，內核空間的緩沖區，將數據復制到用戶空間的緩沖區。

然后，用戶空間的緩沖區，再將數據寫入到網絡接口、或其他輸出設備。

這種多步復制，會消耗大量 CPU 資源，并增加延遲。

而零拷貝技術，通過優化數據傳輸路徑，減少數據在用戶空間和內核空間之間的多次拷貝，

比如：通過Linux的mmap() 系統調用，可以將文件或設備的內存空間，映射到用戶空間的地址空間。

然后，應用程序可以像訪問內存一樣直接訪問文件內容；

接著，使用 write() 系統調用將數據從用戶空間的緩沖區發送到網絡套接字。

在這個過程中，避免了從內核緩沖區、到用戶空間緩沖區、再到內核套接字緩沖區的兩次拷貝。

所以，減少了數據在不同存儲區域之間的移動次數，提高了數據傳輸的吞吐量，也提升了并發性能。