本文節選自即將出版的《可伸縮服務架構：框架與中間件》一書，作者：李艷鵬、楊彪、李海亮、賈博巖、劉淏

如今，市面上的緩存解決方案已經逐步成熟了，今天我將選取其中一些代表性的方案包括Redis、Memcached和Tair進行對比，幫助大家在生產實踐中更好地進行技術選型。

一、常用的分布式緩存的對比

常用的分布式緩存包括Redis、Memcached和阿里巴巴的Tair(見下表)，因為Redis提供的數據結構比較豐富且簡單易用，所以Redis的使用廣泛。

下面我們從9個大方面來對比最常用的Redis和Memcached。

1.數據類型

Redis一共支持5種數據類型，每種數據類型對應不同的數據結構，有簡單的String類型、壓縮串、字典、跳躍表等。跳躍表是比較新型的數據結構，常用于高性能的查找，可以達到log2N的查詢速度，而且跳躍表相對于紅黑樹，在更新時變更的節點較少，更易于實現并發操作。

Memcache只支持對鍵值對的存儲，并不支持其它數據結構。

2.線程模型

Redis使用單線程實現，Memcache等使用多線程實現，因此我們不推薦在Redis中存儲太大的內容，否則會阻塞其它請求。

因為緩存操作都是內存操作，只有很少的計算操作，所以在單線程下性能很好。Redis實現的單線程的非阻塞網絡I/O模型，適合快速地操作邏輯，有復雜的長邏輯時會影響性能。對于長邏輯應該配置多個實例來提高多核CPU的利用率，也就是說，可以使用單機器多端口來配置多個實例，官方的推薦是一臺機器使用8個實例。

它實現的非阻塞I/O模型基于Libevent庫中關于Epoll的兩個文件加上自己簡單實現的事件通知模型，簡單小巧，作者的思想就是保持實現簡單、減少依賴。由于在服務器中只有一個線程，因此提供了管道來合并請求和批量執行，縮短了通信消耗的時間。

Memcache也使用了非阻塞I/O模型，但是使用了多線程，可以應用于多種場景，請求的邏輯可大可小、可長可短，不會出現一個邏輯復雜的請求阻塞對其它請求的響應的場景。它直接依賴Libevent庫實現，依賴比較復雜，損失了在一些特定環境下的高性能。

3.持久機制

Redis提供了兩種持久機制，包括RDB和AOF，前者是定時的持久機制，但在出現宕機時可能會出現數據丟失，后者是基于操作日志的持久機制。

Memcahe并不提供持久機制，因為Memache的設計理念就是設計一個單純的緩存，緩存的數據都是臨時的，不應該是持久的，也不應該是一個大數據的數據庫，緩存未***時回源查詢數據庫是天經地義的，但可以通過第三方庫MemcacheDB來支持它的持久性。

4.客戶端

常見的Redis Java客戶端Jedis使用阻塞I/O，但可以配置連接池，并提供了一致性哈希分片的邏輯，也可以使用開源的客戶端分片框架Redic。

Memecache的客戶端包括Memcache Java Client、Spy Client、XMemcache等，Memcache Java Client使用阻塞I/O，而Spy Client/XMemcache使用非阻塞I/O。

我們知道，阻塞I/O不需要額外的線程，非阻塞I/O會開啟額外的請求線程(在Boss線程池里)監聽端口，一個請求在處理后就釋放工作者線程(在Worker線程池中)，請求線程在監聽到有返回結果時，一旦有I/O返回結果就被喚醒，然后開始處理響應數據并寫回網絡Socket連接，所以從理論上來講，非阻塞I/O的吞吐量和響應能力會更高。

5.高可用

Redis支持主從節點復制配置，從節點可使用RDB和緩存的AOF命令進行同步和恢復。Redis還支持Sentinel和Cluster(從3.0版本開始)等高可用集群方案。

Memecache不支持高可用模型，可使用第三方Megagent代理，當一個實例宕機時，可以連接另外一個實例來實現。

6.對隊列的支持

Redis本身支持lpush/brpop、publish/subscribe/psubscribe等隊列和訂閱模式。

Memcache不支持隊列，可通過第三方MemcachQ來實現。

7.事務

Redis提供了一些在一定程度上支持線程安全和事務的命令，例如：multi/exec、watch、inc等。由于Redis服務器是單線程的，任何單一請求的服務器操作命令都是原子的，但跨客戶端的操作并不保證原子性，所以對于同一個連接的多個操作序列也不保證事務。

Memcached的單個命令也是線程安全的，單個連接的多個命令序列不是線程安全的，它也提供了inc等線程安全的自加命令，并提供了gets/cas保證線程安全。

8.數據淘汰策略

Redis提供了豐富的淘汰策略，包括maxmemory、maxmemory-policy、volatile-lru、allkeys-lru、volatile-random、allkeys-random、volatile-ttl、noeviction(return error)等。

Memecache在容量達到指定值后，就基于LRU(Least Recently Used)算法自動刪除不使用的緩存。在某些情況下LRU機制反倒會帶來麻煩，會將不期待的數據從內存中清除，在這種情況下啟動Memcache時，可以通過“M”參數禁止LRU算法。

9.內存分配

Redis為了屏蔽不同平臺之間的差異及統計內存占用量等，對內存分配函數進行了一層封裝，在程序中統一使用zmalloc、zfree系列函數，這些函數位于zmalloc.h/zmalloc.c文件中。封裝就是為了屏蔽底層平臺的差異，同時方便自己實現相關的統計函數。具體的實現方式如下：

• 若系統中存在Google的TC_MALLOC庫，則使用tc_malloc一族的函數代替原本的malloc一族的函數。
• 若當前系統是Mac系統，則使用系統的內存分配函數。
• 對于其它情況，在每一段分配好的空間前面同時多分配一個定長的字段，用來記錄分配的空間大小，通過這種方式來實現簡單有效的內存分配。

Memcache采用slab table的方式分配內存，首先把可得的內存按照不同的大小來分類，在使用時根據需求找到最接近于需求大小的塊分配，來減少內存碎片，但是這需要進行合理配置才能達到效果。

從上面的對比可以看到，Redis在實現和使用上更簡單，但是功能更強大，效率更高，應用也更廣泛。下面將對Redis進行初步介紹，給初學者一個初體驗式的學習引導。

二、Redis初體驗

Redis是一個能夠存儲多種數據對象的開源Key-Value存儲系統，使用ANSI C語言編寫，可以僅僅當作內存數據庫使用，也可以作為以日志為存儲方式的數據庫系統，并提供多種語言的API。

1.使用場景

我們通常把Redis當作一個非本地緩存來使用，很少用到它的一些高級功能。在使用中最容易出問題的是用Redis來保存JSON數據，因為Redis不像Elasticsearch或者PostgreSQL那樣可以很好地支持JSON數據。所以我們經常把JSON當作一個大的String直接放到Redis中，但現在的JSON數據都是連環嵌套的，每次更新時都要先獲取整個JSON，然后更改其中一個字段再放上去。

一個常見的JSON數據的Java對象定義如下：

public class Commodity {  
private long price;  
private String title;  
……  
} 

在海量請求的前提下，在Redis中每次更新一個字段，比如銷量字段，都會產生較大的流量。在實際情況下，JSON字符串往往非常復雜，體積達到數百KB都是有可能的，導致在頻繁更新數據時使網絡I/O跑滿，甚至導致系統超時、崩潰。

因此，Redis官方推薦采用哈希來保存對象，比如有3個商品對象，ID分別是123、124和12345，我們通過哈希把它們保存在Redis中，在更新其中的字段時可以這樣做：

HSET commodity:123 price 100  
HSET commodity:124 price 101  
HSET commodity:12345 price 101  
 
HSET commodity:123 title banana  
HSET commodity:124 title apple  
HSET commodity:12345 title orange 

也就是說，用商品的類型名和ID組成一個Redis哈希對象的KEY。在獲取某一屬性時只需這樣做就可以獲取單獨的屬性：HGET commodity: 12345。

2.Redis的高可用方案：哨兵

Redis官方推出了一個集群管理工具，叫作哨兵(Sentinel)，負責在節點中選出主節點，按照分布式集群的管理辦法來操作集群節點的上線、下線、監控、提醒、自動故障切換(主備切換)，且實現了著名的RAFT選主協議，從而保證了系統選主的一致性。

這里給出一個哨兵的通用部署方案。哨兵節點一般至少要部署3份，可以和被監控的節點放在一個虛擬機中，常見的哨兵部署如圖所示。

在這個系統中，初始狀態下的機器A是主節點，機器B和機器C是從節點。

由于有3個哨兵節點，每個機器運行1個哨兵節點，所以這里設置quorum = 2，也就是在主節點無響應后，有至少兩個哨兵無法與主節點通信，則認為主節點宕機，然后在從節點中選舉新的主節點來使用。

在發生網絡分區時，若機器A所在的主機網絡不可用，則機器B和機器C上的兩個Sentinel實例會啟動failover并把機器B選舉為主節點。

Sentinel集群的特性保證了機器B和機器C上的兩個Sentinel實例得到了關于主節點的***配置。但機器A上的Sentinel節點依然持有舊的配置，因為它與外界隔離了。

在網絡恢復后，我們知道機器A上的Sentinel實例將會更新它的配置。但是，如果客戶端所連接的主機節點也被網絡隔離，則客戶端將依然可以向機器A的Redis節點寫數據，但在網絡恢復后，機器A的Redis節點就會變成一個從節點，那么在網絡隔離期間，客戶端向機器A的Redis節點寫入的數據將會丟失，這是不可避免的。

如果把Redis當作緩存來使用，那么我們也許能容忍這部分數據的丟失，但若把Redis當作一個存儲系統來使用，就無法容忍這部分數據的丟失了，因為Redis采用的是異步復制，在這樣的場景下無法避免數據的丟失。

在這里，我們可以通過以下配置來配置每個Redis實例，使得數據不會丟失：

min-slaves-to-write 1  
min-slaves-max-lag 10 

通過上面的配置，當一個Redis是主節點時，如果它不能向至少一個從節點寫數據(上面的min-slaves-to-write指定了slave的數量)，則它將會拒絕接收客戶端的寫請求。由于復制是異步的，所以主節點無法向從節點寫數據就意味著從節點要么斷開了連接，要么沒在指定的時間內向主節點發送同步數據的請求。

所以，采用這樣的配置可排除網絡分區后主節點被孤立但仍然寫入數據，從而導致數據丟失的場景。

3.Redis集群

Redis在3.0中也引入了集群的概念，用于解決一些大數據量和高可用的問題，但是，為了達到高性能的目的，集群不是強一致性的，使用的是異步復制，在數據到主節點后，主節點返回成功，數據被異步地復制給從節點。

首先，我們來學習Redis的集群分片機制。Redis使用CRC16(key) mod 16384進行分片，一共分16384個哈希槽，比如若集群有3個節點，則我們按照如下規則分配哈希槽：

• A節點包含0-5500的哈希槽;
• B節點包含5500-11000的哈希槽;
• C節點包含11000-16384的哈希槽。

這里設置了3個主節點和3個從節點，集群分片如圖所示。

圖中共有3個Redis主從服務器的復制節點，其中任意兩個節點之間都是相互連通的，客戶端可以與其中任意一個節點相連接，然后訪問集群中的任意一個節點，對其進行存取和其他操作。

那Redis是怎么做到的呢?首先，在Redis的每個節點上都會存儲哈希槽信息，我們可以將它理解為是一個可以存儲兩個數值的變量，這個變量的取值范圍是0-16383。根據這些信息，我們就可以找到每個節點負責的哈希槽，進而找到數據所在的節點。

Redis集群實際上是一個集群管理的插件，當我們提供一個存取的關鍵字時，就會根據CRC16的算法得出一個結果，然后把結果除以16384求余數，這樣每個關鍵字都會對應一個編號為0-16383的哈希槽，通過這個值找到對應的插槽所對應的節點，然后直接自動跳轉到這個對應的節點上進行存取操作。但是這些都是由集群的內部機制實現的，我們不需要手工實現。

作者介紹

楊彪，螞蟻金服技術專家，《分布式服務架構：原理、設計與實戰》和《可伸縮服務架構：框架與中間件》作者。近10年互聯網和游戲行業工作經驗，曾在酷我音樂盒、人人游戲和掌趣科技等上市公司擔任核心研發職位，做過日活躍用戶量達千萬的項目，也做過多款月流水千萬以上的游戲。