本文總結前期某個系統中使用到的緩存使用經驗---僅此而已，效果還不錯。

緩存技術在系統架構設計中扮演著至關重要的角色，它不僅可以顯著提高系統的性能，還可以改善用戶體驗。在本文章中，我們將探討不同類型的緩存、緩存失效以及緩存淘汰等關鍵概念，幫助在后期的架構設計中更好地理解如何利用緩存來優化你的系統。

一、緩存類型

緩存的類型有很多種，我們來簡單聊聊其中的幾種：

• 應用服務器緩存： 在這種情況下，緩存會被放在應用服務器的請求節點上，就像是服務器自己的小本子一樣。每當有請求到達這個節點，它都會先看看自己本地有沒有相關的數據，如果有，就直接返回這個數據，不用再費力去找了。如果本地沒有，那就得去硬盤上找一下，并把找到的數據也存起來，以備將來使用。
• 分布式緩存： 在一個大型系統中，有可能有很多請求節點的實例在一起工作，負載均衡器負責將請求分散到這些節點上。問題是，每個節點都有自己的緩存，如果一個請求到達了一個節點，而這個請求的響應已經被其他節點處理過了，那么這個節點就會找不到緩存，需要重新查找。這會導致同一個請求被處理多次，浪費資源。解決這個問題的方法就是使用分布式緩存，讓所有的節點共享一個緩存，這樣就不會重復計算了。
• 全局緩存： 全局緩存其實就是分布式緩存的一種，它是一個大家都能訪問的共享緩存，不管請求到達哪個節點，都可以從這個全局緩存中獲取數據。這樣就能避免重復計算，提高系統的性能。
• CDN（內容分發網絡）： CDN是一種將數據分布到全球各地的緩存系統。當用戶請求某個內容時，CDN會將數據提供給離用戶最近的服務器，這樣可以加速訪問速度，減輕源服務器的負載。CDN通常用于加速靜態資源如圖片、視頻等的傳輸，讓用戶能夠更快速地獲取這些內容。

1、應用服務器緩存

在應用程序服務器中，我們經常使用緩存來提高性能。簡單來說，緩存就是將一些數據存儲在服務器的內存或磁盤上，以便在需要時快速獲取，而不必每次都從頭開始計算或查詢數據庫。

具體來說，應用程序服務器緩存是將緩存放在請求節點（服務器）本身上的一種方式。每當有請求到達這個服務器時，它會首先檢查自己的本地緩存，如果能找到對應的響應數據，就會直接返回給客戶端，避免了重復計算或者數據庫查詢的開銷。如果本地緩存中沒有需要的數據，服務器則會去查詢磁盤或其他數據源，并將查詢結果緩存起來，以備將來使用。

然而，當我們處于一個分布式環境中，有多個實例的同一請求節點時，會出現一個問題。通常，負載均衡器會將請求分發到這些不同的節點上，每個節點都有自己的本地緩存存儲。這就可能導致一個問題：當一個請求到達某個節點，而該請求的響應已經被其他節點處理并緩存時，當前節點會出現緩存未命中的情況。這時，當前節點不得不再次查詢磁盤并將響應數據存儲在自己的本地緩存中。如果后續的請求又被分發到不同的節點，就會導致同一個請求被多次計算，浪費了資源和時間。

為了解決這個問題，我們可以采取維護一個分布式或全局緩存的方法。這意味著所有的請求節點共享同一個緩存，不管請求到達哪個節點，都可以從這個全局緩存中獲取數據，避免了重復計算和減輕了系統負擔。這種方式可以提高性能，并使系統更加高效。

2、分布式緩存

在分布式緩存中，緩存被分散存儲在多個節點上，這是為了提高性能和可伸縮性。

為了有效地管理這些分布式緩存節點，我們使用一種叫做一致性哈希的技術。一致性哈希的好處是，它讓哈希函數與多個緩存節點或對象獨立無關，這意味著我們可以輕松地添加新的緩存節點到緩存池中，而不必擔心影響已有的數據。

當有請求到來時，請求節點會使用一致性哈希算法來確定在哪個緩存節點上查找需要的緩存數據。這種方法使得我們可以靈活地擴展緩存集群，以容納更多的緩存節點，從而提高系統的性能和可用性。簡而言之，一致性哈希是分布式緩存中的一項關鍵技術，讓我們能夠更好地管理和利用緩存資源。

3、全局緩存：

在全局緩存中，我們只需維護一個全局的緩存，而不是每個請求節點都有自己的緩存。這樣做的好處是能夠更有效地利用緩存資源。

當緩存未命中時，有兩種方式來獲取數據：

• Global Cache 查詢磁盤并緩存數據： 首先，我們可以從全局緩存查詢數據，如果數據在全局緩存中不存在，那么我們就需要去磁盤或其他數據源中查詢，并將查詢到的數據緩存在全局緩存中，以備將來使用。這種方式是一種主動的數據獲取方式。
• 全局緩存調用請求節點，然后緩存來自該節點的響應： 另一種方式是通過全局緩存調用具體的請求節點，然后將從該節點獲取到的響應數據進行緩存。這種方式是一種被動的數據獲取方式，只有在需要時才會觸發。這也意味著我們可以將緩存的數據與請求節點的響應關聯起來，以提高效率和性能。

總之，在全局緩存中，我們可以選擇不同的方式來處理緩存未命中的情況，具體取決于系統的需求和設計。這樣的全局緩存策略有助于提高數據訪問效率，減少資源浪費。

4、CDN（內容分布式網絡）：

CDN（內容分發網絡）是一個很有用的東西，特別適合在你的網站上有很多靜態媒體文件的情況下使用。

CDN的工作原理很簡單，當它發現緩存中沒有用戶請求的內容時，它會主動去向后端服務器請求這些數據，然后將數據緩存起來，以后再有用戶請求相同的內容時，就可以快速地提供服務，不必再次向后端服務器請求。

如果系統還不夠大，不需要使用大型CDN服務，你也可以考慮將靜態文件托管在類似Nginx這樣的簡單HTTP服務器上。然后，將DNS托管在CDN服務中，而不是本地服務器上。這種方式可以幫助你在未來輕松地進行過渡，逐步擴大系統規模。簡單說，CDN是一個實用的解決方案，可以幫助提升網站性能和用戶體驗。

二、緩存失效

緩存失效是確保緩存與數據源（通常是數據庫）保持一致的重要策略。當數據源最近發生寫操作時，我們需要確保緩存中的數據也跟得上變化。

有幾種緩存失效的方式：

• 同時寫入緩存和數據庫： 在這個方案中，數據會同時寫入緩存和數據庫。這樣做的好處是，即使系統崩潰、電源故障或其他系統中斷，數據都不會丟失，因為它已經被保存在了緩存和數據庫中。但是，當有大量寫入操作時，同時在緩存和數據庫中更新數據可能會導致延遲問題。
• 繞過緩存寫入： 這個方案中，數據直接寫入永久存儲，而不經過緩存。這有助于避免寫入操作淹沒緩存的問題，但最近的寫入可能會導致緩存未命中，需要請求節點去查詢永久存儲并緩存響應。
• 回寫式緩存： 在這個方案中，寫入操作首先完成到緩存中，然后立即向客戶端確認完成。隨后，經過一定的時間間隔，數據再更新到永久存儲中。這種方式適用于寫入密集型應用程序，它能提供高吞吐量和低延遲。但缺點是如果系統發生故障或其他不良事件，可能會導致數據丟失。

選擇哪種緩存失效策略通常取決于你的應用需求和對數據一致性和可靠性的要求。不同的應用場景可能需要不同的策略來平衡性能和數據保護。

三、緩存淘汰(Cache Eviction)

當緩存達到容量上限時，需要清理緩存以騰出空間，以便存放新的數據。

有多種緩存清理策略：

• FIFO（先進先出）： 這個策略會優先清理最早進入緩存的數據，而不考慮它們被訪問的頻率。
• LIFO（后進后出）： 與FIFO相反，這個策略會優先清理最晚進入緩存的數據，也不考慮它們的訪問頻率。
• LRU（最近最少使用）： LRU策略選擇清理最長時間未被訪問的緩存數據，確保緩存中保留最近被頻繁訪問的數據。
• MRU（最近使用）： 與LRU相反，MRU策略會清理最近被使用的緩存數據，而不考慮它們的訪問頻率。
• LFU（最不常用）： LFU策略維護了緩存數據被訪問的頻率，然后選擇清理其中使用最少的數據。
• 隨機替換： 這種策略隨機選擇一個緩存項，并在需要時將其清除以騰出空間。

選擇哪種清理策略通常取決于你的應用需求和性能要求。不同的策略適用于不同的場景，幫助你在緩存滿時有效地管理和清理數據。