在我之前的文章中有粉絲提到內(nèi)存不足，需要頻繁清理系統(tǒng)緩存的問題，今天我們就來聊聊Page Cache相關(guān)的一系列問題。

怎么觀測(cè)Page Cache？

在Linux上直接查看Page Cache的方式有很多，包括free 、/proc/vmstat 命令等，它們的內(nèi)容其實(shí)是一致的，這些性能查詢工具的數(shù)據(jù)來源都是/proc/meminfo，今天我們就用最常用的 free 命令的輸出解釋下。

free命令輸出

meminfo信息

我們觀察free命令的輸出，在結(jié)合/proc/meminfo的結(jié)果，你可以發(fā)現(xiàn) buff/cache 包括下面這幾項(xiàng)：

buff/cache = Buffers + Cached + SReclaimable。

從這個(gè)公式中，你能看到 free 命令中的 buff/cache 是由 Buffers、Cached 和 SReclaimable 這三項(xiàng)組成的，它強(qiáng)調(diào)的是內(nèi)存的可回收性，也就是說，可以被回收的內(nèi)存會(huì)統(tǒng)計(jì)在這一項(xiàng)。關(guān)于buff/cache的介紹，我在前面的文章中有詳細(xì)講過。這里的SReclaimable是指可以被回收的內(nèi)核內(nèi)存，包括 dentry 和 inode 等。

Page Cache有什么用？

• Buffer 是對(duì)磁盤數(shù)據(jù)的緩存，而 Cache 是文件數(shù)據(jù)的緩存，它們既會(huì)用在讀請(qǐng)求中，也會(huì)用在寫請(qǐng)求中（可以通過dd命令對(duì)磁盤和文件讀寫觀測(cè)緩存效果）。
• 從寫的角度來說，不僅可以優(yōu)化磁盤和文件的寫入，對(duì)應(yīng)用程序也有好處，應(yīng)用程序可以在數(shù)據(jù)真正落盤前，就返回去做其他工作。
• 從讀的角度來說，既可以加速讀取那些需要頻繁訪問的數(shù)據(jù)，也降低了頻繁 I/O 對(duì)磁盤的壓力。

Page Cache操作不當(dāng)?shù)奈：?/h2>

如果你的業(yè)務(wù)對(duì)Page Cache比較敏感，比如說你的業(yè)務(wù)數(shù)據(jù)對(duì)延遲很敏感，或者再具體一點(diǎn)，你的業(yè)務(wù)指標(biāo)對(duì)TP99（99 分位）要求較高，這種場(chǎng)景下，如果對(duì)Page Cache操作不當(dāng)會(huì)產(chǎn)生的問題。

手工誤操作Page Cache導(dǎo)致業(yè)務(wù)性能下降

我們知道，對(duì)于Page Cache而言，是可以通過drop_cache來清掉的，很多人在看到系統(tǒng)中存在非常多的Page Cache時(shí)會(huì)習(xí)慣使用drop_cache來清理它們。

于是這樣就引入了一個(gè)容易被我們忽略的問題：當(dāng)我們執(zhí)行 echo 2 來 drop slab 的時(shí)候，它也會(huì)把 Page Cache 給 drop 掉，業(yè)務(wù)性能產(chǎn)生了明顯的下降。

• inode 是內(nèi)存中對(duì)磁盤文件的索引，進(jìn)程在查找或者讀取文件時(shí)就是通過 inode 來進(jìn)行操作的。
• 進(jìn)程會(huì)通過inode來找到文件的地址空間（address_space），然后結(jié)合文件偏移（會(huì)轉(zhuǎn)換成 page index）來找具體的Page, inode被清理需要去磁盤讀取。

內(nèi)核機(jī)制引起Page Cache被回收導(dǎo)致業(yè)務(wù)性能下降

在內(nèi)存緊張的時(shí)候會(huì)觸發(fā)內(nèi)存回收，內(nèi)存回收會(huì)嘗試去回收 reclaimable（可以被回收的）內(nèi)存，這部分內(nèi)存既包含 Page Cache 又包含 reclaimable kernel memory(比如 slab)，我們可以通過/proc/vmstat 來觀察的內(nèi)核回收的事件。

grep inodesteal /proc/vmstat

vmstat信息

這個(gè)行為對(duì)應(yīng)的事件是 inodesteal，就是上面這兩個(gè)事件，其中：

• kswapd_inodesteal：是指在 kswapd 回收的過程中，因?yàn)榛厥?inode 而釋放的 pagecache page 個(gè)數(shù)。
• pginodesteal 是指 kswapd 之外其他線程在回收過程中，因?yàn)榛厥?inode 而釋放的 pagecache page 個(gè)數(shù)。

如何避免Page Cache 被回收而引起的性能問題？

從應(yīng)用代碼層面來優(yōu)化

從應(yīng)用程序代碼層面來解決是相對(duì)比較徹底的方案，因?yàn)閼?yīng)用更清楚哪些 Page Cache 是重要的，哪些是不重要的，所以就可以明確地來對(duì)讀寫文件過程中產(chǎn)生的 Page Cache 區(qū)別對(duì)待。例如：

• 對(duì)于重要的數(shù)據(jù)，可以通過 mlock(2) 來保護(hù)它，防止被回收以及被 drop。
• 對(duì)于不重要的數(shù)據(jù)（比如日志），那可以通過 madvise(2) 告訴內(nèi)核來立即釋放這些 Page Cache。

從系統(tǒng)層面來調(diào)整

在有些情況下，對(duì)應(yīng)用程序而言，修改源碼是件比較麻煩的事，如果可以不修改源碼來達(dá)到目的那就最好不過了。Linux 內(nèi)核同樣實(shí)現(xiàn)了這種不改應(yīng)用程序的源碼而從系統(tǒng)層面調(diào)整來保護(hù)重要數(shù)據(jù)的機(jī)制，這個(gè)機(jī)制就是 memory cgroup，它提供了幾個(gè)內(nèi)存水位控制線 memory.{min, low, high, max}。

• memory.max：這是指 memory cgroup 內(nèi)的進(jìn)程最多能夠分配的內(nèi)存，如果不設(shè)置的話，就默認(rèn)不做內(nèi)存大小的限制。
• memory.high：如果設(shè)置了這一項(xiàng)，當(dāng)memory cgroup內(nèi)進(jìn)程的內(nèi)存使用量超過了該值后就會(huì)立即被回收掉，所以這一項(xiàng)的目的是為了盡快的回收掉不活躍的Page Cache。
• memory.low：這一項(xiàng)是用來保護(hù)重要數(shù)據(jù)的，當(dāng)memory cgroup內(nèi)進(jìn)程的內(nèi)存使用量低于了該值后，在內(nèi)存緊張觸發(fā)回收后就會(huì)先去回收不屬于該memory cgroup的Page Cache，等到其他的Page Cache都被回收掉后再來回收這些 Page Cache。
• memory.min：這一項(xiàng)同樣是用來保護(hù)重要數(shù)據(jù)的，只不過與 memoy.low 有所不同的是，當(dāng) memory cgroup 內(nèi)進(jìn)程的內(nèi)存使用量低于該值后，即使其他不在該 memory cgroup 內(nèi)的 Page Cache 都被回收完了也不會(huì)去回收這些 Page Cache，可以理解為這是用來保護(hù)最高優(yōu)先級(jí)的數(shù)據(jù)的。

如果你想要保護(hù)你的Page Cache不被回收，你就可以考慮將你的業(yè)務(wù)進(jìn)程放在一個(gè)memory cgroup中，然后設(shè)置 memory.{min,low} 來進(jìn)行保護(hù)；與之相反，如果你想要盡快釋放你的Page Cache，那你可以考慮設(shè)置memory.high 來及時(shí)的釋放掉不活躍的Page Cache。