干掉討厭的 CPU 限流，讓容器跑得更快
本文轉(zhuǎn)載自微信公眾號(hào)「云巔論劍」，作者常懷鑫 。轉(zhuǎn)載本文請(qǐng)聯(lián)系云巔論劍公眾號(hào)。
讓人討厭的 CPU 限流影響容器運(yùn)行，有時(shí)人們不得不犧牲容器部署密度來(lái)避免 CPU 限流出現(xiàn)。本文介紹的 CPU Burst 技術(shù)可以幫助您既能保證容器運(yùn)行服務(wù)質(zhì)量，又不降低容器部署密度。文章分為上下兩篇，該文為上篇，下篇將剖析使用 CPU Burst 和其他避免限流手段的區(qū)別，以及如何配置 CPU Burst 功能以達(dá)到最佳效果。
在 K8S 容器調(diào)度中，容器的 CPU 資源上限是由 CPU limits 參數(shù)指定。設(shè)置 CPU 資源上限可以限制個(gè)別容器消耗過(guò)多的 CPU 運(yùn)行時(shí)間，并確保其他容器拿到足夠的 CPU 資源。CPU limits 限制在 Linux 內(nèi)核中是用 CPU Bandwidth Controller 實(shí)現(xiàn)的，它通過(guò) CPU限流限制 cgroup 的資源消耗。所以當(dāng)一個(gè)容器中的進(jìn)程使用了超過(guò) CPU limits 的資源的時(shí)候，這些進(jìn)程就會(huì)被 CPU 限流，他們使用的 CPU 時(shí)間就會(huì)受到限制，進(jìn)程中一些關(guān)鍵的延遲指標(biāo)就會(huì)變差。
面對(duì)這種情況，我們應(yīng)該怎么辦呢?一般情況下，我們會(huì)結(jié)合這個(gè)容器日常峰值的 CPU 利用率并乘以一個(gè)相對(duì)安全的系數(shù)來(lái)設(shè)置這個(gè)容器的 CPU limits ，這樣我們既可以避免容器因?yàn)橄蘖鞫鴮?dǎo)致的服務(wù)質(zhì)量變差，同時(shí)也可以兼顧 CPU 資源的利用。舉個(gè)簡(jiǎn)單的例子，我們有一個(gè)容器，他日常峰值的 CPU 使用率在 250% 左右，那么我們就把容器 CPU limits 設(shè)置到 400% 來(lái)保證容器服務(wù)質(zhì)量，此時(shí)容器的 CPU 利用率是 62.5%(250%/400%)。
然而生活真的那么美好么?顯然不是!CPU 限流的出現(xiàn)比預(yù)期頻繁了很多。怎么辦?似乎看上去我們只能繼續(xù)調(diào)大 CPU limits 來(lái)解決這個(gè)問題。很多時(shí)候，當(dāng)容器的 CPU limits 被放大 5~10 倍的時(shí)候，這個(gè)容器的服務(wù)質(zhì)量才得到了比較好的保障，相應(yīng)的這時(shí)容器的總 CPU 利用率只有 10%~20%。所以為了應(yīng)對(duì)可能的容器 CPU 使用高峰，容器的部署密度必須大大降低。
歷史上人們?cè)?CPU Bandwidth Controller 中修復(fù)了一些 BUG 導(dǎo)致的 CPU 限流問題，我們發(fā)現(xiàn)當(dāng)前非預(yù)期限流是由于100ms級(jí)別CPU突發(fā)使用引起，并且提出 CPU Burst 技術(shù)允許一定的 CPU 突發(fā)使用，避免平均 CPU 利用率低于限制時(shí)的 CPU 限流。在云計(jì)算場(chǎng)景中，CPU Burst 技術(shù)的價(jià)值有：
- 不提高 CPU 配置的前提下改善 CPU 資源服務(wù)質(zhì)量;
- 允許資源所有者不犧牲資源服務(wù)質(zhì)量降低CPU資源配置，提升CPU資源利用率;
- 降低資源成本(TCO, Total Cost of Ownership)。
你看到的CPU利用率不是全部真相
秒級(jí) CPU 利用率不能反映 Bandwidth Controller 工作的 100ms 級(jí)別 CPU 使用情況，是導(dǎo)致非預(yù)期 CPU 限流出現(xiàn)的原因。
Bandwidth Controller 適用于 CFS 任務(wù)，用 period 和 quota 管理 cgroup 的 CPU 時(shí)間消耗。若 cgroup 的 period 是 100ms quota 是 50ms，cgroup 的進(jìn)程每 100ms 周期內(nèi)最多使用 50ms CPU 時(shí)間。當(dāng) 100ms 周期的 CPU 使用超過(guò) 50ms 時(shí)進(jìn)程會(huì)被限流，cgroup 的 CPU 使用被限制到 50% 。
CPU 利用率是一段時(shí)間內(nèi) CPU 使用的平均，以較粗的粒度統(tǒng)計(jì) CPU 的使用需求，CPU 利用率趨向穩(wěn)定;當(dāng)觀察的粒度變細(xì)，CPU 使用的突發(fā)特征更明顯。以 1s 粒度和 100ms 粒度同時(shí)觀測(cè)容器負(fù)載運(yùn)行，當(dāng)觀測(cè)粒度是 1s 時(shí) CPU 利用率的秒級(jí)平均在 250% 左右，而在 Bandwidth Controller 工作的 100ms 級(jí)別觀測(cè) CPU 利用率的峰值已經(jīng)突破 400% 。
根據(jù)秒級(jí)觀察到的 CPU 利用率 250% 設(shè)置容器 quota 和 period 分別為 400ms 和 100ms ，容器進(jìn)程的細(xì)粒度突發(fā)被 Bandwidth Controller 限流，容器進(jìn)程的 CPU 使用受到影響。
如何改善
我們用 CPU Burst 技術(shù)來(lái)滿足這種細(xì)粒度 CPU 突發(fā)需求，在傳統(tǒng)的 CPU Bandwidth Controller quota 和 period 基礎(chǔ)上引入 burst 的概念。當(dāng)容器的 CPU 使用低于 quota 時(shí)，可用于突發(fā)的 burst 資源累積下來(lái);當(dāng)容器的 CPU 使用超過(guò) quota，允許使用累積的 burst 資源。最終達(dá)到的效果是將容器更長(zhǎng)時(shí)間的平均 CPU 消耗限制在 quota 范圍內(nèi)，允許短時(shí)間內(nèi)的 CPU 使用超過(guò)其 quota。
如果用 Bandwidth Controller 算法來(lái)管理休假，假期管理的周期(period)是一年，一年里假期的額度是 quota ，有了 CPU Burst 技術(shù)之后今年修不完的假期可以放到以后來(lái)休了。
使用 CPU Burst 之后
在容器場(chǎng)景中使用 CPU Burst 之后，測(cè)試容器的服務(wù)質(zhì)量顯著提升。觀察到 RT 均值下降 68%(從 30+ms 下降到 9.6ms );99% RT 下降 94.5%(從 500+ms 下降到 27.37ms )。
如果容器運(yùn)行負(fù)載是延遲敏感類型，又有配置 quota 引起的 CPU 限流，不妨試試使用 CPU Burst 技術(shù)對(duì)延遲進(jìn)行優(yōu)化。CPU Burst 修改已合入 Linux 5.14，Alibaba Cloud Linux 也已經(jīng)支持 CPU Burst 技術(shù)。
關(guān)于作者
常懷鑫(一齋)，阿里云內(nèi)核組工程師，擅長(zhǎng)CPU調(diào)度領(lǐng)域。
