1.項目背景

公司集群上千物理節點，存儲容量100PB+,當前使用50PB左右，YARN的計算內存150Tb+,CPU 30000 Cores+。當前使用的CDH集群，因為性能瓶頸，需要遷移到自建的apache Hadoop3集群。CDH集群默認的是Fair Scheduler，Ambari(Hortonwork)默認使用Capacity Scheduler。CDH和HDP合并后，新的CDP會默認使用Capacity Scheduler調度器。所以如果需要將CDH群集遷移到CDP時，必須從Fair Scheduler遷移到Capacity Scheduler。遷移過程包括在遷移之前自動將某些Fair Scheduler配置轉換為Capacity Scheduler配置，并在遷移之后進行手動微微調。

目前Hadoop3.x默認使用的是Capacity Scheduler，并且Capacity Scheduler支持了Node Labels機制，即通過給節點打標簽的形式，讓不同隊列使用不同的標簽節點進而更好地做計算資源隔離和資源保障。目前大公司來說使用Capacity Scheduler和Fair Scheduler的公司都有很多。至于FIFO調度器在生產上的使用幾乎可以忽略不計。對于一家公司，中型集群規模的話，到底是選擇Capacity Scheduler還是Fair Scheduler呢？從配置使用友好度，日常管理，生產上資源分配，拓展，實際使用經驗等多個維度去考核對比一下兩者的聯系

2.Fair Scheduler和Capacity Scheduler的調研

現在隨著hadoop3的更新，Fair Scheduler和Capacity Scheduler的功能性越來越同質化，相近。但是兩者的之所以沒有合并或者湮沒一家，是因為本質上還是不同，都有一些自己的特質與特定的功能，在不同方向發揮著自己的余熱。下面基于其重要的特性做了一些對比。

<<queue name =“ root”>
    <minResources> 10000 mb，0vcores </ minResources>
    <maxResources> 90000 mb，0vcores </ maxResources>
    <maxRunningApps> 50 </ maxRunningApps>
    <maxAMShare> 0.1 </ maxAMShare>
    <weight> 2.0 </ weight></span>

3.最后的最后

3.1 Fair Scheduler

• Fair Scheduler是資源池概念，大家共享這個池子里面的資源。
• 多隊列多租戶使用時，可以根據業務線，部門，隊列的實際使用情況，根據每個隊列的日均最小使用資源給隊列配置一個min resource，保證這個隊列的任務可以滿足最低運行需求。同時為了防止單個隊列過多占用集群的資源，可以通過設置max resource限制隊列使用資源上線。但是max resource謹慎使用，設置不合理可能降低集群的資源使用率。
• 在滿足了不同隊列最小使用資源的保障后，再根據實際應用場景，給不同的隊列配置不同的權重，最后FS會根據權重來為各個對列的資源池（各個對列還有子隊列）分配資源（這種搶占的按照權重分配的方式本質和capacity 分配一樣）。權重的設置相對capacitye很靈活，想增加權重直接修改權重整數值即可，FS會將各個對列的權重值求和。用當前隊列權重值/總和的形式分配資源，其實也就是按所占的百分比分配資源。這種方式有利于動態調整資源池的使用。同一級別的隊列可以設置權重進行資源分配搶占。同一個父隊列的子隊列之間的資源也可以通過配置權重來進行資源分配搶占，注意子隊列只搶占父隊列的資源。
• 如下，隊列的生產配置情況。可以通過權重，限制并發，最小資源，最大資源，調度策略等方式保證隊列任務的穩定調度。

• 可以結合公司實際不同部門的資源使用情況，比如A部門主要晚上用，B部門主要夜里用，配置早晚兩套或者N套資源隊列分配配置文件，通過調度自動更新配置文件，yarn會每隔10s去更新讀取一次配置文件，這樣在無感知的情況下更加有利于調高集群的吞吐率。

3.2 Capacity Scheduler

• 相比Capacity Scheduler 是一個隊列概念，新增一個任務，如果發現資源不夠了，則根據FIFO規則排隊；什么時候資源夠了，再用。
• Fair Scheduler可以配置自動創建pool，但是Capacity則無法創建隊列；其實本質差別就是在于一個是pool共享資源的概念。對于FS而言，可以使用資源池中未被使用的資源，但是Capacity則不允許；所以前者比較靈活，后者相對呆滯。

3.3 建議

如果是中小型集群，上千節點以內，資源比較緊張，建議使用Fair Scheduler,配置簡單，對資源的使用效率也高。相比Fair Scheduler更加靈活，允許作業使用群集中未使用的資源。它通過基于定義的權重來給任務的公平搶占和穩定提供保證。對于中小型集群，這是一個很好的默認設置。

容量調度程序對于資源的管理更加細化，配置起來也是調度器中最麻煩的。其使用資源配額定義隊列。作業不能消耗額外的資源。這需要更多的配置和不斷的試錯，調整容量規劃。所以它更加適合不同工作負載且具有不同需求的大型集群。比如大幾千，上萬，類似阿里巴巴那樣的集群。

參考資料：

https://docs.cloudera.com/cdp/latest/data-migration/topics/cdp-data-migration-yarn-scheduler-migration.html

Apache Hadoop 3.3.4 – YARN Node Labels

??https://www.quora.com/Apache-Hadoop-Whats-the-difference-between-Fair-Scheduler-and-Capacity-Scheduler??

本文轉載自微信公眾號「滌生大數據」，作者「滌生大數據」，可以通過以下二維碼關注。

轉載本文請聯系「滌生大數據」公眾號。