NUMA的出現(xiàn)

我們都知道，CPU是計(jì)算機(jī)的核心組件，它被設(shè)計(jì)用來(lái)完成計(jì)算機(jī)的核心任務(wù)：計(jì)算，這里的計(jì)算既包括數(shù)學(xué)上的運(yùn)算，還包括條件的判斷、IO設(shè)備的讀寫等多個(gè)方面。

在計(jì)算機(jī)發(fā)展初期，為了提升CPU的計(jì)算能力，工程師們的方法是不斷增加晶體管的數(shù)量和提升CPU的主頻，因?yàn)檫@可以讓CPU在單位時(shí)間內(nèi)完成更多次數(shù)的計(jì)算。

然而，當(dāng)技術(shù)發(fā)展到一定程度之后，CPU的散熱和功耗的問(wèn)題開始變得突出，單純提升主頻開始變得越來(lái)越困難，然后工程師們又有了新的想法：既然一個(gè)人干活效率有限，那就讓更多的人一起干活吧！于是，多核CPU應(yīng)運(yùn)而生。

多核CPU可以同時(shí)處理多個(gè)任務(wù)，極大地提高了計(jì)算機(jī)的運(yùn)算速度。然而，隨著核心數(shù)量的增加，新的問(wèn)題也隨之出現(xiàn)。在多核CPU系統(tǒng)中，所有的核心共享同一塊內(nèi)存，當(dāng)多個(gè)核心同時(shí)訪問(wèn)內(nèi)存時(shí)，就會(huì)產(chǎn)生爭(zhēng)用，這種爭(zhēng)用會(huì)導(dǎo)致內(nèi)存訪問(wèn)的延遲增加，從而影響系統(tǒng)的整體性能。

為了解決這個(gè)問(wèn)題，工程師們又提出了非統(tǒng)一內(nèi)存訪問(wèn)（NUMA）架構(gòu)。在NUMA架構(gòu)中，每個(gè)節(jié)點(diǎn)都有自己的內(nèi)存，節(jié)點(diǎn)之間通過(guò)CPU互連網(wǎng)絡(luò)進(jìn)行通信。這樣，每個(gè)節(jié)點(diǎn)中的處理器訪問(wèn)自己的內(nèi)存時(shí)，就不會(huì)與其他節(jié)點(diǎn)產(chǎn)生爭(zhēng)用，從而減少了內(nèi)存訪問(wèn)的延遲，提高了系統(tǒng)的整體性能。

圖片

NUMA的問(wèn)題

雖然非統(tǒng)一內(nèi)存訪問(wèn)（NUMA）架構(gòu)可以提高多處理器系統(tǒng)的性能，但它也帶來(lái)了一些新的問(wèn)題，主要包括以下幾點(diǎn)：

內(nèi)存訪問(wèn)不均衡

在NUMA系統(tǒng)中，處理器訪問(wèn)遠(yuǎn)程內(nèi)存時(shí)需要經(jīng)過(guò)核心之間的通道進(jìn)行，因此本地內(nèi)存的速度要比訪問(wèn)遠(yuǎn)程內(nèi)存快，大約比訪問(wèn)其它節(jié)點(diǎn)快2倍以上。這就意味著，如果一個(gè)程序的數(shù)據(jù)大部分位于遠(yuǎn)程節(jié)點(diǎn)，那么它的性能可能會(huì)受到影響。例如，假設(shè)有一個(gè)程序，它在處理器A上運(yùn)行，但它需要訪問(wèn)的數(shù)據(jù)大部分在處理器B的本地內(nèi)存中，那么它需要花費(fèi)更多的時(shí)間來(lái)獲取這些數(shù)據(jù)，這就降低了程序的運(yùn)行效率。

還有，如果程序的數(shù)據(jù)不是均勻的分布在各個(gè)內(nèi)存節(jié)點(diǎn)，CPU訪問(wèn)數(shù)據(jù)時(shí)就可能時(shí)快時(shí)慢，這會(huì)給程序的穩(wěn)定運(yùn)行帶來(lái)一些挑戰(zhàn)，對(duì)于一些性能敏感的應(yīng)用影響會(huì)比較大。

數(shù)據(jù)管理復(fù)雜

在NUMA系統(tǒng)中，每個(gè)處理器都有自己的內(nèi)存，這就需要操作系統(tǒng)和應(yīng)用程序更加智能地管理數(shù)據(jù)的分布和遷移，以確保內(nèi)存訪問(wèn)的均衡性。例如，操作系統(tǒng)需要能夠監(jiān)控程序的內(nèi)存訪問(wèn)模式，并根據(jù)需要將數(shù)據(jù)從一個(gè)節(jié)點(diǎn)遷移到另一個(gè)節(jié)點(diǎn)，這增加了操作系統(tǒng)的復(fù)雜性。

另外，現(xiàn)代CPU的物理核心都會(huì)自帶一個(gè)高速緩存，它會(huì)緩存程序頻繁使用和即將使用的數(shù)據(jù)，如果程序頻繁的在各個(gè)物理核心之間切換執(zhí)行，就會(huì)導(dǎo)致緩存的失效，影響程序的性能。解決這個(gè)問(wèn)題需要復(fù)雜的緩存同步機(jī)制。

硬件和軟件兼容性問(wèn)題

NUMA架構(gòu)需要特定的硬件支持，并且需要操作系統(tǒng)和應(yīng)用程序具有相應(yīng)的調(diào)度和優(yōu)化策略，以充分利用NUMA的優(yōu)勢(shì)。例如，一些操作系統(tǒng)可能無(wú)法正確識(shí)別和優(yōu)化NUMA硬件，或者一些應(yīng)用程序可能沒(méi)有正確地使用NUMA API，這都可能影響到系統(tǒng)的性能。

解決方案

解決NUMA架構(gòu)中遇到的問(wèn)題并不是那么容易，這涉及到硬件設(shè)計(jì)、操作系統(tǒng)優(yōu)化和應(yīng)用程序調(diào)度等多方面的技術(shù)和策略，下面是一些常見的解決方案：

內(nèi)存親和性

內(nèi)存親和性(memory affinity)是一種讓程序盡可能訪問(wèn)本地內(nèi)存的技術(shù)。這主要有賴于操作系統(tǒng)，它可以通過(guò)調(diào)度策略，讓線程或進(jìn)程在訪問(wèn)數(shù)據(jù)時(shí)，優(yōu)先訪問(wèn)它們所在的CPU節(jié)點(diǎn)的內(nèi)存。這樣可以減少訪問(wèn)遠(yuǎn)程內(nèi)存的次數(shù)，提高程序的運(yùn)行效率。

這還有賴于操作系統(tǒng)的智能內(nèi)存管理機(jī)制。例如，Linux操作系統(tǒng)中的自動(dòng)NUMA平衡功能，可以自動(dòng)監(jiān)控程序的內(nèi)存訪問(wèn)模式，并在需要時(shí)將數(shù)據(jù)遷移到更接近的節(jié)點(diǎn)，以減少訪問(wèn)遠(yuǎn)程內(nèi)存的開銷。

高速互連技術(shù)

有時(shí)候跨節(jié)點(diǎn)訪問(wèn)內(nèi)存不可避免，為了盡量提高和穩(wěn)定訪問(wèn)速度，CPU廠商們?cè)谛⌒〉墓杵细愠隽撕芏嘈』印?/span>

在多核CPU中，一些核心可能會(huì)共享一級(jí)或二級(jí)緩存。操作系統(tǒng)可以將需要頻繁通信的線程調(diào)度到共享緩存的核心上，可以提高數(shù)據(jù)訪問(wèn)的效率。

在大型的NUMA系統(tǒng)中，可能會(huì)有很多個(gè)處理器和內(nèi)存節(jié)點(diǎn)。為了更好地管理這些資源，設(shè)計(jì)者們將相鄰的或者性能相似的節(jié)點(diǎn)組織在一起，形成一個(gè)子NUMA群組。每個(gè)群組內(nèi)部的節(jié)點(diǎn)可以高速互連，而群組之間的連接可能會(huì)相對(duì)較慢。在應(yīng)用程序設(shè)計(jì)和系統(tǒng)調(diào)度方面，我們可以將這些群組作為調(diào)度和內(nèi)存分配的單位，以便更好地控制內(nèi)存訪問(wèn)的性能。

為了提高處理器內(nèi)部或處理器之間的訪問(wèn)速度，CPU廠商們搞出了一些高速互聯(lián)技術(shù)，比如AMD的Infinity Fabric和Intel的Ultra Path Interconnect（UPI），它們可以提供更高的帶寬和更低的延遲，提高了數(shù)據(jù)在節(jié)點(diǎn)之間的傳輸效率。

軟硬件兼容

為了充分利用NUMA的優(yōu)勢(shì)，硬件、操作系統(tǒng)和應(yīng)用程序需要進(jìn)行相應(yīng)的優(yōu)化。硬件制造商需要提供支持NUMA的硬件，并提供相應(yīng)的驅(qū)動(dòng)程序。

操作系統(tǒng)依賴這些驅(qū)動(dòng)程序，然后能夠識(shí)別和管理NUMA硬件，并提供相應(yīng)的API供應(yīng)用程序使用。比如Linux提供了numactl工具和libnuma庫(kù)，可以用來(lái)設(shè)置內(nèi)存親和性。

應(yīng)用程序開發(fā)者則需要了解NUMA架構(gòu)，并使用正確的API和算法，以確保程序在NUMA系統(tǒng)上的性能。

比如在多線程環(huán)境中，如果兩個(gè)或更多的線程在同一個(gè)緩存行中的不同位置讀寫數(shù)據(jù)，一個(gè)線程寫數(shù)據(jù)就可能導(dǎo)致另一個(gè)線程需要讀取的數(shù)據(jù)在緩存中失效，從而導(dǎo)致很慢的內(nèi)存讀取。這就需要在編程時(shí)注意：盡量讓同一緩存行中的數(shù)據(jù)被同一個(gè)線程訪問(wèn)，或者是通過(guò)內(nèi)存對(duì)齊和填充，使得同一緩存行中的數(shù)據(jù)不會(huì)被多個(gè)線程同時(shí)訪問(wèn)。

一些高性能的程序都會(huì)考慮這方面的問(wèn)題，比如Java中的Disruptor異步處理庫(kù)，Disruptor在每個(gè)事件處理器的序列號(hào)周圍填充了一些無(wú)用的數(shù)據(jù)，使得每個(gè)事件處理器的序列號(hào)都獨(dú)占一個(gè)緩存行。這樣，即使多個(gè)事件處理器在并發(fā)地更新自己的序列號(hào)，也不會(huì)影響到其他事件處理器的緩存行。

總的來(lái)說(shuō)，解決NUMA架構(gòu)中的問(wèn)題需要硬件、操作系統(tǒng)和應(yīng)用程序的配合。通過(guò)正確的設(shè)計(jì)和優(yōu)化，可以充分利用NUMA的優(yōu)勢(shì)，提高多處理器系統(tǒng)的性能。

應(yīng)用案例

再舉兩個(gè)例子。

數(shù)據(jù)庫(kù)應(yīng)用

在數(shù)據(jù)庫(kù)應(yīng)用中，我們可以利用NUMA的特點(diǎn)進(jìn)行優(yōu)化。例如，我們可以將數(shù)據(jù)庫(kù)的表分區(qū)，并將不同的分區(qū)分配到不同的NUMA節(jié)點(diǎn)。這樣，當(dāng)多個(gè)查詢同時(shí)運(yùn)行時(shí)，它們可以在不同的節(jié)點(diǎn)上并行執(zhí)行，互不干擾，從而提高了查詢的性能。

高性能計(jì)算

在高性能計(jì)算應(yīng)用中，我們可以將并行的任務(wù)分配到不同的NUMA節(jié)點(diǎn)上。這樣，每個(gè)任務(wù)可以在本地內(nèi)存中訪問(wèn)數(shù)據(jù)，避免了訪問(wèn)遠(yuǎn)程內(nèi)存的開銷，從而提高了計(jì)算的效率。

通過(guò)這些例子可以看到一個(gè)基本原則：在NUMA架構(gòu)中，我們應(yīng)該盡可能讓任務(wù)在本地內(nèi)存中訪問(wèn)數(shù)據(jù)，以避免訪問(wèn)遠(yuǎn)程內(nèi)存的開銷。通過(guò)合理的任務(wù)調(diào)度和數(shù)據(jù)分布策略，我們可以充分利用NUMA的優(yōu)勢(shì)，提高程序的性能。