1. SMP(Symmetric Multi-Processor)

SMP (Symmetric Multi Processing),對稱多處理系統內有許多緊耦合多處理器，在這樣的系統中，所有的CPU共享全部資源，如總線，內存和I/O系統等，操作系統或管理數據庫的復本只有一個，這種系統有一個最大的特點就是共享所有資源。多個CPU之間沒有區別，平等地訪問內存、外設、一個操作系統。操作系統管理著一個隊列，每個處理器依次處理隊列中的進程。如果兩個處理器同時請求訪問一個資源（例如同一段內存地址），由硬件、軟件的鎖機制去解決資源爭用問題。Access to RAM is serialized; this and cache coherency issues causes performance to lag slightly behind the number of additional processors in the system.

所謂對稱多處理器結構，是指服務器中多個 CPU 對稱工作，無主次或從屬關系。各 CPU 共享相同的物理內存，每個 CPU 訪問內存中的任何地址所需時間是相同的，因此 SMP 也被稱為一致存儲器訪問結構 (UMA ：Uniform Memory Access) 。對 SMP 服務器進行擴展的方式包括增加內存、使用更快的 CPU 、增加 CPU 、擴充 I/O( 槽口數與總線數 ) 以及添加更多的外部設備 ( 通常是磁盤存儲 ) 。

SMP 服務器的主要特征是共享，系統中所有資源 (CPU 、內存、 I/O 等 ) 都是共享的。也正是由于這種特征，導致了 SMP 服務器的主要問題，那就是它的擴展能力非常有限。對于 SMP 服務器而言，每一個共享的環節都可能造成 SMP 服務器擴展時的瓶頸，而最受限制的則是內存。由于每個 CPU 必須通過相同的內存總線訪問相同的內存資源，因此隨著 CPU 數量的增加，內存訪問沖突將迅速增加，最終會造成 CPU 資源的浪費，使 CPU 性能的有效性大大降低。實驗證明， SMP 服務器 CPU 利用率最好的情況是 2 至 4 個 CPU 。

圖1. SMP 服務器 CPU 利用率狀態

8路服務器是服務器產業的分水嶺。因為4路及以下服務器都采用SMP架構(Symmetric Multi-Processor，對稱多處理結構)，實驗證明，SMP服務器CPU利用率最好的情況是2至4個CPU。8是這種架構支持的處理器數量的極限，要支持8顆以上的處理器須采用另外的NUMA架構(Non-Uniform Memory Access，非一致性內存訪問)。利用NUMA技術，可以較好地解決原來SMP系統的擴展問題，在一個物理服務器內可以支持上百個CPU。

2. NUMA(Non-Uniform Memory Access)

由于 SMP 在擴展能力上的限制，人們開始探究如何進行有效地擴展從而構建大型系統的技術， NUMA 就是這種努力下的結果之一。利用 NUMA 技術，可以把幾十個 CPU( 甚至上百個 CPU) 組合在一個服務器內。其 CPU 模塊結構如圖 2 所示：

圖2. NUMA 服務器 CPU 模塊結構

NUMA 服務器的基本特征是具有多個 CPU 模塊，每個 CPU 模塊由多個 CPU( 如 4 個 ) 組成，并且具有獨立的本地內存、 I/O 槽口等。由于其節點之間可以通過互聯模塊 ( 如稱為 Crossbar Switch) 進行連接和信息交互，因此每個 CPU 可以訪問整個系統的內存 ( 這是 NUMA 系統與 MPP 系統的重要差別 ) 。顯然，訪問本地內存的速度將遠遠高于訪問遠地內存 ( 系統內其它節點的內存 ) 的速度，這也是非一致存儲訪問 NUMA 的由來。由于這個特點，為了更好地發揮系統性能，開發應用程序時需要盡量減少不同 CPU 模塊之間的信息交互。

利用 NUMA 技術，可以較好地解決原來 SMP 系統的擴展問題，在一個物理服務器內可以支持上百個 CPU 。比較典型的 NUMA 服務器的例子包括 HP 的 Superdome 、 SUN15K 、 IBMp690 等。

但 NUMA 技術同樣有一定缺陷，由于訪問遠地內存的延時遠遠超過本地內存，因此當 CPU 數量增加時，系統性能無法線性增加。如 HP 公司發布 Superdome 服務器時，曾公布了它與 HP 其它 UNIX 服務器的相對性能值，結果發現， 64 路 CPU 的 Superdome (NUMA 結構 ) 的相對性能值是 20 ，而 8 路 N4000( 共享的 SMP 結構 ) 的相對性能值是 6.3 。從這個結果可以看到， 8 倍數量的 CPU 換來的只是 3 倍性能的提升。

2008年intel發布了Nehalem構架處理器，CPU內集成了內存控制器。當多CPU時任何一顆CPU都能訪問全部內存。但CPU0訪問本地內存(CPU0控制器直接控制的內存)消耗小，CPU0訪問遠地內存(CPU1內存控制器控制的內存)消耗大，NUMA功能的開啟變成了必須了。

默認的NUMA功能是將計算和內存資源分配在一個NUMA內，有可能導致SWAP問題，即：NUMA0內存已經用完都開始用SWAP空間了，NUMA1還有很大的內存free。在數據庫服務器上NUMA可能導致非常嚴重的性能問題，甚至有很多數據庫死機的問題。就下圖這個熊樣。

在虛擬化情況下，KVM虛機的CPU數量盡量不超過一個NUMA區域內的CPU數量，如果超過，則會出現一個KVM虛機使用了兩個NUMA的情況，導致CPU等待內存時間過長，系統性能下降，此時需要手動調整KVM的配置才可以提高性能。

• Ubuntu 12.02自身帶有Automatic NUMA balancing，可以支持NUMA自平衡，具體情況未測試。SUSE12也支持Automatic NUMA balancing
• JUNO版的Openstack中，KVM的CPU的拓撲可以通過image或者flavor進行元數據傳遞來定義，如果沒有特別的定義此類元數據，則模擬的CPU將是多Socket單Core單NUMA節點的CPU，這樣的CPU與物理CPU完全不同。

上面是KVM。Vmware ESX 5.0及之后的版本支持一種叫做vNUMA的特性，它將Host的NUMA特征暴露給了GuestOS，從而使得Guest OS可以根據NUMA特征進行更高性能的調度。

• CPU的熱添加功能不支持vNUMA功能。
• vmotion等功能一旦將vmware虛機遷移，則可能導致vNUMA失效，帶來嚴重的性能降低。所以在ESXi中保持物理服務器的一致性是有必要的。

中國第一臺自主研發的，可支持32可處理器的高端服務器浪潮天梭K1，發布于2013年1月，系統可用性達到99.9994%，同時，我國也成為了時間上第三個掌握該技術的國家。

3. MPP(Massive Parallel Processing)

和 NUMA 不同， MPP 提供了另外一種進行系統擴展的方式，它由多個 SMP 服務器通過一定的節點互聯網絡進行連接，協同工作，完成相同的任務，從用戶的角度來看是一個服務器系統。其基本特征是由多個 SMP 服務器 ( 每個 SMP 服務器稱節點 ) 通過節點互聯網絡連接而成，每個節點只訪問自己的本地資源 ( 內存、存儲等 ) ，是一種完全無共享 (Share Nothing) 結構，因而擴展能力最好，理論上其擴展無限制，目前的技術可實現 512 個節點互聯，數千個 CPU 。目前業界對節點互聯網絡暫無標準，如 NCR 的 Bynet ， IBM 的 SPSwitch ，它們都采用了不同的內部實現機制。但節點互聯網僅供 MPP 服務器內部使用，對用戶而言是透明的。

在 MPP 系統中，每個 SMP 節點也可以運行自己的操作系統、數據庫等。但和 NUMA 不同的是，它不存在異地內存訪問的問題。換言之，每個節點內的 CPU 不能訪問另一個節點的內存。節點之間的信息交互是通過節點互聯網絡實現的，這個過程一般稱為數據重分配 (Data Redistribution) 。

但是 MPP 服務器需要一種復雜的機制來調度和平衡各個節點的負載和并行處理過程。目前一些基于 MPP 技術的服務器往往通過系統級軟件 ( 如數據庫 ) 來屏蔽這種復雜性。舉例來說， NCR 的 Teradata 就是基于 MPP 技術的一個關系數據庫軟件，基于此數據庫來開發應用時，不管后臺服務器由多少個節點組成，開發人員所面對的都是同一個數據庫系統，而不需要考慮如何調度其中某幾個節點的負載。

MPP (Massively Parallel Processing)，大規模并行處理系統，這樣的系統是由許多松耦合的處理單元組成的，要注意的是這里指的是處理單元而不是處理器。每個單元內的CPU都有自己私有的資源，如總線，內存，硬盤等。在每個單元內都有操作系統和管理數據庫的實例復本。這種結構最大的特點在于不共享資源。

4. 三種體系架構之間的差異

4.1 SMP系統與MPP系統比較

既然有兩種結構，那它們各有什么特點呢？采用什么結構比較合適呢？通常情況下，MPP系統因為要在不同處理單元之間傳送信息（請注意上圖），所以它的效率要比SMP要差一點，但是這也不是絕對的，因為MPP系統不共享資源，因此對它而言，資源比SMP要多，當需要處理的事務達到一定規模時，MPP的效率要比SMP好。這就是看通信時間占用計算時間的比例而定，如果通信時間比較多，那MPP系統就不占優勢了，相反，如果通信時間比較少，那MPP系統可以充分發揮資源的優勢，達到高效率。當前使用的OTLP程序中，用戶訪問一個中心數據庫，如果采用SMP系統結構，它的效率要比采用MPP結構要快得多。而MPP系統在決策支持和數據挖掘方面顯示了優勢，可以這樣說，如果操作相互之間沒有什么關系，處理單元之間需要進行的通信比較少，那采用MPP系統就要好，相反就不合適了。

通過上面兩個圖我們可以看到，對于SMP來說，制約它速度的一個關鍵因素就是那個共享的總線，因此對于DSS程序來說，只能選擇MPP，而不能選擇SMP，當大型程序的處理要求大于共享總線時，總線就沒有能力進行處理了，這時SMP系統就不行了。當然了，兩個結構互有優缺點，如果能夠將兩種結合起來取長補短，當然最好了。

4.2 NUMA 與 MPP 的區別

從架構來看， NUMA 與 MPP 具有許多相似之處：它們都由多個節點組成，每個節點都具有自己的 CPU 、內存、 I/O ，節點之間都可以通過節點互聯機制進行信息交互。那么它們的區別在哪里？通過分析下面 NUMA 和 MPP 服務器的內部架構和工作原理不難發現其差異所在。

首先是節點互聯機制不同， NUMA 的節點互聯機制是在同一個物理服務器內部實現的，當某個 CPU 需要進行遠地內存訪問時，它必須等待，這也是 NUMA 服務器無法實現 CPU 增加時性能線性擴展的主要原因。而 MPP 的節點互聯機制是在不同的 SMP 服務器外部通過 I/O 實現的，每個節點只訪問本地內存和存儲，節點之間的信息交互與節點本身的處理是并行進行的。因此 MPP 在增加節點時性能基本上可以實現線性擴展。

其次是內存訪問機制不同。在 NUMA 服務器內部，任何一個 CPU 可以訪問整個系統的內存，但遠地訪問的性能遠遠低于本地內存訪問，因此在開發應用程序時應該盡量避免遠地內存訪問。在 MPP 服務器中，每個節點只訪問本地內存，不存在遠地內存訪問的問題。

圖3.MPP 服務器架構圖

數據倉庫的選擇

哪種服務器更加適應數據倉庫環境？這需要從數據倉庫環境本身的負載特征入手。眾所周知，典型的數據倉庫環境具有大量復雜的數據處理和綜合分析，要求系統具有很高的 I/O 處理能力，并且存儲系統需要提供足夠的 I/O 帶寬與之匹配。而一個典型的 OLTP 系統則以聯機事務處理為主，每個交易所涉及的數據不多，要求系統具有很高的事務處理能力，能夠在單位時間里處理盡量多的交易。顯然這兩種應用環境的負載特征完全不同。

從 NUMA 架構來看，它可以在一個物理服務器內集成許多 CPU ，使系統具有較高的事務處理能力，由于遠地內存訪問時延遠長于本地內存訪問，因此需要盡量減少不同 CPU 模塊之間的數據交互。顯然， NUMA 架構更適用于 OLTP 事務處理環境，當用于數據倉庫環境時，由于大量復雜的數據處理必然導致大量的數據交互，將使 CPU 的利用率大大降低。

相對而言， MPP 服務器架構的并行處理能力更優越，更適合于復雜的數據綜合分析與處理環境。當然，它需要借助于支持 MPP 技術的關系數據庫系統來屏蔽節點之間負載平衡與調度的復雜性。另外，這種并行處理能力也與節點互聯網絡有很大的關系。顯然，適應于數據倉庫環境的 MPP 服務器，其節點互聯網絡的 I/O 性能應該非常突出，才能充分發揮整個系統的性能。

4.3 NUMA、MPP、SMP 之間性能的區別

NUMA的節點互聯機制是在同一個物理服務器內部實現的，當某個CPU需要進行遠地內存訪問時，它必須等待，這也是NUMA服務器無法實現CPU增加時性能線性擴展。

MPP的節點互聯機制是在不同的SMP服務器外部通過I/O實現的，每個節點只訪問本地內存和存儲，節點之間的信息交互與節點本身的處理是并行進行的。因此MPP在增加節點時性能基本上可以實現線性擴展。

SMP所有的CPU資源是共享的，因此完全實現線性擴展。

4.4 NUMA、MPP、SMP之間擴展的區別

NUMA理論上可以無限擴展，目前技術比較成熟的能夠支持上百個CPU進行擴展。如HP的SUPERDOME。

MPP理論上也可以實現無限擴展，目前技術比較成熟的能夠支持512個節點，數千個CPU進行擴展。

SMP擴展能力很差，目前2個到4個CPU的利用率最好，但是IBM的BOOK技術，能夠將CPU擴展到8個。

MPP是由多個SMP構成，多個SMP服務器通過一定的節點互聯網絡進行連接，協同工作，完成相同的任務。

4.5 MPP 和 SMP、NUMA 應用之間的區別

• MPP 的優勢：

MPP系統不共享資源，因此對它而言，資源比SMP要多，當需要處理的事務達到一定規模時，MPP的效率要比SMP好。由于MPP系統因為要在不同處理單元之間傳送信息，在通訊時間少的時候，那MPP系統可以充分發揮資源的優勢，達到高效率。也就是說：操作相互之間沒有什么關系，處理單元之間需要進行的通信比較少，那采用MPP系統就要好。因此，MPP 系統在決策支持和數據挖掘方面顯示了優勢。

• SMP 的優勢：

MPP系統因為要在不同處理單元之間傳送信息，所以它的效率要比SMP要差一點。在通訊時間多的時候，那MPP系統可以充分發揮資源的優勢。因此當前使用的OTLP程序中，用戶訪問一個中心數據庫，如果采用SMP系統結構，它的效率要比采用MPP結構要快得多。

• NUMA 架構的優勢：

NUMA 架構來看，它可以在一個物理服務器內集成許多CPU，使系統具有較高的事務處理能力，由于遠地內存訪問時延遠長于本地內存訪問，因此需要盡量減少不同CPU模塊之間的數據交互。顯然，NUMA架構更適用于OLTP事務處理環境，當用于數據倉庫環境時，由于大量復雜的數據處理必然導致大量的數據交互，將使CPU的利用率大大降低。