本文介紹操作系統(tǒng)和底層硬件給本機(jī)內(nèi)存帶來(lái)的限制。

硬件限制

本機(jī)進(jìn)程遇到的許多限制都是由硬件造成的，而與操作系統(tǒng)沒(méi)有關(guān)系。每臺(tái)計(jì)算機(jī)都有一個(gè)處理器和一些隨機(jī)存取存儲(chǔ)器（RAM），后者也稱為物理內(nèi)存。處理器將數(shù)據(jù)流解釋為要執(zhí)行的指令，它擁有一個(gè)或多個(gè)處理單元，用于執(zhí)行整數(shù)和浮點(diǎn)運(yùn)算以及更高級(jí)的計(jì)算。處理器具有許多寄存器 —— 常快速的內(nèi)存元素，用作被執(zhí)行的計(jì)算的工作存儲(chǔ)，寄存器大小決定了一次計(jì)算可使用的***數(shù)值。

處理器通過(guò)內(nèi)存總線連接到物理內(nèi)存。物理地址（處理器用于索引物理 RAM 的地址）的大小限制了可以尋址的內(nèi)存。例如，一個(gè) 16 位物理地址可以尋址 0x0000 到 0xFFFF 的內(nèi)存地址，這個(gè)地址范圍包括 2^16 = 65536 個(gè)惟一的內(nèi)存位置。如果每個(gè)地址引用一個(gè)存儲(chǔ)字節(jié)，那么一個(gè) 16 位物理地址將允許處理器尋址 64KB 內(nèi)存。

處理器被描述為特定數(shù)量的數(shù)據(jù)位。這通常指的是寄存器大小，但是也存在例外，比如 32 位 390 指的是物理地址大小。對(duì)于桌面和服務(wù)器平臺(tái)，這個(gè)數(shù)字為 31、32 或 64；對(duì)于嵌入式設(shè)備和微處理器，這個(gè)數(shù)字可能小至 4。物理地址大小可以與寄存器帶寬一樣大，也可以比它大或小。如果在適當(dāng)?shù)牟僮飨到y(tǒng)上運(yùn)行，大部分 64 位處理器可以運(yùn)行 32 位程序。

表 1 列出了一些流行的 Linux 和 Windows 架構(gòu)，以及它們的寄存器和物理地址大小：

操作系統(tǒng)和虛擬內(nèi)存

如果您編寫(xiě)無(wú)需操作系統(tǒng)，直接在處理器上運(yùn)行的應(yīng)用程序，您可以使用處理器可以尋址的所有內(nèi)存（假設(shè)連接到了足夠的物理 RAM）。但是要使用多任務(wù)和硬件抽象等特性，幾乎所有人都會(huì)使用某種類型的操作系統(tǒng)來(lái)運(yùn)行他們的程序。

在 Windows 和 Linux 等多任務(wù)操作系統(tǒng)中，有多個(gè)程序在使用系統(tǒng)資源。需要為每個(gè)程序分配物理內(nèi)存區(qū)域來(lái)在其中運(yùn)行。可以設(shè)計(jì)這樣一個(gè)操作系統(tǒng)：每個(gè)程序直接使用物理內(nèi)存，并且可以可靠地僅使用分配給它的內(nèi)存。一些嵌入式操作系統(tǒng)以這種方式工作，但是這在包含多個(gè)未經(jīng)過(guò)集中測(cè)試的應(yīng)用程序的環(huán)境中是不切實(shí)際的，因?yàn)槿魏纬绦蚨伎赡芷茐钠渌绦蚧蛘卟僮飨到y(tǒng)本身的內(nèi)存。

虛擬內(nèi)存 允許多個(gè)進(jìn)程共享物理內(nèi)存，而且不會(huì)破壞彼此的數(shù)據(jù)。在具有虛擬內(nèi)存的操作系統(tǒng)（比如 Windows、Linux 和許多其他操作系統(tǒng)）中，每個(gè)程序都擁有自己的虛擬地址空間 —— 一個(gè)邏輯地址區(qū)域，其大小由該系統(tǒng)上的地址大小規(guī)定（所以，桌面和服務(wù)器平臺(tái)的虛擬地址空間為 31、32 或 64 位）。進(jìn)程的虛擬地址空間中的區(qū)域可被映射到物理內(nèi)存、文件或任何其他可尋址存儲(chǔ)。當(dāng)數(shù)據(jù)未使用時(shí)，操作系統(tǒng)可以在物理內(nèi)存與一個(gè)交換區(qū)域（Windows 上的頁(yè)面文件 或者 Linux 上的交換分區(qū)）之間移動(dòng)它，以實(shí)現(xiàn)對(duì)物理內(nèi)存的***利用率。當(dāng)一個(gè)程序嘗試使用虛擬地址訪問(wèn)內(nèi)存時(shí)，操作系統(tǒng)連同片上硬件會(huì)將該虛擬地址映射到物理位置，這個(gè)位置可以是物理 RAM、一個(gè)文件或頁(yè)面文件/交換分區(qū)。如果一個(gè)內(nèi)存區(qū)域被移動(dòng)到交換空間，那么它將在被使用之前加載回物理內(nèi)存中。圖 1 展示了虛擬內(nèi)存如何將進(jìn)程地址空間區(qū)域映射到共享資源：

程序的每個(gè)實(shí)例以進(jìn)程 的形式運(yùn)行。在 Linux 和 Windows 上，進(jìn)程是一個(gè)由受操作系統(tǒng)控制的資源（比如文件和套接字信息）、一個(gè)典型的虛擬地址空間（在某些架構(gòu)上不止一個(gè)）和至少一個(gè)執(zhí)行線程構(gòu)成的集合。

虛擬地址空間大小可能比處理器的物理地址大小更小。32 位 Intel x86 最初擁有的 32 位物理地址僅允許處理器尋址 4GB 存儲(chǔ)空間。后來(lái)，添加了一種稱為物理地址擴(kuò)展（Physical Address Extension，PAE）的特性，將物理地址大小擴(kuò)大到了 36 位，允許安裝或?qū)ぶ分炼?64GB RAM。PAE 允許操作系統(tǒng)將 32 位的 4GB 虛擬地址空間映射到一個(gè)較大的物理地址范圍，但是它不允許每個(gè)進(jìn)程擁有 64GB 虛擬地址空間。這意味著如果您將大于 4GB 的內(nèi)存放入 32 位 Intel 服務(wù)器中，您將無(wú)法將所有內(nèi)存直接映射到一個(gè)單一進(jìn)程中。

地址窗口擴(kuò)展（Address Windowing Extension）特性允許 Windows 進(jìn)程將其 32 位地址空間的一部分作為滑動(dòng)窗口映射到較大的內(nèi)存區(qū)域中。Linux 使用類似的技術(shù)將內(nèi)存區(qū)域映射到虛擬地址空間中。這意味著盡管您無(wú)法直接引用大于 4GB 的內(nèi)存，但您仍然可以使用較大的內(nèi)存區(qū)域。

內(nèi)核空間和用戶空間

盡管每個(gè)進(jìn)程都有其自己的地址空間，但程序通常無(wú)法使用所有這些空間。地址空間被劃分為用戶空間 和內(nèi)核空間。內(nèi)核是主要的操作系統(tǒng)程序，包含用于連接計(jì)算機(jī)硬件、調(diào)度程序以及提供聯(lián)網(wǎng)和虛擬內(nèi)存等服務(wù)的邏輯。

作為計(jì)算機(jī)啟動(dòng)序列的一部分，操作系統(tǒng)內(nèi)核運(yùn)行并初始化硬件。一旦內(nèi)核配置了硬件及其自己的內(nèi)部狀態(tài)，***個(gè)用戶空間進(jìn)程就會(huì)啟動(dòng)。如果用戶程序需要來(lái)自操作系統(tǒng)的服務(wù)，它可以執(zhí)行一種稱為系統(tǒng)調(diào)用 的操作與內(nèi)核程序交互，內(nèi)核程序然后執(zhí)行該請(qǐng)求。系統(tǒng)調(diào)用通常是讀取和寫(xiě)入文件、聯(lián)網(wǎng)和啟動(dòng)新進(jìn)程等操作所必需的。

當(dāng)執(zhí)行系統(tǒng)調(diào)用時(shí)，內(nèi)核需要訪問(wèn)其自己的內(nèi)存和調(diào)用進(jìn)程的內(nèi)存。因?yàn)檎趫?zhí)行當(dāng)前線程的處理器被配置為使用地址空間映射來(lái)為當(dāng)前進(jìn)程映射虛擬地址，所以大部分操作系統(tǒng)將每個(gè)進(jìn)程地址空間的一部分映射到一個(gè)通用的內(nèi)核內(nèi)存區(qū)域。被映射來(lái)供內(nèi)核使用的地址空間部分稱為內(nèi)核空間，其余部分稱為用戶空間，可供用戶應(yīng)用程序使用。

內(nèi)核空間和用戶空間之間的平衡關(guān)系因操作系統(tǒng)的不同而不同，甚至在運(yùn)行于不同硬件架構(gòu)之上的同一操作系統(tǒng)的各個(gè)實(shí)例間也有所不同。這種平衡通常是可配置的，可進(jìn)行調(diào)整來(lái)為用戶應(yīng)用程序或內(nèi)核提供更多空間。縮減內(nèi)核區(qū)域可能導(dǎo)致一些問(wèn)題，比如能夠同時(shí)登錄的用戶數(shù)量限制或能夠運(yùn)行的進(jìn)程數(shù)量限制。更小的用戶空間意味著應(yīng)用程序編程人員只能使用更少的內(nèi)存空間。

默認(rèn)情況下，32 位 Windows 擁有 2GB 用戶空間和 2GB 內(nèi)核空間。在一些 Windows 版本上，通過(guò)向啟動(dòng)配置添加 /3GB 開(kāi)關(guān)并使用 /LARGEADDRESSAWARE 開(kāi)關(guān)重新鏈接應(yīng)用程序，可以將這種平衡調(diào)整為 3GB 用戶空間和 1GB 內(nèi)核空間。在 32 位 Linux 上，默認(rèn)設(shè)置為 3GB 用戶空間和 1GB 內(nèi)核空間。一些 Linux 分發(fā)版提供了一個(gè) hugemem 內(nèi)核，支持 4GB 用戶空間。為了實(shí)現(xiàn)這種配置，將進(jìn)行系統(tǒng)調(diào)用時(shí)使用的地址空間分配給內(nèi)核。通過(guò)這種方式增加用戶空間會(huì)減慢系統(tǒng)調(diào)用，因?yàn)槊看芜M(jìn)行系統(tǒng)調(diào)用時(shí)，操作系統(tǒng)必須在地址空間之間復(fù)制數(shù)據(jù)并重置進(jìn)程地址-空間映射。圖 2 展示了 32 位 Windows 的地址-空間布局：

圖 3 顯示了 32 位 Linux 的地址-空間配置：

31 位 Linux 390 上還使用了一個(gè)獨(dú)立的內(nèi)核地址空間，其中較小的 2GB 地址空間使對(duì)單個(gè)地址空間進(jìn)行劃分不太合理，但是，390 架構(gòu)可以同時(shí)使用多個(gè)地址空間，而且不會(huì)降低性能。

進(jìn)程空間必須包含程序需要的所有內(nèi)容，包括程序本身和它使用的共享庫(kù)（在 Windows 上為 DDL，在 Linux 上為 .so 文件）。共享庫(kù)不僅會(huì)占據(jù)空間，使程序無(wú)法在其中存儲(chǔ)數(shù)據(jù)，它們還會(huì)使地址空間碎片化，減少可作為連續(xù)內(nèi)存塊分配的內(nèi)存。這對(duì)于在擁有 3GB 用戶空間的 Windows x86 上運(yùn)行的程序尤為明顯。DLL 在構(gòu)建時(shí)設(shè)置了***的加載地址：當(dāng)加載 DLL 時(shí)，它被映射到處于特定位置的地址空間，除非該位置已經(jīng)被占用，在這種情況下，它會(huì)加載到別處。Windows NT 最初設(shè)計(jì)時(shí)設(shè)置了 2GB 可用用戶空間，這對(duì)于要構(gòu)建來(lái)加載接近 2GB 區(qū)域的系統(tǒng)庫(kù)很有用 —— 使大部分用戶區(qū)域都可供應(yīng)用程序自由使用。當(dāng)用戶區(qū)域擴(kuò)展到 3GB 時(shí)，系統(tǒng)共享庫(kù)仍然加載接近 2GB 數(shù)據(jù)（約為用戶空間的一半）。盡管總體用戶空間為 3GB，但是不可能分配 3GB 大的內(nèi)存塊，因?yàn)楣蚕韼?kù)無(wú)法加載這么大的內(nèi)存。

在 Windows 中使用 /3GB 開(kāi)關(guān)，可以將內(nèi)核空間減少一半，也就是最初設(shè)計(jì)的大小。在一些情形下，可能耗盡 1GB 內(nèi)核空間，使 I/O 變得緩慢，且無(wú)法正常創(chuàng)建新的用戶會(huì)話。盡管 /3GB 開(kāi)關(guān)可能對(duì)一些應(yīng)用程序非常有用，但任何使用它的環(huán)境在部署之前都應(yīng)該進(jìn)行徹底的負(fù)載測(cè)試。

本機(jī)內(nèi)存泄漏或過(guò)度使用本機(jī)內(nèi)存將導(dǎo)致不同的問(wèn)題，具體取決于您是耗盡了地址空間還是用完了物理內(nèi)存。耗盡地址空間通常只會(huì)發(fā)生在 32 位進(jìn)程上，因?yàn)?** 4GB 的內(nèi)存很容易分配完。64 位進(jìn)程具有數(shù)百或數(shù)千 GB 的用戶空間，即使您特意消耗空間也很難耗盡這么大的空間。如果您確實(shí)耗盡了 Java 進(jìn)程的地址空間，那么 Java 運(yùn)行時(shí)可能會(huì)出現(xiàn)一些陌生現(xiàn)象，本文稍后將詳細(xì)討論。當(dāng)在進(jìn)程地址空間比物理內(nèi)存大的系統(tǒng)上運(yùn)行時(shí)，內(nèi)存泄漏或過(guò)度使用本機(jī)內(nèi)存會(huì)迫使操作系統(tǒng)交換后備存儲(chǔ)器來(lái)用作本機(jī)進(jìn)程的虛擬地址空間。訪問(wèn)經(jīng)過(guò)交換的內(nèi)存地址比讀取駐留（在物理內(nèi)存中）的地址慢得多，因?yàn)椴僮飨到y(tǒng)必須從硬盤驅(qū)動(dòng)器拉取數(shù)據(jù)。可能會(huì)分配大量?jī)?nèi)存來(lái)用完所有物理內(nèi)存和所有交換內(nèi)存（頁(yè)面空間），在 Linux 上，這將觸發(fā)內(nèi)核內(nèi)存不足（OOM）結(jié)束程序，強(qiáng)制結(jié)束最消耗內(nèi)存的進(jìn)程。在 Windows 上，與地址空間被占滿時(shí)一樣，內(nèi)存分配將會(huì)失敗。

同時(shí)，如果嘗試使用比物理內(nèi)存大的虛擬內(nèi)存，顯然在進(jìn)程由于消耗內(nèi)存太大而被結(jié)束之前就會(huì)遇到問(wèn)題。系統(tǒng)將變得異常緩慢，因?yàn)樗鼤?huì)將大部分時(shí)間用于在內(nèi)存與交換空間之間來(lái)回復(fù)制數(shù)據(jù)。當(dāng)發(fā)生這種情況時(shí)，計(jì)算機(jī)和獨(dú)立應(yīng)用程序的性能將變得非常糟糕，從而使用戶意識(shí)到出現(xiàn)了問(wèn)題。當(dāng) JVM 的 Java 堆被交換出來(lái)時(shí)，垃圾收集器的性能會(huì)變得非常差，應(yīng)用程序可能被掛起。如果一臺(tái)機(jī)器上同時(shí)使用了多個(gè) Java 運(yùn)行時(shí)，那么物理內(nèi)存必須足夠分配給所有 Java 堆。

【編輯推薦】

1. Java 理論與實(shí)踐: 用弱引用堵住內(nèi)存泄漏
2. Java內(nèi)存泄漏的檢測(cè)和處理
3. 幾種典型的Java內(nèi)存泄漏
4. 詳細(xì)介紹Java的內(nèi)存管理與內(nèi)存泄露
5. Java程序性能優(yōu)化之找出內(nèi)存溢出元兇