八張圖講清楚Mmap實(shí)現(xiàn)原理
大家好，最近在研究Linux內(nèi)核以及Linux系統(tǒng)編程的時(shí)候，經(jīng)常會碰到mmap內(nèi)存映射，mmap函數(shù)是實(shí)現(xiàn)高性能編程的一個(gè)關(guān)鍵點(diǎn)，下面我通過幾張圖詳細(xì)介紹一下mmap實(shí)現(xiàn)原理。
（本文以64位CPU為原型講解）
1.虛擬地址如何映射物理地址？
要了解mmap實(shí)現(xiàn)原理，首先必須了解虛擬地址如何映射物理地址，如果沒掌握這個(gè)知識點(diǎn)，后續(xù)閱讀會有很大的困難，切記！
虛擬地址映射物理地址采用的是頁表機(jī)制，64位CPU采用的是4級頁表。
圖片
64位CPU虛擬地址長度為64位，但實(shí)際只用48位就已滿足虛擬地址映射物理內(nèi)存的要求，如下圖：
圖片
64位CPU地址空間可分為三個(gè)部分：
- 128T用戶空間
- 128T內(nèi)核空間
- 其他：保留空間
用戶空間和內(nèi)核空間共256T，2的48次方剛好為256T，所以48位地址空間能映射所有的虛擬地址。
48位虛擬地址由五部分組成：
- pgd表偏移，四級表，9位
- pud表偏移，三級表，9位
- pmd表偏移，二級表，9位
- ptl表偏移，一級表，9位
- 物理頁偏移，12位
問題1：為什么pgd，pud，pmd，ptl表偏移是9位？
pgd，pud，pmd，ptl表實(shí)現(xiàn)原理都相同，我們以pgd來講解。
一張pgd表對應(yīng)一個(gè)物理頁，一個(gè)物理頁的大小為4KB，一個(gè)pgd_t表項(xiàng)為8個(gè)字節(jié)，一張pgd表能存儲4*1024/8=512個(gè)表項(xiàng)。
2的9次方等于512，所以采用9位的表偏移就能索引整張表的表項(xiàng)。
圖片
問題2：為什么物理頁偏移為12位？
一個(gè)物理頁為4KB，物理頁訪問是單字節(jié)訪問，2的12次方剛好為4KB，所以物理頁偏移為12位。
1.1 虛擬地址映射物理地址過程
虛擬地址映射物理地址需要依次索引pgd，pud，pmd，ptl表，具體過程如下：
- 步驟1：查詢pgd表
查詢pgd表，首先需要找到pgd表物理頁首地址，pgd表物理頁首地址由task_struct->mm_struct->pgd成員保存，每個(gè)進(jìn)程的task_struct->mm_struct->pgd成員數(shù)值不同，所以不同的進(jìn)程即使使用相同的虛擬地址也不會訪問相同到物理地址。
通過pgd表首地址+虛擬地址pgd表偏移索引到pgd_t表項(xiàng)完成pgd表查詢。
- 步驟2：查詢pud表
pgd_t表項(xiàng)存儲的是pud表物理頁首地址。
通過pud表首地址+虛擬地址pud表偏移索引到pud_t表項(xiàng)完成pud表查詢。
- 步驟3：查詢pmd表
pud_t表項(xiàng)存儲的是pmd表物理頁首地址。
通過pmd表首地址+虛擬地址pmd表偏移索引到pmd_t表項(xiàng)完成pmd表查詢。
- 步驟4：查詢ptl表
pmd_t表項(xiàng)存儲的是ptl表物理頁首地址。
通過ptl表首地址+虛擬地址ptl表偏移索引到pte表項(xiàng)完成ptl表查詢。
- 步驟5：映射物理地址
pte表項(xiàng)存儲的是物理頁首地址，pte+虛擬地址物理頁偏移就能定位到物理地址。
注意：定位到物理地址后，虛擬地址映射物理地址的過程就已完成。
思考：64位CPU頁表機(jī)制需要多少張表？
圖片
表的數(shù)量如下：
- pgd表1張，占用內(nèi)存4KB。
- pud表2的9次方張，占用內(nèi)存4KB * 512 = 2MB。
- pmd表2的18次方張，占用內(nèi)存4KB * 512 * 512 = 1GB。
- ptl表2的27次方張，占用內(nèi)存4KB * 512 * 512 * 512 = 512GB。
如果每張表都固定分配一個(gè)物理頁，所有的表占用的內(nèi)存空間已經(jīng)達(dá)到500多GB，這只是一個(gè)進(jìn)程占用的空間，如果有大量的進(jìn)程，占用內(nèi)存就非常恐怖了。
通常情況下，進(jìn)程只會使用很小的內(nèi)存，所以系統(tǒng)不會一下把所有的頁表都創(chuàng)建出來，而是采用動態(tài)分配的方式創(chuàng)建，當(dāng)需要訪問虛擬地址時(shí)，通過缺頁中斷創(chuàng)建虛擬地址對應(yīng)的各個(gè)頁表。
2.mmap實(shí)現(xiàn)原理
mmap函數(shù)是一種內(nèi)存映射文件的方法，它可以將一個(gè)文件或設(shè)備映射到進(jìn)程的地址空間中，使得進(jìn)程可以像訪問內(nèi)存一樣訪問文件或設(shè)備。
mmap可以分為：文件映射和匿名映射。
mmap函數(shù)主要工作就是創(chuàng)建VMA。
2.1 VMA簡介
VMA（Virtual Memory Area，虛擬內(nèi)存區(qū)域）是Linux內(nèi)核中用于管理進(jìn)程虛擬內(nèi)存的數(shù)據(jù)結(jié)構(gòu)。每個(gè)進(jìn)程都有一個(gè)VMA鏈表，用于描述進(jìn)程的虛擬地址空間的不同區(qū)域。
VMA包含了一段連續(xù)的虛擬地址空間，它定義了該區(qū)域的起始地址、結(jié)束地址以及一些屬性信息。VMA可以表示進(jìn)程的代碼段、數(shù)據(jù)段、堆、棧等不同的內(nèi)存區(qū)域。
VMA對應(yīng)Linux內(nèi)核struct vm_area_struct對象。
注意：VMA用于指導(dǎo)虛擬內(nèi)存映射物理內(nèi)存，沒有VMA指導(dǎo)無法完成虛擬地址和物理地址映射。
圖片
struct vm_area_struct結(jié)構(gòu)體主要成員如下：
- vm_start：虛擬內(nèi)存區(qū)域起始地址。
- vm_end：虛擬內(nèi)存區(qū)域結(jié)束地址，vm_end減去vm_start為映射區(qū)域長度。
- vm_page_prot：虛擬內(nèi)存訪問權(quán)限，
PROT_READ：可讀
PROT_WRITE：可寫
PROT_EXEC：可執(zhí)行
- vm_page_flags：內(nèi)存映射標(biāo)志，
MAP_SHARED：共享映射
MAP_PRIVATE：私有映射
- vm_ops：文件映射操作集合，匿名映射為NULL。
- vm_pgoff：文件映射文件偏移量，匿名映射無效。
- vm_file：映射文件，匿名映射為NULL。
3.缺頁中斷
Linux缺頁中斷是指當(dāng)進(jìn)程訪問尚未建立映射關(guān)系的虛擬內(nèi)存時(shí)，系統(tǒng)會觸發(fā)缺頁中斷，并根據(jù)頁面的狀態(tài)來分配物理頁面并建立映射關(guān)系。
通過mmap創(chuàng)建VMA后，我們使用VMA內(nèi)存映射區(qū)虛擬地址，但此時(shí)虛擬地址不能映射物理地址，原因是映射表還沒有動態(tài)創(chuàng)建出來。
圖片
當(dāng)缺頁中斷發(fā)生后，中斷處理函數(shù)會完成虛擬地址至物理地址各映射表創(chuàng)建。
各映射表的創(chuàng)建需要task_struct->mm_struct->pgd和虛擬地址表偏移量共同完成。
完成映射表創(chuàng)建后，還有最后一步工作需要完成，那就是pte創(chuàng)建。
pte該如何創(chuàng)建呢？
我們接著往下看...
4.文件映射
文件映射可以將文件的內(nèi)容映射到進(jìn)程的內(nèi)存空間。
文件映射pte指向文件的物理內(nèi)存頁，文件映射需要VMA指向?qū)?yīng)的文件，由文件來生成物理頁。
圖片
mmap函數(shù)實(shí)現(xiàn)文件映射時(shí)需指定文件fd，文件偏移量，文件映射長度。
內(nèi)核會根據(jù)文件fd，文件偏移量，文件映射長度填充新創(chuàng)建的VMA。
文件映射創(chuàng)建pte時(shí)根據(jù)VMA記錄的文件file，文件偏移量，文件映射長度定位到具體文件以及文件偏移位置，將磁盤文件內(nèi)容拷貝至物理內(nèi)存頁，再將物理內(nèi)存頁轉(zhuǎn)換成pte設(shè)置進(jìn)ptl表。
至此文件映射已完成，就能通過虛擬地址訪問文件物理內(nèi)存頁。
5.匿名映射
圖片
匿名映射相對來說比較簡單，只要在創(chuàng)建pte的時(shí)候，從物理內(nèi)存中申請一個(gè)物理內(nèi)存頁，將物理內(nèi)存頁轉(zhuǎn)換成pte設(shè)置進(jìn)ptl表，就完成匿名映射。
