原來(lái) Mmap 這么簡(jiǎn)單
本文轉(zhuǎn)載自微信公眾號(hào)「Linux內(nèi)核那些事」，作者songsong001 。轉(zhuǎn)載本文請(qǐng)聯(lián)系Linux內(nèi)核那些事公眾號(hào)。
一、傳統(tǒng)的讀寫(xiě)文件
一般來(lái)說(shuō)，修改一個(gè)文件的內(nèi)容需要如下3個(gè)步驟：
- 把文件內(nèi)容讀入到內(nèi)存中。
- 修改內(nèi)存中的內(nèi)容。
- 把內(nèi)存的數(shù)據(jù)寫(xiě)入到文件中。
過(guò)程如圖 1 所示：
如果使用代碼來(lái)實(shí)現(xiàn)上面的過(guò)程，代碼如下：
- read(fd, buf, 1024); // 讀取文件的內(nèi)容到buf
- ... // 修改buf的內(nèi)容
- write(fd, buf, 1024); // 把buf的內(nèi)容寫(xiě)入到文件
從圖 1 中可以看出，頁(yè)緩存(page cache) 是讀寫(xiě)文件時(shí)的中間層，內(nèi)核使用 頁(yè)緩存 與文件的數(shù)據(jù)塊關(guān)聯(lián)起來(lái)。所以應(yīng)用程序讀寫(xiě)文件時(shí)，實(shí)際操作的是 頁(yè)緩存。
二、使用 mmap 讀寫(xiě)文件
從傳統(tǒng)讀寫(xiě)文件的過(guò)程中，我們可以發(fā)現(xiàn)有個(gè)地方可以優(yōu)化：如果可以直接在用戶空間讀寫(xiě) 頁(yè)緩存，那么就可以免去將 頁(yè)緩存 的數(shù)據(jù)復(fù)制到用戶空間緩沖區(qū)的過(guò)程。
那么，有沒(méi)有這樣的技術(shù)能實(shí)現(xiàn)上面所說(shuō)的方式呢?答案是肯定的，就是 mmap。
使用 mmap 系統(tǒng)調(diào)用可以將用戶空間的虛擬內(nèi)存地址與文件進(jìn)行映射(綁定)，對(duì)映射后的虛擬內(nèi)存地址進(jìn)行讀寫(xiě)操作就如同對(duì)文件進(jìn)行讀寫(xiě)操作一樣。原理如圖 2 所示：
前面我們介紹過(guò)，讀寫(xiě)文件都需要經(jīng)過(guò) 頁(yè)緩存，所以 mmap 映射的正是文件的 頁(yè)緩存，而非磁盤(pán)中的文件本身。由于 mmap 映射的是文件的 頁(yè)緩存，所以就涉及到同步的問(wèn)題，即 頁(yè)緩存 會(huì)在什么時(shí)候把數(shù)據(jù)同步到磁盤(pán)。
Linux 內(nèi)核并不會(huì)主動(dòng)把 mmap 映射的 頁(yè)緩存 同步到磁盤(pán)，而是需要用戶主動(dòng)觸發(fā)。同步 mmap 映射的內(nèi)存到磁盤(pán)有 4 個(gè)時(shí)機(jī)：
- 調(diào)用 msync 函數(shù)主動(dòng)進(jìn)行數(shù)據(jù)同步(主動(dòng))。
- 調(diào)用 munmap 函數(shù)對(duì)文件進(jìn)行解除映射關(guān)系時(shí)(主動(dòng))。
- 進(jìn)程退出時(shí)(被動(dòng))。
- 系統(tǒng)關(guān)機(jī)時(shí)(被動(dòng))。
三、mmap的使用方式
下面我們介紹一下怎么使用 mmap，mmap 函數(shù)的原型如下：
- void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset);
下面介紹一下 mmap 函數(shù)的各個(gè)參數(shù)作用：
- addr：指定映射的虛擬內(nèi)存地址，可以設(shè)置為 NULL，讓 Linux 內(nèi)核自動(dòng)選擇合適的虛擬內(nèi)存地址。
- length：映射的長(zhǎng)度。
- prot：映射內(nèi)存的保護(hù)模式，可選值如下：
- PROT_EXEC：可以被執(zhí)行。
- PROT_READ：可以被讀取。
- PROT_WRITE：可以被寫(xiě)入。
- PROT_NONE：不可訪問(wèn)。
- flags：指定映射的類(lèi)型，常用的可選值如下：
- MAP_FIXED：使用指定的起始虛擬內(nèi)存地址進(jìn)行映射。
- MAP_SHARED：與其它所有映射到這個(gè)文件的進(jìn)程共享映射空間(可實(shí)現(xiàn)共享內(nèi)存)。
- MAP_PRIVATE：建立一個(gè)寫(xiě)時(shí)復(fù)制(Copy on Write)的私有映射空間。
- MAP_LOCKED：鎖定映射區(qū)的頁(yè)面，從而防止頁(yè)面被交換出內(nèi)存。
- ...
- fd：進(jìn)行映射的文件句柄。
- offset：文件偏移量(從文件的何處開(kāi)始映射)。
介紹完 mmap 函數(shù)的原型后，我們現(xiàn)在通過(guò)一個(gè)簡(jiǎn)單的例子介紹怎么使用 mmap：
- int fd = open(filepath, O_RDWR, 0644); // 打開(kāi)文件
- void *addr = mmap(NULL, 8192, PROT_WRITE, MAP_SHARED, fd, 4096); // 對(duì)文件進(jìn)行映射
在上面例子中，我們先通過(guò) open 函數(shù)以可讀寫(xiě)的方式打開(kāi)文件，然后通過(guò) mmap 函數(shù)對(duì)文件進(jìn)行映射，映射的方式如下：
- addr 參數(shù)設(shè)置為 NULL，表示讓操作系統(tǒng)自動(dòng)選擇合適的虛擬內(nèi)存地址進(jìn)行映射。
- length 參數(shù)設(shè)置為 8192 表示映射的區(qū)域?yàn)?2 個(gè)內(nèi)存頁(yè)的大小(一個(gè)內(nèi)存頁(yè)的大小為 4 KB)。
- prot 參數(shù)設(shè)置為 PROT_WRITE 表示映射的內(nèi)存區(qū)為可讀寫(xiě)。
- flags 參數(shù)設(shè)置為 MAP_SHARED 表示共享映射區(qū)。
- fd 參數(shù)設(shè)置打開(kāi)的文件句柄。
- offset 參數(shù)設(shè)置為 4096 表示從文件的 4096 處開(kāi)始映射。
mmap 函數(shù)會(huì)返回映射后的內(nèi)存地址，我們可以通過(guò)此內(nèi)存地址對(duì)文件進(jìn)行讀寫(xiě)操作。我們通過(guò)圖 3 展示上面例子在內(nèi)核中的結(jié)構(gòu)：
四、總結(jié)
本文主要介紹了 mmap 的原理和使用方式，通過(guò)本文我們可以知道，使用 mmap 對(duì)文件進(jìn)行讀寫(xiě)操作時(shí)可以減少內(nèi)存拷貝的次數(shù)，并且可以減少系統(tǒng)調(diào)用的次數(shù)，從而提高對(duì)讀寫(xiě)文件操作的效率。
由于內(nèi)核不會(huì)主動(dòng)同步 mmap 所映射的內(nèi)存區(qū)中的數(shù)據(jù)，所以在某些特殊的場(chǎng)景下可能會(huì)出現(xiàn)數(shù)據(jù)丟失的情況(如斷電)。為了避免數(shù)據(jù)丟失，在使用 mmap 的時(shí)候可以在適當(dāng)時(shí)主動(dòng)調(diào)用 msync 函數(shù)來(lái)同步映射內(nèi)存區(qū)的數(shù)據(jù)。
