Nginx為什么快到根本停不下來(lái)？
Nginx 是一個(gè)免費(fèi)的，開(kāi)源的，高性能的 HTTP 服務(wù)器和反向代理，以及 IMAP / POP3 代理服務(wù)器。
圖片來(lái)自 Pexels
Nginx 以其高性能，穩(wěn)定性，豐富的功能，簡(jiǎn)單的配置和低資源消耗而聞名。本文從底層原理分析 Nginx 為什么這么快!
Nginx 的進(jìn)程模型
Nginx 服務(wù)器，正常運(yùn)行過(guò)程中：
- 多進(jìn)程：一個(gè) Master 進(jìn)程、多個(gè) Worker 進(jìn)程。
- Master 進(jìn)程：管理 Worker 進(jìn)程。對(duì)外接口：接收外部的操作(信號(hào));對(duì)內(nèi)轉(zhuǎn)發(fā)：根據(jù)外部的操作的不同，通過(guò)信號(hào)管理 Worker;監(jiān)控：監(jiān)控 Worker 進(jìn)程的運(yùn)行狀態(tài)，Worker 進(jìn)程異常終止后，自動(dòng)重啟 Worker 進(jìn)程。
- Worker 進(jìn)程：所有 Worker 進(jìn)程都是平等的。實(shí)際處理：網(wǎng)絡(luò)請(qǐng)求，由 Worker 進(jìn)程處理。Worker 進(jìn)程數(shù)量：在 nginx.conf 中配置，一般設(shè)置為核心數(shù)，充分利用 CPU 資源，同時(shí)，避免進(jìn)程數(shù)量過(guò)多，避免進(jìn)程競(jìng)爭(zhēng) CPU 資源，增加上下文切換的損耗。
思考：
- 請(qǐng)求是連接到 Nginx，Master 進(jìn)程負(fù)責(zé)處理和轉(zhuǎn)發(fā)?
- 如何選定哪個(gè) Worker 進(jìn)程處理請(qǐng)求?請(qǐng)求的處理結(jié)果，是否還要經(jīng)過(guò) Master 進(jìn)程?
HTTP 連接建立和請(qǐng)求處理過(guò)程
HTTP 連接建立和請(qǐng)求處理過(guò)程如下：
- Nginx 啟動(dòng)時(shí)，Master 進(jìn)程，加載配置文件。
- Master 進(jìn)程，初始化監(jiān)聽(tīng)的 Socket。
- Master 進(jìn)程，F(xiàn)ork 出多個(gè) Worker 進(jìn)程。
- Worker 進(jìn)程，競(jìng)爭(zhēng)新的連接，獲勝方通過(guò)三次握手，建立 Socket 連接，并處理請(qǐng)求。
Nginx 高性能、高并發(fā)
Nginx 為什么擁有高性能并且能夠支撐高并發(fā)?
- Nginx 采用多進(jìn)程+異步非阻塞方式(IO 多路復(fù)用 Epoll)。
- 請(qǐng)求的完整過(guò)程：建立連接→讀取請(qǐng)求→解析請(qǐng)求→處理請(qǐng)求→響應(yīng)請(qǐng)求。
- 請(qǐng)求的完整過(guò)程對(duì)應(yīng)到底層就是：讀寫(xiě) Socket 事件。
Nginx 的事件處理模型
Request：Nginx 中 HTTP 請(qǐng)求。
基本的 HTTP Web Server 工作模式：
- 接收請(qǐng)求：逐行讀取請(qǐng)求行和請(qǐng)求頭，判斷段有請(qǐng)求體后，讀取請(qǐng)求體。
- 處理請(qǐng)求。
- 返回響應(yīng)：根據(jù)處理結(jié)果，生成相應(yīng)的 HTTP 請(qǐng)求(響應(yīng)行、響應(yīng)頭、響應(yīng)體)。
Nginx 也是這個(gè)套路，整體流程一致：
模塊化體系結(jié)構(gòu)
Nginx 的模塊根據(jù)其功能基本上可以分為以下幾種類型：
①event module：搭建了獨(dú)立于操作系統(tǒng)的事件處理機(jī)制的框架，及提供了各具體事件的處理。包括 ngx_events_module，ngx_event_core_module 和 ngx_epoll_module 等。
Nginx 具體使用何種事件處理模塊，這依賴于具體的操作系統(tǒng)和編譯選項(xiàng)。
②phase handler：此類型的模塊也被直接稱為 handler 模塊。主要負(fù)責(zé)處理客戶端請(qǐng)求并產(chǎn)生待響應(yīng)內(nèi)容，比如 ngx_http_static_module 模塊，負(fù)責(zé)客戶端的靜態(tài)頁(yè)面請(qǐng)求處理并將對(duì)應(yīng)的磁盤(pán)文件準(zhǔn)備為響應(yīng)內(nèi)容輸出。
③output filter：也稱為 filter 模塊，主要是負(fù)責(zé)對(duì)輸出的內(nèi)容進(jìn)行處理，可以對(duì)輸出進(jìn)行修改。
例如，可以實(shí)現(xiàn)對(duì)輸出的所有 html 頁(yè)面增加預(yù)定義的 footbar 一類的工作，或者對(duì)輸出的圖片的 URL 進(jìn)行替換之類的工作。
④upstream：upstream 模塊實(shí)現(xiàn)反向代理的功能，將真正的請(qǐng)求轉(zhuǎn)發(fā)到后端服務(wù)器上，并從后端服務(wù)器上讀取響應(yīng)，發(fā)回客戶端。
upstream 模塊是一種特殊的 handler，只不過(guò)響應(yīng)內(nèi)容不是真正由自己產(chǎn)生的，而是從后端服務(wù)器上讀取的。
⑤load-balancer：負(fù)載均衡模塊，實(shí)現(xiàn)特定的算法，在眾多的后端服務(wù)器中，選擇一個(gè)服務(wù)器出來(lái)作為某個(gè)請(qǐng)求的轉(zhuǎn)發(fā)服務(wù)器。
常見(jiàn)問(wèn)題剖析
Nginx vs Apache
Nginx：
- IO 多路復(fù)用，Epoll(freebsd 上是 kqueue)
- 高性能
- 高并發(fā)
- 占用系統(tǒng)資源少
Apache：
- 阻塞+多進(jìn)程/多線程
- 更穩(wěn)定，Bug 少
- 模塊更豐富
參考文章：
http://www.oschina.net/translate/nginx-vs-apache
https://www.zhihu.com/question/19571087
Nginx 最大連接數(shù)
基礎(chǔ)背景：
- Nginx 是多進(jìn)程模型，Worker 進(jìn)程用于處理請(qǐng)求。
- 單個(gè)進(jìn)程的連接數(shù)(文件描述符 fd)，有上限(nofile)：ulimit -n。
- Nginx 上配置單個(gè) Worker 進(jìn)程的最大連接數(shù)：worker_connections 上限為 nofile。
- Nginx 上配置 Worker 進(jìn)程的數(shù)量：worker_processes。
因此，Nginx 的最大連接數(shù)：
- Nginx 的最大連接數(shù)：Worker 進(jìn)程數(shù)量 x 單個(gè) Worker 進(jìn)程的最大連接數(shù)。
- 上面是 Nginx 作為通用服務(wù)器時(shí)，最大的連接數(shù)。
- Nginx 作為反向代理服務(wù)器時(shí)，能夠服務(wù)的最大連接數(shù)：(Worker 進(jìn)程數(shù)量 x 單個(gè) Worker 進(jìn)程的最大連接數(shù))/ 2。
- Nginx 反向代理時(shí)，會(huì)建立 Client 的連接和后端 Web Server 的連接，占用 2 個(gè)連接。
思考：
- 每打開(kāi)一個(gè) Socket 占用一個(gè) fd?
- 為什么，一個(gè)進(jìn)程能夠打開(kāi)的 fd 數(shù)量有限制?
HTTP 請(qǐng)求和響應(yīng)
HTTP 請(qǐng)求：
- 請(qǐng)求行：method、uri、http version
- 請(qǐng)求頭
- 請(qǐng)求體
HTTP 響應(yīng)：
- 響應(yīng)行：http version、status code
- 響應(yīng)頭
- 響應(yīng)體
IO 模型
處理多個(gè)請(qǐng)求時(shí)，可以采用：IO 多路復(fù)用或者阻塞 IO+多線程：
- IO 多路復(fù)用：一個(gè)線程，跟蹤多個(gè) Socket 狀態(tài)，哪個(gè)就緒，就讀寫(xiě)哪個(gè)。
- 阻塞 IO+多線程：每一個(gè)請(qǐng)求，新建一個(gè)服務(wù)線程。
IO 多路復(fù)用和多線程的適用場(chǎng)景?
- IO 多路復(fù)用：?jiǎn)蝹€(gè)連接的請(qǐng)求處理速度沒(méi)有優(yōu)勢(shì)。
- 大并發(fā)量：只使用一個(gè)線程，處理大量的并發(fā)請(qǐng)求，降低上下文環(huán)境切換損耗，也不需要考慮并發(fā)問(wèn)題，相對(duì)可以處理更多的請(qǐng)求。
- 消耗更少的系統(tǒng)資源(不需要線程調(diào)度開(kāi)銷)。
- 適用于長(zhǎng)連接的情況(多線程模式長(zhǎng)連接容易造成線程過(guò)多，造成頻繁調(diào)度)。
- 阻塞 IO +多線程：實(shí)現(xiàn)簡(jiǎn)單，可以不依賴系統(tǒng)調(diào)用。
- 每個(gè)線程，都需要時(shí)間和空間。
- 線程數(shù)量增長(zhǎng)時(shí)，線程調(diào)度開(kāi)銷指數(shù)增長(zhǎng)。
select/poll 和 epoll 比較如下：
詳細(xì)內(nèi)容，參考：
https://www.cnblogs.com/wiessharling/p/4106295.html
select/poll 系統(tǒng)調(diào)用：
- // select 系統(tǒng)調(diào)用
- int select(int maxfdp,fd_set *readfds,fd_set *writefds,fd_set *errorfds,struct timeval *timeout);
- // poll 系統(tǒng)調(diào)用
- int poll(struct pollfd fds[], nfds_t nfds, int timeout)；
select：
- 查詢 fd_set 中，是否有就緒的 fd，可以設(shè)定一個(gè)超時(shí)時(shí)間，當(dāng)有 fd (File descripter) 就緒或超時(shí)返回。
- fd_set 是一個(gè)位集合，大小是在編譯內(nèi)核時(shí)的常量，默認(rèn)大小為 1024。
- 特點(diǎn)：連接數(shù)限制，fd_set 可表示的 fd 數(shù)量太小了;線性掃描：判斷 fd 是否就緒，需要遍歷一邊 fd_set;數(shù)據(jù)復(fù)制：用戶空間和內(nèi)核空間，復(fù)制連接就緒狀態(tài)信息。
poll：
- 解決了連接數(shù)限制：poll 中將 select 中的 fd_set 替換成了一個(gè) pollfd 數(shù)組，解決 fd 數(shù)量過(guò)小的問(wèn)題。
- 數(shù)據(jù)復(fù)制：用戶空間和內(nèi)核空間，復(fù)制連接就緒狀態(tài)信息。
epoll，event 事件驅(qū)動(dòng)：
- 事件機(jī)制：避免線性掃描，為每個(gè) fd，注冊(cè)一個(gè)監(jiān)聽(tīng)事件，fd 變更為就緒時(shí)，將 fd 添加到就緒鏈表。
- fd 數(shù)量：無(wú)限制(OS 級(jí)別的限制，單個(gè)進(jìn)程能打開(kāi)多少個(gè) fd)。
select，poll，epoll：
- I/O 多路復(fù)用的機(jī)制。
- I/O 多路復(fù)用就通過(guò)一種機(jī)制，可以監(jiān)視多個(gè)描述符，一旦某個(gè)描述符就緒(一般是讀就緒或者寫(xiě)就緒)，能夠通知程序進(jìn)行相應(yīng)的讀寫(xiě)操作;監(jiān)視多個(gè)文件描述符。
- 但 select，poll，epoll 本質(zhì)上都是同步 I/O：用戶進(jìn)程負(fù)責(zé)讀寫(xiě)(從內(nèi)核空間拷貝到用戶空間)，讀寫(xiě)過(guò)程中，用戶進(jìn)程是阻塞的;異步 IO，無(wú)需用戶進(jìn)程負(fù)責(zé)讀寫(xiě)，異步 IO，會(huì)負(fù)責(zé)從內(nèi)核空間拷貝到用戶空間。
Nginx 的并發(fā)處理能力
關(guān)于 Nginx 的并發(fā)處理能力：并發(fā)連接數(shù)，一般優(yōu)化后，峰值能保持在 1~3w 左右。(內(nèi)存和 CPU 核心數(shù)不同，會(huì)有進(jìn)一步優(yōu)化空間)
