從TCP/IP協(xié)議談Linux內(nèi)核參數(shù)優(yōu)化
在硬件資源有限的情況下，最大的壓榨服務器性能，提高服務器的并發(fā)處理能力，是很多技術人員思考的問題，除了優(yōu)化Nginx/PHP-FPM/Mysql/Redis這類服務軟件配置外，還可以通過修改Linux的內(nèi)核相關TCP參數(shù)，來最大的提高服務器性能。
在Linux內(nèi)核參數(shù)優(yōu)化之前，我們需要先搞懂TCP/IP協(xié)議，這是我們實施優(yōu)化的理論依據(jù)。
TCP/IP協(xié)議
TCP/IP協(xié)議是十分復雜的協(xié)議，完全掌握不是一件容易的事情，但作為基本知識，我們必須知道TCP/IP協(xié)的三次握手和四次揮手的邏輯過程。
三次握手
所謂三次握手是指建立一個 TCP 連接時需要客戶端和服務器端總共發(fā)送三個包以確認連接的建立。在socket編程中，這一過程由客戶端執(zhí)行connect來觸發(fā)。
三次握手流程圖：
三次握手流程
- 第一次握手：客戶端將標志位SYN置為1，隨機產(chǎn)生一個值seq=J，并將該數(shù)據(jù)包發(fā)送給服務器端，客戶端進入SYN_SENT狀態(tài)，等待服務器端確認。
- 第二次握手：服務器端收到數(shù)據(jù)包后由標志位SYN=1知道客戶端請求建立連接，服務器端將標志位SYN和ACK都置為1，ack=J+1，隨機產(chǎn)生一個值seq=K，并將該數(shù)據(jù)包發(fā)送給客戶端以確認連接請求，服務器端進入SYN_RCVD狀態(tài)。
- 第三次握手：客戶端收到確認后，檢查ack是否為J+1，ACK是否為1，如果正確則將標志位ACK置為1，ack=K+1，并將該數(shù)據(jù)包發(fā)送給服務器端，服務器端檢查ack是否為K+1，ACK是否為1，如果正確則連接建立成功，客戶端和服務器端進入ESTABLISHED狀態(tài)，完成三次握手，隨后客戶端與服務器端之間可以開始傳輸數(shù)據(jù)了。
四次揮手
四次揮手即終止TCP連接，就是指斷開一個TCP連接時，需要客戶端和服務端總共發(fā)送4個包以確認連接的斷開。在socket編程中，這一過程由客戶端或服務端任一方執(zhí)行close來觸發(fā)。
由于TCP連接是全雙工的，因此，每個方向都必須要單獨進行關閉，這一原則是當一方完成數(shù)據(jù)發(fā)送任務后，發(fā)送一個FIN來終止這一方向的連接，收到一個FIN只是意味著這一方向上沒有數(shù)據(jù)流動了，即不會再收到數(shù)據(jù)了，但是在這個TCP連接上仍然能夠發(fā)送數(shù)據(jù)，直到這一方向也發(fā)送了FIN。首先進行關閉的一方將執(zhí)行主動關閉，而另一方則執(zhí)行被動關閉。
四次揮手的流程圖：
四次揮手流程
- 中斷連接端可以是客戶端，也可以是服務器端。
- 第一次揮手：客戶端發(fā)送一個FIN=M，用來關閉客戶端到服務器端的數(shù)據(jù)傳送，客戶端進入FIN_WAIT_1狀態(tài)。意思是說”我客戶端沒有數(shù)據(jù)要發(fā)給你了”，但是如果你服務器端還有數(shù)據(jù)沒有發(fā)送完成，則不必急著關閉連接，可以繼續(xù)發(fā)送數(shù)據(jù)。
- 第二次揮手：服務器端收到FIN后，先發(fā)送ack=M+1，告訴客戶端，你的請求我收到了，但是我還沒準備好，請繼續(xù)你等我的消息。這個時候客戶端就進入FIN_WAIT_2狀態(tài)，繼續(xù)等待服務器端的FIN報文。
- 第三次揮手：當服務器端確定數(shù)據(jù)已發(fā)送完成，則向客戶端發(fā)送FIN=N報文，告訴客戶端，好了，我這邊數(shù)據(jù)發(fā)完了，準備好關閉連接了。服務器端進入LAST_ACK狀態(tài)。
- 第四次揮手：客戶端收到FIN=N報文后，就知道可以關閉連接了，但是他還是不相信網(wǎng)絡，怕服務器端不知道要關閉，所以發(fā)送ack=N+1后進入TIME_WAIT狀態(tài)，如果Server端沒有收到ACK則可以重傳。服務器端收到ACK后，就知道可以斷開連接了。客戶端等待了2MSL后依然沒有收到回復，則證明服務器端已正常關閉，那好，我客戶端也可以關閉連接了。最終完成了四次握手。
序列號與確認應答
大家都知道TCP/IP協(xié)議是以一種高可靠的通信協(xié)議，通過序列號與確認應答來保障通信高可靠，有如下幾個關鍵點：
- 當發(fā)送端的數(shù)據(jù)到達接收主機時，接收端主機會返回一個已收到消息的通知。這個消息叫做確認應答(ACK)。當發(fā)送端將數(shù)據(jù)發(fā)出之后會等待對端的確認應答。如果有確認應答，說明數(shù)據(jù)已經(jīng)成功到達對端。反之，則數(shù)據(jù)丟失的可能性很大。
- 在一定時間內(nèi)沒有等待到確認應答，發(fā)送端就可以認為數(shù)據(jù)已經(jīng)丟失，并進行重發(fā)。由此，即使產(chǎn)生了丟包，仍然能夠保證數(shù)據(jù)能夠到達對端，實現(xiàn)可靠傳輸。
- 未收到確認應答并不意味著數(shù)據(jù)一定丟失。也有可能是數(shù)據(jù)對方已經(jīng)收到，只是返回的確認應答在途中丟失。這種情況也會導致發(fā)送端誤以為數(shù)據(jù)沒有到達目的地而重發(fā)數(shù)據(jù)。
- 此外，也有可能因為一些其他原因?qū)е麓_認應答延遲到達，在源主機重發(fā)數(shù)據(jù)以后才到達的情況也屢見不鮮。此時，源主機只要按照機制重發(fā)數(shù)據(jù)即可。
- 對于目標主機來說，反復收到相同的數(shù)據(jù)是不可取的。為了對上層應用提供可靠的傳輸，目標主機必須放棄重復的數(shù)據(jù)包。為此我們引入了序列號。
- 序列號是按照順序給發(fā)送數(shù)據(jù)的每一個字節(jié)(8位字節(jié))都標上號碼的編號。接收端查詢接收數(shù)據(jù) TCP 首部中的序列號和數(shù)據(jù)的長度，將自己下一步應該接收的序列號作為確認應答返送回去。通過序列號和確認應答號，TCP 能夠識別是否已經(jīng)接收數(shù)據(jù)，又能夠判斷是否需要接收，從而實現(xiàn)可靠傳輸。
- 重發(fā)超時是指在重發(fā)數(shù)據(jù)之前，等待確認應答到來的那個特定時間間隔。如果超過這個時間仍未收到確認應答，發(fā)送端將進行數(shù)據(jù)重發(fā)。最理想的是，找到一個最小時間，它能保證“確認應答一定能在這個時間內(nèi)返回”。
- TCP 要求不論處在何種網(wǎng)絡環(huán)境下都要提供高性能通信，并且無論網(wǎng)絡擁堵情況發(fā)生何種變化，都必須保持這一特性。為此，它在每次發(fā)包時都會計算往返時間及其偏差。將這個往返時間和偏差時間相加，重發(fā)超時的時間就是比這個總和要稍大一點的值。
- 數(shù)據(jù)被重發(fā)之后若還是收不到確認應答，則進行再次發(fā)送。此時，等待確認應答的時間將會以2倍、4倍的指數(shù)函數(shù)延長。
- 此外，數(shù)據(jù)也不會被無限、反復地重發(fā)。達到一定重發(fā)次數(shù)之后，如果仍沒有任何確認應答返回，就會判斷為網(wǎng)絡或?qū)Χ酥鳈C發(fā)生了異常，強制關閉連接。并且通知應用通信異常強行終止。
TCP/IP協(xié)議缺陷
了解了TCP/IP協(xié)議之后，我們就會發(fā)現(xiàn)幾個問題：
在三次握手中，如果客戶端發(fā)起第一次握手后就中斷或者不響應服務器發(fā)回的ACK=1數(shù)據(jù)包，那服務器就會不斷的重試發(fā)送數(shù)據(jù)包，直到超時。
在四次揮手中，主動關閉連接的客戶端處在TIME_WAIT狀態(tài)后，會一直持續(xù)2MSL時間長度，MSL就是maximum segment lifetime(最大分節(jié)生命期)，這是一個IP數(shù)據(jù)包能在互聯(lián)網(wǎng)上生存的最長時間，超過這個時間將在網(wǎng)絡中消失(TIME_WAIT狀態(tài)一般維持在1-4分鐘)。通過2MSL時間長度來確保舊的連接狀態(tài)不會對新連接產(chǎn)生影響。處于TIME_WAIT狀態(tài)的連接占用的資源不會被內(nèi)核釋放，所以作為服務器，在可能的情 況下，盡量不要主動斷開連接，以減少TIME_WAIT狀態(tài)造成的資源浪費。如果我們的服務器是負載均衡服務器，上游服務器長時間沒有影響，負載均衡服務器將主動關閉鏈接，高并發(fā)場景下將導致TIME_WAIT狀態(tài)的累積。
在四次揮手中，如果客戶端在收到FIN 報文后，應用沒有返回 ACK，服務端同樣會不斷嘗試發(fā)送FIN報文，這樣服務端就會出現(xiàn)CLOSE_WAIT狀態(tài)的累積。
內(nèi)核TCP參數(shù)優(yōu)化
編輯文件/etc/sysctl.conf，加入以下內(nèi)容：
- net.ipv4.tcp_fin_timeout = 2
- net.ipv4.tcp_tw_reuse = 1
- net.ipv4.tcp_tw_recycle = 1
- net.ipv4.tcp_syncookies = 1
- net.ipv4.tcp_keepalive_time = 600
- net.ipv4.ip_local_port_range = 4000 65000
- net.ipv4.tcp_max_syn_backlog = 16384
- net.ipv4.tcp_max_tw_buckets = 36000
- net.ipv4.route.gc_timeout = 100
- net.ipv4.tcp_syn_retries = 1
- net.ipv4.tcp_synack_retries = 1
- net.core.somaxconn = 16384
- net.core.netdev_max_backlog = 16384
- net.ipv4.tcp_max_orphans = 16384
然后執(zhí)行 sysctl -p 讓參數(shù)生效。
作用說明：
- net.ipv4.tcp_fin_timeout 表示套接字由本端要求關閉，這個參數(shù)決定了它保持在FIN-WAIT-2狀態(tài)的時間，默認值是60秒。 該參數(shù)對應系統(tǒng)路徑為：/proc/sys/net/ipv4/tcp_fin_timeout 60
- net.ipv4.tcp_tw_reuse 表示開啟重用。允許將TIME-WAIT sockets重新用于新的TCP連接，默認值為0，表示關閉。 該參數(shù)對應系統(tǒng)路徑為：/proc/sys/net/ipv4/tcp_tw_reuse 0
- net.ipv4.tcp_tw_recycle 表示開啟TCP連接中TIME-WAIT sockets的快速回收。 該參數(shù)對應系統(tǒng)路徑為：/proc/sys/net/ipv4/tcp_tw_recycle，默認為0，表示關閉。 提示：reuse和recycle這兩個參數(shù)是為防止生產(chǎn)環(huán)境下Web、Squid等業(yè)務服務器time_wait網(wǎng)絡狀態(tài)數(shù)量過多設置的。
- net.ipv4.tcp_syncookies 表示開啟SYN Cookies功能。當出現(xiàn)SYN等待隊列溢出時，啟用Cookies來處理，可防范少量SYN攻擊，這個參數(shù)也可以不添加。 該參數(shù)對應系統(tǒng)路徑為：/proc/sys/net/ipv4/tcp_syncookies,默認值為1
- net.ipv4.tcp_keepalive_time 表示當keepalive啟用時，TCP發(fā)送keepalive消息的頻度。默認是2小時，建議改為10分鐘。 該參數(shù)對應系統(tǒng)路徑為：/proc/sys/net/ipv4/tcp_keepalive_time,默認為7200秒。
- net.ipv4.ip_local_port_range 該選項用來設定允許系統(tǒng)打開的端口范圍，即用于向外連接的端口范圍。 該參數(shù)對應系統(tǒng)路徑為：/proc/sys/net/ipv4/ip_local_port_range 32768 61000
- net.ipv4.tcp_max_syn_backlog 表示SYN隊列的長度，默認為1024，建議加大隊列的長度為8192或更多，這樣可以容納更多等待連接的網(wǎng)絡連接數(shù)。 該參數(shù)為服務器端用于記錄那些尚未收到客戶端確認信息的連接請求最大值。 該參數(shù)對象系統(tǒng)路徑為：/proc/sys/net/ipv4/tcp_max_syn_backlog
- net.ipv4.tcp_max_tw_buckets 表示系統(tǒng)同時保持TIME_WAIT套接字的最大數(shù)量，如果超過這個數(shù)值，TIME_WAIT套接字將立刻被清除并打印警告信息。 默認為180000，對于Apache、Nginx等服務器來說可以將其調(diào)低一點，如改為5000~30000，不通業(yè)務的服務器也可以給大一點，比如LVS、Squid。 此項參數(shù)可以控制TIME_WAIT套接字的最大數(shù)量，避免Squid服務器被大量的TIME_WAIT套接字拖死。 該參數(shù)對應系統(tǒng)路徑為：/proc/sys/net/ipv4/tcp_max_tw_buckets
- net.ipv4.tcp_synack_retries 參數(shù)的值決定了內(nèi)核放棄連接之前發(fā)送SYN+ACK包的數(shù)量。 該參數(shù)對應系統(tǒng)路徑為：/proc/sys/net/ipv4/tcp_synack_retries,默認值為5
- net.ipv4.tcp_syn_retries 表示在內(nèi)核放棄建立連接之前發(fā)送SYN包的數(shù)量。 該參數(shù)對應系統(tǒng)路徑為：/proc/sys/net/ipv4/tcp_syn_retries 5
- net.ipv4.tcp_max_orphans 用于設定系統(tǒng)中最多有多少個TCP套接字不被關聯(lián)到任何一個用戶文件句柄上。 如果超過這個數(shù)值，孤立連接將被立即被復位并打印出警告信息。 這個限制只有為了防止簡單的DoS攻擊。不能過分依靠這個限制甚至認為減少這個值，更多的情況是增加這個值。 該參數(shù)對應系統(tǒng)路徑為：/proc/sys/net/ipv4/tcp_max_orphans 65536
- net.core.somaxconn 該選項默認值是128，這個參數(shù)用于調(diào)節(jié)系統(tǒng)同時發(fā)起的TCP連接數(shù)，在高并發(fā)的請求中，默認的值可能會導致鏈接超時或重傳，因此，需要結(jié)合并發(fā)請求數(shù)來調(diào)節(jié)此值。 該參數(shù)對應系統(tǒng)路徑為：/proc/sys/net/core/somaxconn 128
- net.core.netdev_max_backlog 表示當每個網(wǎng)絡接口接收數(shù)據(jù)包的速率比內(nèi)核處理這些包的速率快時，允許發(fā)送到隊列的數(shù)據(jù)包最大數(shù)。 該參數(shù)對應系統(tǒng)路徑為：/proc/sys/net/core/netdev_max_backlog，默認值為1000
