精品欧美一区二区三区在线观看 _久久久久国色av免费观看性色_国产精品久久在线观看_亚洲第一综合网站_91精品又粗又猛又爽_小泽玛利亚一区二区免费_91亚洲精品国偷拍自产在线观看 _久久精品视频在线播放_美女精品久久久_欧美日韩国产成人在线

性能調(diào)優(yōu)攻略

系統(tǒng)
關(guān)于性能優(yōu)化這是一個(gè)比較大的話題,在《由12306.cn談?wù)劸W(wǎng)站性能技術(shù)》中我從業(yè)務(wù)和設(shè)計(jì)上說過一些可用的技術(shù)以及那些技術(shù)的優(yōu)缺點(diǎn),今天,想從一些技術(shù)細(xì)節(jié)上談?wù)勑阅軆?yōu)化,主要是一些代碼級別的技術(shù)和方法。本文的東西是我的一些經(jīng)驗(yàn)和知識(shí),并不一定全對,希望大家指正和補(bǔ)充。

關(guān)于性能優(yōu)化這是一個(gè)比較大的話題,在《由12306.cn談?wù)劸W(wǎng)站性能技術(shù)》中我從業(yè)務(wù)和設(shè)計(jì)上說過一些可用的技術(shù)以及那些技術(shù)的優(yōu)缺點(diǎn),今天,想從一些技術(shù)細(xì)節(jié)上談?wù)勑阅軆?yōu)化,主要是一些代碼級別的技術(shù)和方法。本文的東西是我的一些經(jīng)驗(yàn)和知識(shí),并不一定全對,希望大家指正和補(bǔ)充。

在開始這篇文章之前,大家可以移步去看一下酷殼以前發(fā)表的《代碼優(yōu)化概要》,這篇文章基本上告訴你——要進(jìn)行優(yōu)化,先得找到性能瓶頸! 但是在講如何定位系統(tǒng)性能瓶勁之前,請讓我講一下系統(tǒng)性能的定義和測試,因?yàn)闆]有這兩件事,后面的定位和優(yōu)化無從談起。

一、系統(tǒng)性能定義

讓我們先來說說如何什么是系統(tǒng)性能。這個(gè)定義非常關(guān)鍵,如果我們不清楚什么是系統(tǒng)性能,那么我們將無法定位之。我見過很多朋友會(huì)覺得這很容易,但是仔細(xì)一問,其實(shí)他們并沒有一個(gè)比較系統(tǒng)的方法,所以,在這里我想告訴大家如何系統(tǒng)地來定位性能。 總體來說,系統(tǒng)性能就是兩個(gè)事:

  1. Throughput ,吞吐量。也就是每秒鐘可以處理的請求數(shù),任務(wù)數(shù)。
  2. Latency, 系統(tǒng)延遲。也就是系統(tǒng)在處理一個(gè)請求或一個(gè)任務(wù)時(shí)的延遲。

一般來說,一個(gè)系統(tǒng)的性能受到這兩個(gè)條件的約束,缺一不可。比如,我的系統(tǒng)可以頂?shù)米∫话偃f的并發(fā),但是系統(tǒng)的延遲是2分鐘以上,那么,這個(gè)一百萬的負(fù)載毫無意義。系統(tǒng)延遲很短,但是吞吐量很低,同樣沒有意義。所以,一個(gè)好的系統(tǒng)的性能測試必然受到這兩個(gè)條件的同時(shí)作用。 有經(jīng)驗(yàn)的朋友一定知道,這兩個(gè)東西的一些關(guān)系:

  • Throughput越大,Latency會(huì)越差。因?yàn)檎埱罅窟^大,系統(tǒng)太繁忙,所以響應(yīng)速度自然會(huì)低。
  • Latency越好,能支持的Throughput就會(huì)越高。因?yàn)長atency短說明處理速度快,于是就可以處理更多的請求。

二、系統(tǒng)性能測試

經(jīng)過上述的說明,我們知道要測試系統(tǒng)的性能,需要我們收集系統(tǒng)的Throughput和Latency這兩個(gè)值。

  • 首先,需要定義Latency這個(gè)值,比如說,對于網(wǎng)站系統(tǒng)響應(yīng)時(shí)間必需是5秒以內(nèi)(對于某些實(shí)時(shí)系統(tǒng)可能需要定義的更短,比如5ms以內(nèi),這個(gè)更根據(jù)不同的業(yè)務(wù)來定義)
  • 其次,開發(fā)性能測試工具,一個(gè)工具用來制造高強(qiáng)度的Throughput,另一個(gè)工具用來測量Latency。對于第一個(gè)工具,你可以參考一下“十個(gè)免費(fèi)的Web壓力測試工具”,關(guān)于如何測量Latency,你可以在代碼中測量,但是這樣會(huì)影響程序的執(zhí)行,而且只能測試到程序內(nèi)部的Latency,真正的Latency是整個(gè)系統(tǒng)都算上,包括操作系統(tǒng)和網(wǎng)絡(luò)的延時(shí),你可以使用Wireshark來抓網(wǎng)絡(luò)包來測量。這兩個(gè)工具具體怎么做,這個(gè)還請大家自己思考去了。
  • 最后,開始性能測試。你需要不斷地提升測試的Throughput,然后觀察系統(tǒng)的負(fù)載情況,如果系統(tǒng)頂?shù)米?,那就觀察Latency的值。這樣,你就可以找到系統(tǒng)的最大負(fù)載,并且你可以知道系統(tǒng)的響應(yīng)延時(shí)是多少。

再多說一些,

  • 關(guān)于Latency,如果吞吐量很少,這個(gè)值估計(jì)會(huì)非常穩(wěn)定,當(dāng)吞吐量越來越大時(shí),系統(tǒng)的Latency會(huì)出現(xiàn)非常劇烈的抖動(dòng),所以,我們在測量Latency的時(shí)候,我們需要注意到Latency的分布,也就是說,有百分之幾的在我們允許的范圍,有百分之幾的超出了,有百分之幾的完全不可接受。也許,平均下來的Latency達(dá)標(biāo)了,但是其中僅有50%的達(dá)到了我們可接受的范圍。那也沒有意義。
  • 關(guān)于性能測試,我們還需要定義一個(gè)時(shí)間段。比如:在某個(gè)吞吐量上持續(xù)15分鐘。因?yàn)楫?dāng)負(fù)載到達(dá)的時(shí)候,系統(tǒng)會(huì)變得不穩(wěn)定,當(dāng)過了一兩分鐘后,系統(tǒng)才會(huì)穩(wěn)定。另外,也有可能是,你的系統(tǒng)在這個(gè)負(fù)載下前幾分鐘還表現(xiàn)正常,然后就不穩(wěn)定了,甚至垮了。所以,需要這么一段時(shí)間。這個(gè)值,我們叫做峰值極限。
  • 性能測試還需要做Soak Test,也就是在某個(gè)吞吐量下,系統(tǒng)可以持續(xù)跑一周甚至更長。這個(gè)值,我們叫做系統(tǒng)的正常運(yùn)行的負(fù)載極限。

性能測試有很多很復(fù)要的東西,比如:burst test等。 這里不能一一詳述,這里只說了一些和性能調(diào)優(yōu)相關(guān)的東西。總之,性能測試是一細(xì)活和累活。

三、定位性能瓶頸

有了上面的鋪墊,我們就可以測試到到系統(tǒng)的性能了,再調(diào)優(yōu)之前,我們先來說說如何找到性能的瓶頸。我見過很多朋友會(huì)覺得這很容易,但是仔細(xì)一問,其實(shí)他們并沒有一個(gè)比較系統(tǒng)的方法。

3.1)查看操作系統(tǒng)負(fù)載

首先,當(dāng)我們系統(tǒng)有問題的時(shí)候,我們不要急于去調(diào)查我們代碼,這個(gè)毫無意義。我們首要需要看的是操作系統(tǒng)的報(bào)告??纯床僮飨到y(tǒng)的CPU利用率,看看內(nèi)存使用率,看看操作系統(tǒng)的IO,還有網(wǎng)絡(luò)的IO,網(wǎng)絡(luò)鏈接數(shù),等等。Windows下的perfmon是一個(gè)很不錯(cuò)的工具,Linux下也有很多相關(guān)的命令和工具,比如:SystemTap,LatencyTOP,vmstat, sar, iostat, top, tcpdump等等 。通過觀察這些數(shù)據(jù),我們就可以知道我們的軟件的性能基本上出在哪里。比如:

1)先看CPU利用率,如果CPU利用率不高,但是系統(tǒng)的Throughput和Latency上不去了,這說明我們的程序并沒有忙于計(jì)算,而是忙于別的一些事,比如IO。(另外,CPU的利用率還要看內(nèi)核態(tài)的和用戶態(tài)的,內(nèi)核態(tài)的一上去了,整個(gè)系統(tǒng)的性能就下來了。而對于多核CPU來說,CPU 0 是相當(dāng)關(guān)鍵的,如果CPU 0的負(fù)載高,那么會(huì)影響其它核的性能,因?yàn)镃PU各核間是需要有調(diào)度的,這靠CPU0完成)

2)然后,我們可以看一下IO大不大,IO和CPU一般是反著來的,CPU利用率高則IO不大,IO大則CPU就小。關(guān)于IO,我們要看三個(gè)事,一個(gè)是磁盤文件IO,一個(gè)是驅(qū)動(dòng)程序的IO(如:網(wǎng)卡),一個(gè)是內(nèi)存換頁率。這三個(gè)事都會(huì)影響系統(tǒng)性能。

3)然后,查看一下網(wǎng)絡(luò)帶寬使用情況,在Linux下,你可以使用iftop, iptraf, ntop, tcpdump這些命令來查看?;蚴怯肳ireshark來查看。

4)如果CPU不高,IO不高,內(nèi)存使用不高,網(wǎng)絡(luò)帶寬使用不高。但是系統(tǒng)的性能上不去。這說明你的程序有問題,比如,你的程序被阻塞了。可能是因?yàn)榈饶莻€(gè)鎖,可能是因?yàn)榈饶硞€(gè)資源,或者是在切換上下文。

通過了解操作系統(tǒng)的性能,我們才知道性能的問題,比如:帶寬不夠,內(nèi)存不夠,TCP緩沖區(qū)不夠,等等,很多時(shí)候,不需要調(diào)整程序的,只需要調(diào)整一下硬件或操作系統(tǒng)的配置就可以了。

3.2)使用Profiler測試

接下來,我們需要使用性能檢測工具,也就是使用某個(gè)Profiler來差看一下我們程序的運(yùn)行性能。如:Java的JProfiler/TPTP/CodePro Profiler,GNU的gprof,IBM的PurifyPlus,Intel的VTune,AMD的CodeAnalyst,還有Linux下的OProfile/perf,后面兩個(gè)可以讓你對你的代碼優(yōu)化到CPU的微指令級別,如果你關(guān)心CPU的L1/L2的緩存調(diào)優(yōu),那么你需要考慮一下使用VTune。 使用這些Profiler工具,可以讓你程序中各個(gè)模塊函數(shù)甚至指令的很多東西,如:運(yùn)行的時(shí)間 ,調(diào)用的次數(shù),CPU的利用率,等等。這些東西對我們來說非常有用。

我們重點(diǎn)觀察運(yùn)行時(shí)間最多,調(diào)用次數(shù)最多的那些函數(shù)和指令。這里注意一下,對于調(diào)用次數(shù)多但是時(shí)間很短的函數(shù),你可能只需要輕微優(yōu)化一下,你的性能就上去了(比如:某函數(shù)一秒種被調(diào)用100萬次,你想想如果你讓這個(gè)函數(shù)提高0.01毫秒的時(shí)間 ,這會(huì)給你帶來多大的性能)

使用Profiler有個(gè)問題我們需要注意一下,因?yàn)镻rofiler會(huì)讓你的程序運(yùn)行的性能變低,像PurifyPlus這樣的工具會(huì)在你的代碼中插入很多代碼,會(huì)導(dǎo)致你的程序運(yùn)行效率變低,從而沒發(fā)測試出在高吞吐量下的系統(tǒng)的性能,對此,一般有兩個(gè)方法來定位系統(tǒng)瓶頸:

1)在你的代碼中自己做統(tǒng)計(jì),使用微秒級的計(jì)時(shí)器和函數(shù)調(diào)用計(jì)算器,每隔10秒把統(tǒng)計(jì)log到文件中。

2)分段注釋你的代碼塊,讓一些函數(shù)空轉(zhuǎn),做Hard Code的Mock,然后再測試一下系統(tǒng)的Throughput和Latency是否有質(zhì)的變化,如果有,那么被注釋的函數(shù)就是性能瓶頸,再在這個(gè)函數(shù)體內(nèi)注釋代碼,直到找到最耗性能的語句。

最后再說一點(diǎn),對于性能測試,不同的Throughput會(huì)出現(xiàn)不同的測試結(jié)果,不同的測試數(shù)據(jù)也會(huì)有不同的測試結(jié)果。所以,用于性能測試的數(shù)據(jù)非常重要,性能測試中,我們需要觀測試不同Throughput的結(jié)果。

四、常見的系統(tǒng)瓶頸

下面這些東西是我所經(jīng)歷過的一些問題,也許并不全,也許并不對,大家可以補(bǔ)充指正,我純屬拋磚引玉。關(guān)于系統(tǒng)架構(gòu)方面的性能調(diào)優(yōu),大家可移步看一下《由12306.cn談?wù)劸W(wǎng)站性能技術(shù)》,關(guān)于Web方面的一些性能調(diào)優(yōu)的東西,大家可以看看《Web開發(fā)中需要了解的東西》一文中的性能一章。我在這里就不再說設(shè)計(jì)和架構(gòu)上的東西了。

一般來說,性能優(yōu)化也就是下面的幾個(gè)策略:

  • 用空間換時(shí)間。各種cache如CPU L1/L2/RAM到硬盤,都是用空間來換時(shí)間的策略。這樣策略基本上是把計(jì)算的過程一步一步的保存或緩存下來,這樣就不用每次用的時(shí)候都要再計(jì)算一遍,比如數(shù)據(jù)緩沖,CDN,等。這樣的策略還表現(xiàn)為冗余數(shù)據(jù),比如數(shù)據(jù)鏡象,負(fù)載均衡什么的。
  • 用時(shí)間換空間。有時(shí)候,少量的空間可能性能會(huì)更好,比如網(wǎng)絡(luò)傳輸,如果有一些壓縮數(shù)據(jù)的算法(如前些天說的““Huffman 編碼壓縮算法” 和 “rsync 的核心算法”),這樣的算法其實(shí)很耗時(shí),但是因?yàn)槠款i在網(wǎng)絡(luò)傳輸,所以用時(shí)間來換空間反而能省時(shí)間。
  • 簡化代碼。最高效的程序就是不執(zhí)行任何代碼的程序,所以,代碼越少性能就越高。關(guān)于代碼級優(yōu)化的技術(shù)大學(xué)里的教科書有很多示例了。如:減少循環(huán)的層數(shù),減少遞歸,在循環(huán)中少聲明變量,少做分配和釋放內(nèi)存的操作,盡量把循環(huán)體內(nèi)的表達(dá)式抽到循環(huán)外,條件表達(dá)的中的多個(gè)條件判斷的次序,盡量在程序啟動(dòng)時(shí)把一些東西準(zhǔn)備好,注意函數(shù)調(diào)用的開銷(棧上開銷),注意面向?qū)ο笳Z言中臨時(shí)對象的開銷,小心使用異常(不要用異常來檢查一些可接受可忽略并經(jīng)常發(fā)生的錯(cuò)誤),…… 等等,等等,這連東西需要我們非常了解編程語言和常用的庫。
  • 并行處理。如果CPU只有一個(gè)核,你要玩多進(jìn)程,多線程,對于計(jì)算密集型的軟件會(huì)反而更慢(因?yàn)椴僮飨到y(tǒng)調(diào)度和切換開銷很大),CPU的核多了才能真正體現(xiàn)出多進(jìn)程多線程的優(yōu)勢。并行處理需要我們的程序有Scalability,不能水平或垂直擴(kuò)展的程序無法進(jìn)行并行處理。從架構(gòu)上來說,這表再為——是否可以做到不改代碼只是加加機(jī)器就可以完成性能提升?

總之,根據(jù)2:8原則來說,20%的代碼耗了你80%的性能,找到那20%的代碼,你就可以優(yōu)化那80%的性能。 下面的一些東西都是我的一些經(jīng)驗(yàn),我只例舉了一些最有價(jià)值的性能調(diào)優(yōu)的的方法,供你參考,也歡迎補(bǔ)充。

4.1)算法調(diào)優(yōu)。算法非常重要,好的算法會(huì)有更好的性能。舉幾個(gè)我經(jīng)歷過的項(xiàng)目的例子,大家可以感覺一下。

  • 一個(gè)是過濾算法,系統(tǒng)需要對收到的請求做過濾,我們把可以被filter in/out的東西配置在了一個(gè)文件中,原有的過濾算法是遍歷過濾配置,后來,我們找到了一種方法可以對這個(gè)過濾配置進(jìn)行排序,這樣就可以用二分折半的方法來過濾,系統(tǒng)性能增加了50%。
  • 一個(gè)是哈希算法。計(jì)算哈希算法的函數(shù)并不高效,一方面是計(jì)算太費(fèi)時(shí),另一方面是碰撞太高,碰撞高了就跟單向鏈表一個(gè)性能(可參看Hash Collision DoS 問題)。我們知道,算法都是和需要處理的數(shù)據(jù)很有關(guān)系的,就算是被大家所嘲笑的“冒泡排序”在某些情況下(大多數(shù)數(shù)據(jù)是排好序的)其效率會(huì)高于所有的排序算法。哈希算法也一樣,廣為人知的哈希算法都是用英文字典做測試,但是我們的業(yè)務(wù)在數(shù)據(jù)有其特殊性,所以,對于還需要根據(jù)自己的數(shù)據(jù)來挑選適合的哈希算法。對于我以前的一個(gè)項(xiàng)目,公司內(nèi)某牛人給我發(fā)來了一個(gè)哈希算法,結(jié)果讓我們的系統(tǒng)性能上升了150%。(關(guān)于各種哈希算法,你一定要看看StackExchange上的這篇關(guān)于各種hash算法的文章  )
  • 分而治之和預(yù)處理。以前有一個(gè)程序?yàn)榱松稍聢?bào)表,每次都需要計(jì)算很長的時(shí)間,有時(shí)候需要花將近一整天的時(shí)間。于是我們把我們找到了一種方法可以把這個(gè)算法發(fā)成增量式的,也就是說我每天都把當(dāng)天的數(shù)據(jù)計(jì)算好了后和前一天的報(bào)表合并,這樣可以大大的節(jié)省計(jì)算時(shí)間,每天的數(shù)據(jù)計(jì)算量只需要20分鐘,但是如果我要算整個(gè)月的,系統(tǒng)則需要10個(gè)小時(shí)以上(SQL語句在大數(shù)據(jù)量面前性能成級數(shù)性下降)。這種分而治之的思路在大數(shù)據(jù)面前對性能有很幫助,就像merge排序一樣。SQL語句和數(shù)據(jù)庫的性能優(yōu)化也是這一策略,如:使用嵌套式的Select而不是笛卡爾積的Select,使用視圖,等等。

4.2)代碼調(diào)優(yōu)。從我的經(jīng)驗(yàn)上來說,代碼上的調(diào)優(yōu)有下面這幾點(diǎn):

  • 字符串操作。這是最費(fèi)系統(tǒng)性能的事了,無論是strcpy, strcat還是strlen,最需要注意的是字符串子串匹配。所以,能用整型最好用整型。舉幾個(gè)例子,第一個(gè)例子是N年前做銀行的時(shí)候,我的同事喜歡把日期存成字符串(如:2012-05-29 08:30:02),我勒個(gè)去,一個(gè)select where between語句相當(dāng)耗時(shí)。另一個(gè)例子是,我以前有個(gè)同事把一些狀態(tài)碼用字符串來處理,他的理由是,這樣可以在界面上直接顯示,后來性能調(diào)優(yōu)的時(shí)候,我把這些狀態(tài)碼全改成整型,然后用位操作查狀態(tài),因?yàn)橛幸粋€(gè)每秒鐘被調(diào)用了150K次的函數(shù)里面有三處需要檢查狀態(tài),經(jīng)過改善以后,整個(gè)系統(tǒng)的性能上升了30%左右。還有一個(gè)例子是,我以前從事的某個(gè)產(chǎn)品編程規(guī)范中有一條是要在每個(gè)函數(shù)中把函數(shù)名定義出來,如:const char fname[]=”functionName()”, 這是為了好打日志,但是為什么不聲明成 static類型的呢?
  • 多線程調(diào)優(yōu)。有人說,thread is evil,這個(gè)對于系統(tǒng)性能在某些時(shí)候是個(gè)問題。因?yàn)槎嗑€程瓶頸就在于互斥和同步的鎖上,以及線程上下文切換的成本,怎么樣的少用鎖或不用鎖是根本(比如:多版本并發(fā)控制(MVCC)在分布式系統(tǒng)中的應(yīng)用 中說的樂觀鎖可以解決性能問題),此外,還有讀寫鎖也可以解決大多數(shù)是讀操作的并發(fā)的性能問題。這里多說一點(diǎn)在C++中,我們可能會(huì)使用線程安全的智能指針AutoPtr或是別的一些容器,只要是線程安全的,其不管三七二十一都要上鎖,上鎖是個(gè)成本很高的操作,使用AutoPtr會(huì)讓我們的系統(tǒng)性能下降得很快,如果你可以保證不會(huì)有線程并發(fā)問題,那么你應(yīng)該不要用AutoPtr。我記得我上次我們同事去掉智能指針的引用計(jì)數(shù),讓系統(tǒng)性能提升了50%以上。對于Java對象的引用計(jì)數(shù),如果我猜的沒錯(cuò)的話,到處都是鎖,所以,Java的性能問題一直是個(gè)問題。另外,線程不是越多越好,線程間的調(diào)度和上下文切換也是很夸張的事,盡可能的在一個(gè)線程里干,盡可能的不要同步線程。這會(huì)讓你有很多的性能。
  • 內(nèi)存分配。不要小看程序的內(nèi)存分配。malloc/realloc/calloc這樣的系統(tǒng)調(diào)非常耗時(shí),尤其是當(dāng)內(nèi)存出現(xiàn)碎片的時(shí)候。我以前的公司出過這樣一個(gè)問題——在用戶的站點(diǎn)上,我們的程序有一天不響應(yīng)了,用GDB跟進(jìn)去一看,系統(tǒng)hang在了malloc操作上,20秒都沒有返回,重啟一些系統(tǒng)就好了。這就是內(nèi)存碎片的問題。這就是為什么很多人抱怨STL有嚴(yán)重的內(nèi)存碎片的問題,因?yàn)樘嗟男?nèi)存的分配釋放了。有很多人會(huì)以為用內(nèi)存池可以解決這個(gè)問題,但是實(shí)際上他們只是重新發(fā)明了Runtime-C或操作系統(tǒng)的內(nèi)存管理機(jī)制,完全于事無補(bǔ)。當(dāng)然解決內(nèi)存碎片的問題還是通過內(nèi)存池,具體來說是一系列不同尺寸的內(nèi)存池(這個(gè)留給大家自己去思考)。當(dāng)然,少進(jìn)行動(dòng)態(tài)內(nèi)存分配是最好的。說到內(nèi)存池就需要說一下池化技術(shù)。比如線程池,連接池等。池化技術(shù)對于一些短作業(yè)來說(如http服務(wù)) 相當(dāng)相當(dāng)?shù)挠行А_@項(xiàng)技術(shù)可以減少鏈接建立,線程創(chuàng)建的開銷,從而提高性能。
  • 異步操作。我們知道Unix下的文件操作是有block和non-block的方式的,像有些系統(tǒng)調(diào)用也是block式的,如:Socket下的select,Windows下的WaitforObject之類的,如果我們的程序是同步操作,那么會(huì)非常影響性能,我們可以改成異步的,但是改成異步的方式會(huì)讓你的程序變復(fù)雜。異步方式一般要通過隊(duì)列,要注間隊(duì)列的性能問題,另外,異步下的狀態(tài)通知通常是個(gè)問題,比如消息事件通知方式,有callback方式,等,這些方式同樣可能會(huì)影響你的性能。但是通常來說,異步操作會(huì)讓性能的吞吐率有很大提升(Throughput),但是會(huì)犧牲系統(tǒng)的響應(yīng)時(shí)間(latency)。這需要業(yè)務(wù)上支持。
  • 語言和代碼庫。我們要熟悉語言以及所使用的函數(shù)庫或類庫的性能。比如:STL中的很多容器分配了內(nèi)存后,那怕你刪除元素,內(nèi)存也不會(huì)回收,其會(huì)造成內(nèi)存泄露的假像,并可能造成內(nèi)存碎片問題。再如,STL某些容器的size()==0 和 empty()是不一樣的,因?yàn)?,size()是O(n)復(fù)雜度,empty()是O(1)的復(fù)雜度,這個(gè)要小心。Java中的JVM調(diào)優(yōu)需要使用的這些參數(shù):-Xms -Xmx -Xmn -XX:SurvivorRatio -XX:MaxTenuringThreshold,還需要注意JVM的GC,GC的霸氣大家都知道,尤其是full GC(還整理內(nèi)存碎片),他就像“恐龍?zhí)丶壙速愄?hào)”一樣,他運(yùn)行的時(shí)候,整個(gè)世界的時(shí)間都停止了。

4.3)網(wǎng)絡(luò)調(diào)優(yōu)

關(guān)于網(wǎng)絡(luò)調(diào)優(yōu),尤其是TCP Tuning(你可以以這兩個(gè)關(guān)鍵詞在網(wǎng)上找到很多文章),這里面有很多很多東西可以說??纯碙inux下TCP/IP的那么多參數(shù)就知道了(順便說一下,你也許不喜歡Linux,但是你不能否認(rèn)Linux給我們了很多可以進(jìn)行內(nèi)核調(diào)優(yōu)的權(quán)力)。強(qiáng)烈建議大家看看《TCP/IP 詳解 卷1:協(xié)議》這本書。我在這里只講一些概念上的東西。

A) TCP調(diào)優(yōu)

我們知道TCP鏈接是有很多開銷的,一個(gè)是會(huì)占用文件描述符,另一個(gè)是會(huì)開緩存,一般來說一個(gè)系統(tǒng)可以支持的TCP鏈接數(shù)是有限的,我們需要清楚地認(rèn)識(shí)到TCP鏈接對系統(tǒng)的開銷是很大的。正是因?yàn)門CP是耗資源的,所以,很多攻擊都是讓你系統(tǒng)上出現(xiàn)大量的TCP鏈接,把你的系統(tǒng)資源耗盡。比如著名的SYNC Flood攻擊。

所以,我們要注意配置KeepAlive參數(shù),這個(gè)參數(shù)的意思是定義一個(gè)時(shí)間,如果鏈接上沒有數(shù)據(jù)傳輸,系統(tǒng)會(huì)在這個(gè)時(shí)間發(fā)一個(gè)包,如果沒有收到回應(yīng),那么TCP就認(rèn)為鏈接斷了,然后就會(huì)把鏈接關(guān)閉,這樣可以回收系統(tǒng)資源開銷。(注:HTTP層上也有KeepAlive參數(shù))對于像HTTP這樣的短鏈接,設(shè)置一個(gè)1-2分鐘的keepalive非常重要。這可以在一定程度上防止DoS攻擊。有下面幾個(gè)參數(shù)(下面這些參數(shù)的值僅供參考):

  1. net.ipv4.tcp_keepalive_probes = 5
  2. net.ipv4.tcp_keepalive_intvl = 20
  3. net.ipv4.tcp_fin_timeout = 30

對于TCP的TIME_WAIT這個(gè)狀態(tài),主動(dòng)關(guān)閉的一方進(jìn)入TIME_WAIT狀態(tài),TIME_WAIT狀態(tài)將持續(xù)2個(gè)MSL(Max Segment Lifetime),默認(rèn)為4分鐘,TIME_WAIT狀態(tài)下的資源不能回收。有大量的TIME_WAIT鏈接的情況一般是在HTTP服務(wù)器上。對此,有兩個(gè)參數(shù)需要注意,

  1. net.ipv4.tcp_tw_reuse=1
  2. net.ipv4.tcp_tw_recycle=1

前者表示重用TIME_WAIT,后者表示回收TIME_WAIT的資源。

TCP還有一個(gè)重要的概念叫RWIN(TCP Receive Window Size),這個(gè)東西的意思是,我一個(gè)TCP鏈接在沒有向Sender發(fā)出ack時(shí)可以接收到的最大的數(shù)據(jù)包。為什么這個(gè)很重要?因?yàn)槿绻鸖ender沒有收到Receiver發(fā)過來ack,Sender就會(huì)停止發(fā)送數(shù)據(jù)并會(huì)等一段時(shí)間,如果超時(shí),那么就會(huì)重傳。這就是為什么TCP鏈接是可靠鏈接的原因。重傳還不是最嚴(yán)重的,如果有丟包發(fā)生的話,TCP的帶寬使用率會(huì)馬上受到影響(會(huì)盲目減半),再丟包,再減半,然后如果不丟包了,就逐步恢復(fù)。相關(guān)參數(shù)如下:

  1. net.core.wmem_default = 8388608
  2. net.core.rmem_default = 8388608
  3. net.core.rmem_max = 16777216
  4. net.core.wmem_max = 16777216

一般來說,理論上的RWIN應(yīng)該設(shè)置成:吞吐量 * 回路時(shí)間。Sender端的buffer應(yīng)該和RWIN有一樣的大小,因?yàn)镾ender端發(fā)送完數(shù)據(jù)后要等Receiver端確認(rèn),如果網(wǎng)絡(luò)延時(shí)很大,buffer過小了,確認(rèn)的次數(shù)就會(huì)多,于是性能就不高,對網(wǎng)絡(luò)的利用率也就不高了。也就是說,對于延遲大的網(wǎng)絡(luò),我們需要大的buffer,這樣可以少一點(diǎn)ack,多一些數(shù)據(jù),對于響應(yīng)快一點(diǎn)的網(wǎng)絡(luò),可以少一些buffer。因?yàn)?,如果有丟包(沒有收到ack),buffer過大可能會(huì)有問題,因?yàn)檫@會(huì)讓TCP重傳所有的數(shù)據(jù),反而影響網(wǎng)絡(luò)性能。(當(dāng)然,網(wǎng)絡(luò)差的情況下,就別玩什么高性能了) 所以,高性能的網(wǎng)絡(luò)重要的是要讓網(wǎng)絡(luò)丟包率非常非常地小(基本上是用在LAN里),如果網(wǎng)絡(luò)基本是可信的,這樣用大一點(diǎn)的buffer會(huì)有更好的網(wǎng)絡(luò)傳輸性能(來來回回太多太影響性能了)。

另外,我們想一想,如果網(wǎng)絡(luò)質(zhì)量非常好,基本不丟包,而業(yè)務(wù)上我們不怕偶爾丟幾個(gè)包,如果是這樣的話,那么,我們?yōu)槭裁床挥盟俣雀斓腢DP呢?你想過這個(gè)問題了嗎?

B)UDP調(diào)優(yōu)

說到UDP的調(diào)優(yōu),有一些事我想重點(diǎn)說一樣,那就是MTU——最大傳輸單元(其實(shí)這對TCP也一樣,因?yàn)檫@是鏈路層上的東西)。所謂最大傳輸單元,你可以想像成是公路上的公交車,假設(shè)一個(gè)公交車可以最多坐70人,帶寬就像是公路的車道數(shù)一樣,如果一條路上最多可以容下100輛公交車,那意味著我最多可以運(yùn)送7000人,但是如果公交車坐不滿,比如平均每輛車只有20人,那么我只運(yùn)送了2000人,于是我公路資源(帶寬資源)就被浪費(fèi)了。 所以,我們對于一個(gè)UDP的包,我們要盡量地讓他大到MTU的最大尺寸再往網(wǎng)絡(luò)上傳,這樣可以最大化帶寬利用率。對于這個(gè)MTU,以太網(wǎng)是1500字節(jié),光纖是4352字節(jié),802.11無線網(wǎng)是7981。但是,當(dāng)我們用TCP/UDP發(fā)包的時(shí)候,我們的有效負(fù)載Payload要低于這個(gè)值,因?yàn)镮P協(xié)議會(huì)加上20個(gè)字節(jié),UDP會(huì)加上8個(gè)字節(jié)(TCP加的更多),所以,一般來說,你的一個(gè)UDP包的最大應(yīng)該是1500-8-20=1472,這是你的數(shù)據(jù)的大小。當(dāng)然,如果你用光纖的話, 這個(gè)值就可以更大一些。(順便說一下,對于某些NB的千光以態(tài)網(wǎng)網(wǎng)卡來說,在網(wǎng)卡上,網(wǎng)卡硬件如果發(fā)現(xiàn)你的包的大小超過了MTU,其會(huì)幫你做fragment,到了目標(biāo)端又會(huì)幫你做重組,這就不需要你在程序中處理了)

再多說一下,使用Socket編程的時(shí)候,你可以使用setsockopt() 設(shè)置 SO_SNDBUF/SO_RCVBUF 的大小,TTL和KeepAlive這些關(guān)鍵的設(shè)置,當(dāng)然,還有很多,具體你可以查看一下Socket的手冊。

最后說一點(diǎn),UDP還有一個(gè)最大的好處是multi-cast多播,這個(gè)技術(shù)對于你需要在內(nèi)網(wǎng)里通知多臺(tái)結(jié)點(diǎn)時(shí)非常方便和高效。而且,多播這種技術(shù)對于機(jī)會(huì)的水平擴(kuò)展(需要增加機(jī)器來偵聽多播信息)也很有利。

C)網(wǎng)卡調(diào)優(yōu)

對于網(wǎng)卡,我們也是可以調(diào)優(yōu)的,這對于千兆以及網(wǎng)網(wǎng)卡非常必要,在Linux下,我們可以用ifconfig查看網(wǎng)上的統(tǒng)計(jì)信息,如果我們看到overrun上有數(shù)據(jù),我們就可能需要調(diào)整一下txqueuelen的尺寸(一般默認(rèn)為1000),我們可以調(diào)大一些,如:ifconfig eth0 txqueuelen 5000。Linux下還有一個(gè)命令叫:ethtool可以用于設(shè)置網(wǎng)卡的緩沖區(qū)大小。在Windows下,我們可以在網(wǎng)卡適配器中的高級選項(xiàng)卡中調(diào)整相關(guān)的參數(shù)(如:Receive Buffers, Transmit Buffer等,不同的網(wǎng)卡有不同的參數(shù))。把Buffer調(diào)大對于需要大數(shù)據(jù)量的網(wǎng)絡(luò)傳輸非常有效。

D)其它網(wǎng)絡(luò)性能

關(guān)于多路復(fù)用技術(shù),也就是用一個(gè)線程來管理所有的TCP鏈接,有三個(gè)系統(tǒng)調(diào)用要重點(diǎn)注意:一個(gè)是select,這個(gè)系統(tǒng)調(diào)用只支持上限1024個(gè)鏈接,第二個(gè)是poll,其可以突破1024的限制,但是select和poll本質(zhì)上是使用的輪詢機(jī)制,輪詢機(jī)制在鏈接多的時(shí)候性能很差,因主是O(n)的算法,所以,epoll出現(xiàn)了,epoll是操作系統(tǒng)內(nèi)核支持的,僅當(dāng)在鏈接活躍時(shí),操作系統(tǒng)才會(huì)callback,這是由操作系統(tǒng)通知觸發(fā)的,但其只有Linux Kernel 2.6以后才支持(準(zhǔn)確說是2.5.44中引入的),當(dāng)然,如果所有的鏈接都是活躍的,過多的使用epoll_ctl可能會(huì)比輪詢的方式還影響性能,不過影響的不大。

另外,關(guān)于一些和DNS Lookup的系統(tǒng)調(diào)用要小心,比如:gethostbyaddr/gethostbyname,這個(gè)函數(shù)可能會(huì)相當(dāng)?shù)馁M(fèi)時(shí),因?yàn)槠湟骄W(wǎng)絡(luò)上去找域名,因?yàn)镈NS的遞歸查詢,會(huì)導(dǎo)致嚴(yán)重超時(shí),而又不能通過設(shè)置什么參數(shù)來設(shè)置time out,對此你可以通過配置hosts文件來加快速度,或是自己在內(nèi)存中管理對應(yīng)表,在程序啟動(dòng)時(shí)查好,而不要在運(yùn)行時(shí)每次都查。另外,在多線程下面,gethostbyname會(huì)一個(gè)更嚴(yán)重的問題,就是如果有一個(gè)線程的gethostbyname發(fā)生阻塞,其它線程都會(huì)在gethostbyname處發(fā)生阻塞,這個(gè)比較變態(tài),要小心。(你可以試試GNU的gethostbyname_r(),這個(gè)的性能要好一些) 這種到網(wǎng)上找信息的東西很多,比如,如果你的Linux使用了NIS,或是NFS,某些用戶或文件相關(guān)的系統(tǒng)調(diào)用就很慢,所以要小心。

4.4)系統(tǒng)調(diào)優(yōu)

A)I/O模型

前面說到過select/poll/epoll這三個(gè)系統(tǒng)調(diào)用,我們都知道,Unix/Linux下把所有的設(shè)備都當(dāng)成文件來進(jìn)行I/O,所以,那三個(gè)操作更應(yīng)該算是I/O相關(guān)的系統(tǒng)調(diào)用。說到 I/O模型,這對于我們的I/O性能相當(dāng)重要,我們知道,Unix/Linux經(jīng)典的I/O方式是(關(guān)于Linux下的I/O模型,大家可以讀一下這篇文章《使用異步I/O大大提高性能》):

第一種,同步阻塞式I/O,這個(gè)不說了。

第二種,同步無阻塞方式。其通過fctnl設(shè)置 O_NONBLOCK 來完成。

第三種,對于select/poll/epoll這三個(gè)是I/O不阻塞,但是在事件上阻塞,算是:I/O異步,事件同步的調(diào)用。

第四種,AIO方式。這種I/O 模型是一種處理與 I/O 并行的模型。I/O請求會(huì)立即返回,說明請求已經(jīng)成功發(fā)起了。在后臺(tái)完成I/O操作時(shí),向應(yīng)用程序發(fā)起通知,通知有兩種方式:一種是產(chǎn)生一個(gè)信號(hào),另一種是執(zhí)行一個(gè)基于線程的回調(diào)函數(shù)來完成這次 I/O 處理過程。

第四種因?yàn)闆]有任何的阻塞,無論是I/O上,還是事件通知上,所以,其可以讓你充分地利用CPU,比起第二種同步無阻塞好處就是,第二種要你一遍一遍地去輪詢。Nginx之所所以高效,是其使用了epoll和AIO的方式來進(jìn)行I/O的。

再說一下Windows下的I/O模型,

a)一個(gè)是WriteFile系統(tǒng)調(diào)用,這個(gè)系統(tǒng)調(diào)用可以是同步阻塞的,也可以是同步無阻塞的,關(guān)于看文件是不是以O(shè)verlapped打開的。關(guān)于同步無阻塞,需要設(shè)置其最后一個(gè)參數(shù)Overlapped,微軟叫Overlapped I/O,你需要WaitForSingleObject才能知道有沒有寫完成。這個(gè)系統(tǒng)調(diào)用的性能可想而知。

b)另一個(gè)叫WriteFileEx的系統(tǒng)調(diào)用,其可以實(shí)現(xiàn)異步I/O,并可以讓你傳入一個(gè)callback函數(shù),等I/O結(jié)束后回調(diào)之, 但是這個(gè)回調(diào)的過程Windows是把callback函數(shù)放到了APC(Asynchronous Procedure Calls)的隊(duì)列中,然后,只用當(dāng)應(yīng)用程序當(dāng)前線程成為可被通知狀態(tài)(Alterable)時(shí),才會(huì)被回調(diào)。只有當(dāng)你的線程使用了這幾個(gè)函數(shù)時(shí)WaitForSingleObjectExWaitForMultipleObjectsExMsgWaitForMultipleObjectsExSignalObjectAndWait和 SleepEx,線程才會(huì)成為Alterable狀態(tài)??梢姡@個(gè)模型,還是有wait,所以性能也不高。

c)然后是IOCP – IO Completion Port,IOCP會(huì)把I/O的結(jié)果放在一個(gè)隊(duì)列中,但是,偵聽這個(gè)隊(duì)列的不是主線程,而是專門來干這個(gè)事的一個(gè)或多個(gè)線程去干(老的平臺(tái)要你自己創(chuàng)建線程,新的平臺(tái)是你可以創(chuàng)建一個(gè)線程池)。IOCP是一個(gè)線程池模型。這個(gè)和Linux下的AIO模型比較相似,但是實(shí)現(xiàn)方式和使用方式完全不一樣。

當(dāng)然,真正提高I/O性能方式是把和外設(shè)的I/O的次數(shù)降到最低,最好沒有,所以,對于讀來說,內(nèi)存cache通常可以從質(zhì)上提升性能,因?yàn)閮?nèi)存比外設(shè)快太多了。對于寫來說,cache住要寫的數(shù)據(jù),少寫幾次,但是cache帶來的問題就是實(shí)時(shí)性的問題,也就是latency會(huì)變大,我們需要在寫的次數(shù)上和相應(yīng)上做權(quán)衡。

B)多核CPU調(diào)優(yōu)

關(guān)于CPU的多核技術(shù),我們知道,CPU0是很關(guān)鍵的,如果0號(hào)CPU被用得過狠的話,別的CPU性能也會(huì)下降,因?yàn)镃PU0是有調(diào)整功能的,所以,我們不能任由操作系統(tǒng)負(fù)載均衡,因?yàn)槲覀冏约焊私庾约旱某绦颍裕覀兛梢允謩?dòng)地為其分配CPU核,而不會(huì)過多地占用CPU0,或是讓我們關(guān)鍵進(jìn)程和一堆別的進(jìn)程擠在一起。

  • 對于Windows來說,我們可以通過“任務(wù)管理器”中的“進(jìn)程”而中右鍵菜單中的“設(shè)置相關(guān)性……”(Set Affinity…)來設(shè)置并限制這個(gè)進(jìn)程能被運(yùn)行在哪些核上。
  • 對于Linux來說,可以使用taskset命令來設(shè)置(你可以通過安裝schedutils來安裝這個(gè)命令:apt-get install schedutils)

多核CPU還有一個(gè)技術(shù)叫NUMA技術(shù)(Non-Uniform Memory Access)。傳統(tǒng)的多核運(yùn)算是使用SMP(Symmetric Multi-Processor )模式,多個(gè)處理器共享一個(gè)集中的存儲(chǔ)器和I/O總線。于是就會(huì)出現(xiàn)一致存儲(chǔ)器訪問的問題,一致性通常意味著性能問題。NUMA模式下,處理器被劃分成多個(gè)node, 每個(gè)node有自己的本地存儲(chǔ)器空間。關(guān)于NUMA的一些技術(shù)細(xì)節(jié),你可以查看一下這篇文章《Linux 的 NUMA 技術(shù)》,在Linux下,對NUMA調(diào)優(yōu)的命令是:numactl 。如下面的命令:(指定命令“myprogram arg1 arg2”運(yùn)行在node 0 上,其內(nèi)存分配在node 0 和 1上)

1numactl --cpubind=0 --membind=0,1 myprogram arg1 arg2

當(dāng)然,上面這個(gè)命令并不好,因?yàn)閮?nèi)存跨越了兩個(gè)node,這非常不好。最好的方式是只讓程序訪問和自己運(yùn)行一樣的node,如:

1$ numactl --membind 1 --cpunodebind 1 --localalloc myapplication

C)文件系統(tǒng)調(diào)優(yōu)

關(guān)于文件系統(tǒng),因?yàn)槲募到y(tǒng)也是有cache的,所以,為了讓文件系統(tǒng)有最大的性能。首要的事情就是分配足夠大的內(nèi)存,這個(gè)非常關(guān)鍵,在Linux下可以使用free命令來查看 free/used/buffers/cached,理想來說,buffers和cached應(yīng)該有40%左右。然后是一個(gè)快速的硬盤控制器,SCSI會(huì)好很多。最快的是Intel SSD 固態(tài)硬盤,速度超快,但是寫次數(shù)有限。

接下來,我們就可以調(diào)優(yōu)文件系統(tǒng)配置了,對于Linux的Ext3/4來說,幾乎在所有情況下都有所幫助的一個(gè)參數(shù)是關(guān)閉文件系統(tǒng)訪問時(shí)間,在/etc/fstab下看看你的文件系統(tǒng) 有沒有noatime參數(shù)(一般來說應(yīng)該有),還有一個(gè)是dealloc,它可以讓系統(tǒng)在最后時(shí)刻決定寫入文件發(fā)生時(shí)使用哪個(gè)塊,可優(yōu)化這個(gè)寫入程序。還要注間一下三種日志模式:data=journal、data=ordered和data=writeback。默認(rèn)設(shè)置data=ordered提供性能和防護(hù)之間的最佳平衡。

當(dāng)然,對于這些來說,ext4的默認(rèn)設(shè)置基本上是最佳優(yōu)化了。

這里介紹一個(gè)Linux下的查看I/O的命令—— iotop,可以讓你看到各進(jìn)程的磁盤讀寫的負(fù)載情況。

其它還有一些關(guān)于NFS、XFS的調(diào)優(yōu),大家可以上google搜索一些相關(guān)優(yōu)化的文章看看。關(guān)于各文件系統(tǒng),大家可以看一下這篇文章——《Linux日志文件系統(tǒng)及性能分析

4.5)數(shù)據(jù)庫調(diào)優(yōu)

數(shù)據(jù)庫調(diào)優(yōu)并不是我的強(qiáng)項(xiàng),我就僅用我非常有限的知識(shí)說上一些吧。注意,下面的這些東西并不一定正確,因?yàn)樵诓煌臉I(yè)務(wù)場景,不同的數(shù)據(jù)庫設(shè)計(jì)下可能會(huì)得到完全相反的結(jié)論,所以,我僅在這里做一些一般性的說明,具體問題還要具體分析。

A)數(shù)據(jù)庫引擎調(diào)優(yōu)

我對數(shù)據(jù)庫引擎不是熟,但是有幾個(gè)事情我覺得是一定要去了解的。

  • 數(shù)據(jù)庫的鎖的方式。這個(gè)非常非常地重要。并發(fā)情況下,鎖是非常非常影響性能的。各種隔離級別,行鎖,表鎖,頁鎖,讀寫鎖,事務(wù)鎖,以及各種寫優(yōu)先還是讀優(yōu)先機(jī)制。性能最高的是不要鎖,所以,分庫分表,冗余數(shù)據(jù),減少一致性事務(wù)處理,可以有效地提高性能。NoSQL就是犧牲了一致性和事務(wù)處理,并冗余數(shù)據(jù),從而達(dá)到了分布式和高性能。
  • 數(shù)據(jù)庫的存儲(chǔ)機(jī)制。不但要搞清楚各種類型字段是怎么存儲(chǔ)的,更重要的是數(shù)據(jù)庫的數(shù)據(jù)存儲(chǔ)方式,是怎么分區(qū)的,是怎么管理的,比如Oracle的數(shù)據(jù)文件,表空間,段,等等。了解清楚這個(gè)機(jī)制可以減輕很多的I/O負(fù)載。比如:MySQL下使用show engines;可以看到各種存儲(chǔ)引擎的支持。不同的存儲(chǔ)引擎有不同的側(cè)重點(diǎn),針對不同的業(yè)務(wù)或數(shù)據(jù)庫設(shè)計(jì)會(huì)讓你有不同的性能。
  • 數(shù)據(jù)庫的分布式策略。最簡單的就是復(fù)制或鏡像,需要了解分布式的一致性算法,或是主主同步,主從同步。通過了解這種技術(shù)的機(jī)理可以做到數(shù)據(jù)庫級別的水平擴(kuò)展。

B)SQL語句優(yōu)化

關(guān)于SQL語句的優(yōu)化,首先也是要使用工具,比如:MySQL SQL Query Analyzer,Oracle SQL Performance Analyzer,或是微軟SQL Query Analyzer,基本上來說,所有的RMDB都會(huì)有這樣的工具,來讓你查看你的應(yīng)用中的SQL的性能問題。 還可以使用explain來看看SQL語句最終Execution Plan會(huì)是什么樣的。

還有一點(diǎn)很重要,數(shù)據(jù)庫的各種操作需要大量的內(nèi)存,所以服務(wù)器的內(nèi)存要夠,優(yōu)其應(yīng)對那些多表查詢的SQL語句,那是相當(dāng)?shù)暮膬?nèi)存。

下面我根據(jù)我有限的數(shù)據(jù)庫SQL的知識(shí)說幾個(gè)會(huì)有性能問題的SQL:

全表檢索。比如:select * from user where lastname = “xxxx”,這樣的SQL語句基本上是全表查找,線性復(fù)雜度O(n),記錄數(shù)越多,性能也越差(如:100條記錄的查找要50ms,一百萬條記錄需要5分鐘)。對于這種情況,我們可以有兩種方法提高性能:一種方法是分表,把記錄數(shù)降下來,另一種方法是建索引(為lastname建索引)。索引就像是key-value的數(shù)據(jù)結(jié)構(gòu)一樣,key就是where后面的字段,value就是物理行號(hào),對索引的搜索復(fù)雜度是基本上是O(log(n)) ——用B-Tree實(shí)現(xiàn)索引(如:100條記錄的查找要50ms,一百萬條記錄需要100ms)。

索引。對于索引字段,最好不要在字段上做計(jì)算、類型轉(zhuǎn)換、函數(shù)、空值判斷、字段連接操作,這些操作都會(huì)破壞索引原本的性能。當(dāng)然,索引一般都出現(xiàn)在Where或是Order by字句中,所以對Where和Order by子句中的子段最好不要進(jìn)行計(jì)算操作,或是加上什么NOT之類的,或是使用什么函數(shù)。

多表查詢。關(guān)系型數(shù)據(jù)庫最多的操作就是多表查詢,多表查詢主要有三個(gè)關(guān)鍵字,EXISTS,IN和JOIN(關(guān)于各種join,可以參看圖解圖解SQL的Join一文)?;緛碚f,現(xiàn)代的數(shù)據(jù)引擎對SQL語句優(yōu)化得都挺好的,JOIN和IN/EXISTS在結(jié)果上有些不同,但性能基本上都差不多。有人說,EXISTS的性能要好于IN,IN的性能要好于JOIN,我各人覺得,這個(gè)還要看你的數(shù)據(jù)、schema和SQL語句的復(fù)雜度,對于一般的簡單的情況來說,都差不多,所以千萬不要使用過多的嵌套,千萬不要讓你的SQL太復(fù)雜,寧可使用幾個(gè)簡單的SQL也不要使用一個(gè)巨大無比的嵌套N級的SQL。還有人說,如果兩個(gè)表的數(shù)據(jù)量差不多,Exists的性能可能會(huì)高于In,In可能會(huì)高于Join,如果這兩個(gè)表一大一小,那么子查詢中,Exists用大表,In則用小表。這個(gè),我沒有驗(yàn)證過,放在這里讓大家討論吧。另,有一篇關(guān)于SQL Server的文章大家可以看看《IN vs JOIN vs EXISTS

JOIN操作。有人說,Join表的順序會(huì)影響性能,只要Join的結(jié)果集是一樣,性能和join的次序無關(guān)。因?yàn)楹笈_(tái)的數(shù)據(jù)庫引擎會(huì)幫我們優(yōu)化的。Join有三種實(shí)現(xiàn)算法,嵌套循環(huán),排序歸并,和Hash式的Join。(MySQL只支持第一種)

  • 嵌套循環(huán),就好像是我們常見的多重嵌套循環(huán)。注意,前面的索引說過,數(shù)據(jù)庫的索引查找算法用的是B-Tree,這是O(log(n))的算法,所以,整個(gè)算法復(fù)法度應(yīng)該是O(log(n)) * O(log(m)) 這樣的。
  • Hash式的Join,主要解決嵌套循環(huán)的O(log(n))的復(fù)雜,使用一個(gè)臨時(shí)的hash表來標(biāo)記。
  • 排序歸并,意思是兩個(gè)表按照查詢字段排好序,然后再合并。當(dāng)然,索引字段一般是排好序的。

還是那句話,具體要看什么樣的數(shù)據(jù),什么樣的SQL語句,你才知道用哪種方法是最好的。

部分結(jié)果集。我們知道MySQL里的Limit關(guān)鍵字,Oracle里的rownum,SQL Server里的Top都是在限制前幾條的返回結(jié)果。這給了我們數(shù)據(jù)庫引擎很多可以調(diào)優(yōu)的空間。一般來說,返回top n的記錄數(shù)據(jù)需要我們使用order by,注意在這里我們需要為order by的字段建立索引。有了被建索引的order by后,會(huì)讓我們的select語句的性能不會(huì)被記錄數(shù)的所影響。使用這個(gè)技術(shù),一般來說我們前臺(tái)會(huì)以分頁方式來顯現(xiàn)數(shù)據(jù),Mysql用的是OFFSET,SQL Server用的是FETCH NEXT,這種Fetch的方式其實(shí)并不好是線性復(fù)雜度,所以,如果我們能夠知道order by字段的第二頁的起始值,我們就可以在where語句里直接使用>=的表達(dá)式來select,這種技術(shù)叫seek,而不是fetch,seek的性能比fetch要高很多。

字符串。正如我前面所說的,字符串操作對性能上有非常大的惡夢,所以,能用數(shù)據(jù)的情況就用數(shù)字,比如:時(shí)間,工號(hào),等。

全文檢索。千萬不要用Like之類的東西來做全文檢索,如果要玩全文檢索,可以嘗試使用Sphinx

其它。

  • 不要select *,而是明確指出各個(gè)字段,如果有多個(gè)表,一定要在字段名前加上表名,不要讓引擎去算。
  • 不要用Having,因?yàn)槠湟闅v所有的記錄。性能差得不能再差。
  • 盡可能地使用UNION ALL 取代 UNION。
  • 索引過多,insert和delete就會(huì)越慢。而update如果update多數(shù)索引,也會(huì)慢,但是如果只update一個(gè),則只會(huì)影響一個(gè)索引表。
  • 等等。

關(guān)于SQL語句的優(yōu)化,網(wǎng)上有很多文章, 不同的數(shù)據(jù)庫引擎有不同的優(yōu)化技巧,正如本站以前轉(zhuǎn)發(fā)的《MySQL性能優(yōu)化的最佳20+條經(jīng)驗(yàn)

先寫這么多吧,歡迎大家指正補(bǔ)充。

【編輯推薦】

  1. 性能偵探: 哪兒出問題了?
  2. 服務(wù)器性能指標(biāo):撥開服務(wù)器評測體系迷霧
  3. Clojure世界:如何做性能測試
責(zé)任編輯:Yeva 來源: coolshell
相關(guān)推薦

2012-06-21 09:43:45

2017-07-21 08:55:13

TomcatJVM容器

2021-03-04 08:39:21

SparkRDD調(diào)優(yōu)

2011-03-10 14:40:54

LAMPMysql

2011-05-20 15:02:01

Oracle性能調(diào)優(yōu)

2011-11-14 10:28:23

2020-11-30 11:40:35

NginxLinux性能調(diào)優(yōu)

2011-03-18 11:21:48

2013-02-28 10:15:14

Ubuntu性能調(diào)優(yōu)故障排查

2024-12-04 15:49:29

2021-11-07 23:49:19

SQL數(shù)據(jù)庫工具

2011-03-21 09:35:38

LAMP調(diào)優(yōu)網(wǎng)絡(luò)文件

2020-11-09 07:34:49

JVM性能監(jiān)控

2013-03-20 17:18:07

Linux系統(tǒng)性能調(diào)優(yōu)

2011-03-18 11:13:07

LAMP度量性能

2016-03-25 09:59:38

性能調(diào)優(yōu)LinuxMySQL

2011-01-20 10:17:31

ibmdwWebSphere

2020-06-10 10:40:03

JavaJMH字符串

2013-02-28 13:37:59

系統(tǒng)性能調(diào)優(yōu)技術(shù)實(shí)戰(zhàn)

2014-02-21 10:40:39

GlusterFS性能調(diào)優(yōu)
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)

亚州精品天堂中文字幕| 日韩一区二区三区av| 亚洲午夜激情| 精品久久久久成人码免费动漫| 欧美gv在线| 91视频国产观看| 国产精品嫩草视频| 九九视频在线观看| 欧美精品第一区| 精品美女一区二区三区| www日韩在线观看| 直接在线观看的三级网址| 99久久伊人精品| 成人午夜一级二级三级| 丁香六月婷婷综合| 亚洲女同另类| 伊是香蕉大人久久| 人体私拍套图hdxxxx| 日韩漫画puputoon| 午夜a成v人精品| 中文字幕中文字幕在线中心一区 | 亚洲一区电影在线观看| 草草视频在线一区二区| 欧美日韩一级片在线观看| 青青草国产免费| 男人天堂久久久| 久久夜色精品一区| 国产激情美女久久久久久吹潮| 成人黄色激情视频| 亚洲自拍另类| 欧美激情国产高清| 尤物在线免费视频| 欧美日韩一区二区三区视频播放| 亚洲韩国欧洲国产日产av| 97超碰人人爽| 国产情侣一区二区三区| 色成人在线视频| 国产精品久久中文字幕| 污污的视频在线观看| 中文字幕在线不卡| 婷婷久久伊人| www免费网站在线观看| 91看片淫黄大片一级| 国产精品伊人日日| 性生交生活影碟片| 国产成人亚洲综合a∨婷婷| 国产精品第8页| 免费的毛片视频| 免费日韩av片| 日韩美女免费线视频| 中文字幕亚洲高清| 日韩五码在线| 欧美一区二区.| 成人毛片18女人毛片| 亚洲成人在线| 88国产精品欧美一区二区三区| 久久久久久天堂| 午夜天堂精品久久久久| 久久99精品视频一区97| 久久午夜鲁丝片午夜精品| 欧美日韩视频| 亚州欧美日韩中文视频| 好看的av在线| 日韩电影在线看| 国产欧美日韩专区发布| 91片黄在线观看喷潮| 韩国av一区二区三区| 成人淫片在线看| 成人小说亚洲一区二区三区 | 欧美乱妇20p| 国产xxxxhd| а√中文在线天堂精品| 日韩大片在线观看视频| 免费看污片的网站| 小处雏高清一区二区三区| 久久亚洲一区二区三区四区五区高| 日韩欧美国产成人精品免费| 欧美精品日韩| 91黑丝高跟在线| 免费看污视频的网站| 蜜臀99久久精品久久久久久软件| 成人欧美一区二区三区在线| 黄片毛片在线看| 久久香蕉国产线看观看99| 亚洲高清资源综合久久精品| 国产美女福利在线| 午夜国产精品影院在线观看| 日本新janpanese乱熟| 在线观看欧美| 日韩成人在线播放| 99热6这里只有精品| 亚洲国产黄色| 成人欧美一区二区三区黑人| 天天躁日日躁狠狠躁伊人| 国产亚洲欧美日韩在线一区| 午夜探花在线观看| 91超碰在线免费| 欧美性猛片aaaaaaa做受| 99久久综合网| 成人3d精品动漫精品一二三| 欧美大片免费看| 天堂av免费在线观看| 国产很黄免费观看久久| 欧洲精品久久| 国产丝袜在线观看视频| 欧美视频一区二| 久久久久国产精品无码免费看| 日韩系列欧美系列| 91精品国产色综合| 国产日韩在线观看一区| 国产亚洲欧美激情| 水蜜桃色314在线观看| 婷婷久久免费视频| 亚洲日本欧美日韩高观看| 久久黄色免费视频| 久久精品国产**网站演员| 精品国产电影| 日本不卡影院| 欧美精品免费视频| 亚洲第一综合网| 国产精品久久久免费| 97netav| 秋霞成人影院| 欧洲精品在线观看| 欧美精品黑人猛交高潮| 欧美日韩三区| 97超级碰碰| 中文字幕在线观看网站| 欧美亚男人的天堂| www在线观看免费视频| 99精品99| 国产精品一区二区三区精品| h网站久久久| 在线电影一区二区三区| 日本高清黄色片| 日韩国产欧美在线观看| 欧美一区激情视频在线观看| 日韩电影毛片| 日韩激情片免费| 国产性xxxx高清| 成人黄色小视频在线观看| 欧美黄色免费网址| 亚洲视频国产| 久久理论片午夜琪琪电影网| www.黄色一片| 亚洲国产一区二区视频| 亚洲欧洲日韩综合| 欧美午夜在线| 激情伦成人综合小说| 成人在线免费观看黄色| 亚洲激情在线观看| 中文字幕一区二区三区精品| 91色在线porny| 日本成年人网址| 伊人春色精品| 国产精品毛片a∨一区二区三区|国| 国产午夜视频在线观看| 在线看日本不卡| 日本精品久久久久中文| 久久国产综合精品| 热这里只有精品| jizz18欧美18| 欧美一级免费视频| 国产高清一级毛片在线不卡| 欧美日韩日日摸| 91视频青青草| 床上的激情91.| 丰满爆乳一区二区三区| 综合伊思人在钱三区| 国产精品黄视频| 成人免费在线| 亚洲精品不卡在线| 波多野结衣一区二区三区在线| 亚洲国产精华液网站w| 爱豆国产剧免费观看大全剧苏畅| 欧美成熟视频| 久久久久久久免费| 日韩欧美少妇| 欧美精品亚州精品| 天堂成人在线视频| 色婷婷久久99综合精品jk白丝 | 日韩欧美视频在线播放| 91黄在线观看| 欧美成人性网| 欧美xxxx综合视频| 神马精品久久| 制服.丝袜.亚洲.另类.中文| 久久综合激情网| 国产婷婷一区二区| 337p日本欧洲亚洲大胆张筱雨 | 午夜诱惑痒痒网| 在线亚洲伦理| 最新欧美日韩亚洲| 理论片一区二区在线| 国产精品入口尤物| 爱情岛论坛亚洲品质自拍视频网站 | 国产成人极品视频| av官网在线播放| 亚洲欧美一区二区三区久久 | 亚洲第一免费播放区| 久久影视中文字幕| 一区二区三区日本| 在线视频第一页| www.在线成人| 国产一区二区在线观看免费视频| 日韩午夜在线| 欧美美女黄色网| 精品视频99| 久久国产精品-国产精品| 精品国产第一国产综合精品| 青青a在线精品免费观看| 日韩欧美一起| 色偷偷偷综合中文字幕;dd| 天天色综合久久| 日韩精品资源二区在线| 中国黄色一级视频| 精品久久久国产精品999| 色在线观看视频| 国产精品午夜在线观看| 黄色在线观看av| 波多野结衣中文一区| 久久出品必属精品| 蜜臀99久久精品久久久久久软件| 男人天堂网视频| 99香蕉国产精品偷在线观看| 黄色成人在线免费观看| 天堂美国久久| 亚洲aⅴ天堂av在线电影软件| 西野翔中文久久精品国产| 福利视频一区二区三区| 日韩三级久久| 91精品国产一区二区三区动漫| 日韩一区二区三免费高清在线观看| 日韩av黄色在线观看| 欧美少妇精品| 欧美孕妇毛茸茸xxxx| xxx.xxx欧美| 久久免费视频网站| 污视频在线看网站| 欧美精品在线网站| 羞羞网站在线看| 久久国产精品亚洲| 青青在线视频| 欧美激情亚洲另类| www.综合网.com| 久久免费视频在线观看| 97天天综合网| 97av在线播放| 久久91导航| 国产精品扒开腿做爽爽爽男男 | 首页综合国产亚洲丝袜| 成人黄色片视频| 日韩高清一级片| 色乱码一区二区三区在线| 美女脱光内衣内裤视频久久网站 | 国产偷人视频免费| 久久精品中文| 亚欧在线免费观看| 麻豆精品在线看| 91欧美一区二区三区| 国产成人av在线影院| 俄罗斯黄色录像| 91色porny蝌蚪| 手机看片国产日韩| 亚洲精品日日夜夜| 精品成人免费视频| 欧洲视频一区二区| 91亚洲国产成人精品一区| 日韩欧美电影一区| 无码精品在线观看| 国产一区二区三区在线观看网站| 在线免费观看黄色网址| 欧美成在线视频| 国产无遮挡裸体视频在线观看| 国产99久久精品一区二区 夜夜躁日日躁| 日本欧美一区| 91久久精品一区二区别| 精品一区二区男人吃奶| 日韩在线三级| 午夜激情一区| av免费网站观看| 国产精品亚洲а∨天堂免在线| 星空大象在线观看免费播放| 久久一夜天堂av一区二区三区| 激情五月深爱五月| 亚洲香蕉伊在人在线观| 无码人妻黑人中文字幕| 欧美一区二区精品久久911| 午夜视频在线播放| 日韩三级成人av网| 嗯啊主人调教在线播放视频| 国产精品久在线观看| 大奶一区二区三区| 一区二区三区电影| 亚洲人成高清| 高潮一区二区三区| 97精品视频在线观看自产线路二| 在线观看日本黄色| 精品国产成人av| 国产精品区在线观看| 亚洲男人的天堂在线播放| h片在线免费观看| 国产精品久久久久久久久久新婚| 超碰97久久国产精品牛牛| 亚洲精品乱码视频| 国产精品人人爽人人做我的可爱| 午夜激情影院在线观看| 久久先锋影音av| 国产真实乱偷精品视频| 欧美人伦禁忌dvd放荡欲情| 天天躁日日躁狠狠躁伊人| 精品中文字幕视频| 美女久久久久久| 欧美日本国产精品| 99riav1国产精品视频| 亚洲熟女乱综合一区二区| 国产精品污www在线观看| 国产在线观看黄色| 亚洲成人激情图| 在线观看午夜av| 91影视免费在线观看| 日韩视频在线观看| 午夜视频在线瓜伦| 91丨porny丨蝌蚪视频| 国产亚洲自拍av| 日韩美女天天操| 18av在线视频| 成人精品一区二区三区电影黑人| 欧美精品系列| 欧美黑人又粗又大又爽免费| 26uuu色噜噜精品一区二区| 久久精品无码人妻| 精品久久一二三区| 久草在线视频网站| 97人人模人人爽人人少妇| 欧美xxx在线观看| 久久久久久无码精品人妻一区二区| 日韩一区在线看| 亚洲中文字幕在线一区| 最新日韩中文字幕| 亚洲福利影视| 亚洲第一精品区| 国产在线精品视频| 紧身裙女教师波多野结衣| 91精品国产综合久久久久久久久久| 在线观看免费黄色| 国产欧美日韩最新| 欧美在线网站| 肉丝美足丝袜一区二区三区四| 一区二区三区日韩| 日日夜夜精品免费| 日韩av男人的天堂| 日韩毛片视频| 中文字幕一二三区| 亚洲制服丝袜av| 艳母动漫在线看| 国产999精品久久久| 日韩午夜电影网| 中文字幕 欧美 日韩| 亚洲成人动漫精品| 青梅竹马是消防员在线| 国产精品一区二区三区久久| 亚洲mv大片欧洲mv大片| 好吊操视频这里只有精品| 午夜精品一区二区三区电影天堂 | 久久久av电影| 日韩中文字幕| 91九色在线观看视频| 欧美激情资源网| 国产极品久久久| 欧美一区二区三区……| 手机亚洲手机国产手机日韩| 伊人成人免费视频| 五月婷婷色综合| av小片在线| av资源站久久亚洲| 首页亚洲欧美制服丝腿| 欧美被狂躁喷白浆精品| 亚洲精品黄网在线观看| 国产亚洲人成a在线v网站| 欧美 日韩 国产精品| 久久婷婷一区二区三区| 国产露脸国语对白在线| 91精品国产免费久久久久久 | 性欧美xxxx视频在线观看| 国产精品免费不| 国产男女无遮挡猛进猛出| 欧美日韩在线视频一区| 免费av在线网站| 免费亚洲精品视频| 国产一区二区三区香蕉| 青青草成人av| 久久这里有精品| 精品国精品国产自在久国产应用| 久久发布国产伦子伦精品| 欧美日韩激情视频| 亚洲精品白浆| 亚洲区一区二区三区| 99久久精品国产导航| 99在线小视频|