十大X86服務(wù)器常見(jiàn)故障——硬件篇
原創(chuàng)說(shuō)起X86平臺(tái)的CPU，我們可能會(huì)如數(shù)家珍的報(bào)出N多種，Inter的至強(qiáng)5600、至強(qiáng)7500，AMD強(qiáng)勁的12核心x86處理器--“Magny-Cours”（馬尼庫(kù)爾）等等。在它的基礎(chǔ)上，輔以帶ECC、ChipKill、熱插拔技術(shù)的內(nèi)存；防止數(shù)據(jù)異常丟失的RAID硬盤(pán)；提供不中斷電力供應(yīng)的冗余電源等等共同構(gòu)建出一個(gè)完整的X86服務(wù)器。
由于X86服務(wù)器和臺(tái)式機(jī)有著很多相似之處，從前期部署→中期維護(hù)→后期管理都有著異曲同工之妙。因此，X86應(yīng)該算是我們廣為熟知的架構(gòu)了。用得多了，遇到的故障自然不少，以下故障不知大家是否遇到過(guò)……
硬件故障篇
Top10 網(wǎng)卡
服務(wù)器網(wǎng)卡
故障回放：近幾日，內(nèi)網(wǎng)用戶通過(guò)代理服務(wù)器進(jìn)行連接時(shí)不太穩(wěn)定，ping的速度有時(shí)低于1ms，有時(shí)高達(dá)500多ms，數(shù)值相差之大也說(shuō)明了網(wǎng)絡(luò)時(shí)好時(shí)壞。起先判斷是蠕蟲(chóng)病毒作祟，但經(jīng)過(guò)詳細(xì)篩查，確定非病毒引發(fā)的故障；再對(duì)網(wǎng)線進(jìn)行測(cè)試，衰減、串?dāng)_、回波損耗等各項(xiàng)技術(shù)指標(biāo)都在正常指標(biāo)之內(nèi)，最后更換網(wǎng)卡故障才得以解決。
解決方案：我們知道一款優(yōu)秀的網(wǎng)卡除了擁有高速率外，還需要關(guān)注2個(gè)技術(shù)指標(biāo)，TOE（TCPOffloadEngine，TCP減負(fù)引擎）技術(shù)和RSS（Receive-sideScaling接收端調(diào)節(jié)）技術(shù)，它們能大幅減輕CPU的資源，解決了輸入/輸出流（I/O）的瓶頸，使網(wǎng)絡(luò)吞吐大幅提升，這兩項(xiàng)技術(shù)可以使系統(tǒng)的響應(yīng)指標(biāo)的TPS值能提升2.1到2.5倍，所以一塊好的網(wǎng)卡是保證服務(wù)器快速、穩(wěn)定連接的保障。
一般來(lái)說(shuō)，網(wǎng)卡出現(xiàn)故障的狀況較低，即便是損壞也可以使用獨(dú)立網(wǎng)卡代替，它的危害程度也不是很高。
危害程度：★★
控制難度：★
綜合評(píng)定：★☆
#p#
Top 9 風(fēng)扇
服務(wù)器風(fēng)扇組
故障回放：某服務(wù)器經(jīng)常死機(jī)或者自行重啟，在排除了軟件隱患后，把目光轉(zhuǎn)向了硬件平臺(tái)。檢測(cè)CPU、硬盤(pán)的溫度，全部超出標(biāo)準(zhǔn)，旋即拆開(kāi)服務(wù)器，熱氣涌出，原是機(jī)箱內(nèi)的風(fēng)扇壞掉了，溫度升高導(dǎo)致系統(tǒng)不穩(wěn)定。
解決方案：降低機(jī)箱內(nèi)的溫度主要是改變熱傳導(dǎo)率系數(shù)，塔式服務(wù)器通過(guò)增加風(fēng)扇物理數(shù)量和加快風(fēng)扇轉(zhuǎn)速來(lái)引動(dòng)氣流的循環(huán)，排除熱量。效果非常好，噪音非常大；機(jī)架式和刀片式服務(wù)器由于空間有限則利用新型的“智能風(fēng)扇”系統(tǒng)來(lái)控制空氣的流動(dòng)。
這種風(fēng)扇以“組”的方式出現(xiàn)，每個(gè)“組”包括兩個(gè)串聯(lián)而成的冗余風(fēng)扇，它們通過(guò)智能IC芯片來(lái)實(shí)時(shí)監(jiān)控風(fēng)扇的轉(zhuǎn)速和服務(wù)器內(nèi)部的溫度，溫度過(guò)高時(shí)，智能芯片調(diào)高風(fēng)扇的轉(zhuǎn)速以抑制熱量升高；低功耗運(yùn)行時(shí)智能風(fēng)扇系統(tǒng)將會(huì)自動(dòng)降低風(fēng)扇的轉(zhuǎn)速，減輕能耗的排放；而如果其中一個(gè)冗余風(fēng)扇損壞，另外一個(gè)風(fēng)扇會(huì)將其自身轉(zhuǎn)速提高一倍，完全彌補(bǔ)風(fēng)扇停轉(zhuǎn)引起的風(fēng)速不足情況，大大提高了服務(wù)器的穩(wěn)定性和可靠性。
危害程度：★★
控制難度：★★
綜合評(píng)定：★★
#p#
Top 8 電源模塊
服務(wù)器電源模塊
故障回放：某日清晨，剛剛走進(jìn)機(jī)房就感覺(jué)一股熱浪迎面撲來(lái)，查看溫濕度表，顯示室內(nèi)溫度已經(jīng)超過(guò)了35℃，原因是空調(diào)系統(tǒng)短路，上一層的空氣開(kāi)關(guān)跳閘，導(dǎo)致機(jī)房溫度急劇上升。立即檢查所有服務(wù)器，基本上都正常工作，只有一臺(tái)代理服務(wù)器出現(xiàn)了藍(lán)屏，重啟服務(wù)器，更換內(nèi)存都無(wú)法恢復(fù)，并且重裝系統(tǒng)過(guò)程中也同樣藍(lán)屏。
解決方案：對(duì)CPU、主板、內(nèi)存、硬盤(pán)進(jìn)行詳細(xì)診斷，全部正常，對(duì)電源進(jìn)行測(cè)試，發(fā)現(xiàn)電壓輸出非常不穩(wěn)定，將其拆開(kāi)，一顆濾波電容已經(jīng)漏液，想必是機(jī)房溫度升高，電源負(fù)載過(guò)重，高頻整流濾波電路內(nèi)的二極管被擊穿所致，盡管尚能供電，卻是非常的不穩(wěn)定。立即尋找同型號(hào)的電源予以置換，服務(wù)器得以恢復(fù)正常。
為了保證今后此類故障不在出現(xiàn)，所有服務(wù)器全部配備了冗余電源，一旦出現(xiàn)電源模塊損壞的故障可以立即恢復(fù)，大大降低了危害程度。
危害程度：★★★
控制難度：★★☆
綜合評(píng)定：★★☆
#p#
Top 7 CPU
服務(wù)器處理器
故障回放：筆者曾經(jīng)有一臺(tái)基于Intel雙核至強(qiáng)3040核心的服務(wù)器，開(kāi)機(jī)無(wú)顯示，系統(tǒng)指示燈瘋狂的閃爍，懷疑是CPU與主板的接觸不良，將其更換到多路服務(wù)器主板的另外一個(gè)CPU插槽之上，依舊沒(méi)有反應(yīng)。
解決方案：經(jīng)測(cè)量，CPU電壓居然降至1付以下，原來(lái)是CPU的VRM（VoltageRegulatorModule，電壓調(diào)節(jié)模塊）出現(xiàn)了故障，不能執(zhí)行主板上DC電路轉(zhuǎn)換，無(wú)法為CPU提供穩(wěn)定的工作電壓，只能更換CPU。
這個(gè)故障是比較致命，CPU的損壞將直接導(dǎo)致整個(gè)服務(wù)器的不可用，但是CPU本身的安全性是非常高的，故障率極低。所以在日常維護(hù)任務(wù)中，由于CPU的損壞導(dǎo)致的服務(wù)中斷較為少見(jiàn)，它的危害程度不算太高，如果是多路服務(wù)器更是不用擔(dān)心CPU損壞而帶來(lái)的服務(wù)器宕機(jī)了。
危害程度：★★★☆
控制難度：★★☆
綜合評(píng)定：★★★#p#
Top 6 內(nèi)存
mini服務(wù)器內(nèi)存
故障回放：一臺(tái)2GB*2內(nèi)存的服務(wù)器，由于自身承載的服務(wù)過(guò)多，服務(wù)器的處理數(shù)據(jù)的速度越來(lái)越慢，于是，另購(gòu)2條同型號(hào)的內(nèi)存條來(lái)升級(jí)服務(wù)器。將這些內(nèi)存全部插入主板后，系統(tǒng)檢測(cè)只有6GB，另外2GB內(nèi)存神秘消失，反復(fù)的插拔新的內(nèi)存依舊無(wú)法正常檢測(cè)。
解決方案：帶著疑問(wèn)查閱服務(wù)器的官方網(wǎng)站，終于得出結(jié)論，該服務(wù)器的內(nèi)存插槽是配對(duì)使用，1-4、2-5、3-6、7-10、8-11、9-12，新內(nèi)存插在了2、3槽，無(wú)法形成配對(duì)，自然只能檢測(cè)出一條內(nèi)存，將內(nèi)存插到5槽，8GB內(nèi)存順利被檢測(cè)。
服務(wù)器內(nèi)存的優(yōu)勢(shì)不僅僅體現(xiàn)在性能上，她在容錯(cuò)能力同樣投入很多精力，目的是為整個(gè)平臺(tái)提供高穩(wěn)定環(huán)境，很多內(nèi)存采用的ECC（ErrorCorrectingCode，錯(cuò)誤檢查和糾正）技術(shù)、Register、Chipkill都是為了提高內(nèi)存的穩(wěn)定性，使各個(gè)內(nèi)存條和插槽之間能更好的融合。
危害程度：★★★☆
控制難度：★★★
綜合評(píng)定：★★★☆
#p#
Top 5 硬盤(pán)
故障回放：某服務(wù)器近期經(jīng)常出現(xiàn)死機(jī)、無(wú)征兆的重啟，經(jīng)數(shù)據(jù)中心IT運(yùn)維人員進(jìn)行檢測(cè)后發(fā)現(xiàn)是硬盤(pán)工作時(shí)間太長(zhǎng)，出現(xiàn)了物理壞道。于是立即將此硬盤(pán)拆下，將硬盤(pán)內(nèi)的數(shù)據(jù)導(dǎo)出，結(jié)果在轉(zhuǎn)移數(shù)據(jù)的過(guò)程中，不停地彈出I/O錯(cuò)誤，這直接導(dǎo)致數(shù)據(jù)轉(zhuǎn)移的速度非常慢，且丟失了很多重要數(shù)據(jù)。
解決方案：這種情況多數(shù)是磁頭或者盤(pán)片出現(xiàn)了錯(cuò)誤。聯(lián)系專業(yè)的數(shù)據(jù)恢復(fù)公司，拆開(kāi)硬盤(pán)，果然是盤(pán)片出現(xiàn)了劃傷，好在劃傷面積并不大，更換磁頭后重新恢復(fù)數(shù)據(jù)，恢復(fù)了95%以上的數(shù)據(jù)，算是比較好的結(jié)果了。
這個(gè)故障發(fā)現(xiàn)的及時(shí)，在盤(pán)片沒(méi)有出現(xiàn)更多物理?yè)p傷前予以解決，如盤(pán)片損壞嚴(yán)重，數(shù)據(jù)將永久性丟失，為了避免這種狀況的發(fā)生我們需要做到以下幾點(diǎn)：
選擇質(zhì)量上乘的服務(wù)器硬盤(pán)，比如：平均無(wú)故障時(shí)間超過(guò)1600000小時(shí)，年故障率低于0.55%，抗震方面要有300G/2ms的以上的耐沖擊能力等等；
關(guān)鍵服務(wù)器采用RAID模式，比如：RAID5，它由至少3塊硬盤(pán)組成，在向硬盤(pán)寫(xiě)入數(shù)據(jù)信息的同時(shí)，還寫(xiě)入校驗(yàn)信息，當(dāng)其中有1塊硬盤(pán)出現(xiàn)故障時(shí)，可以根據(jù)算法從另外2塊硬盤(pán)上得出這塊故障硬盤(pán)的數(shù)據(jù)，安全性大大提高。
危害程度：★★★☆
控制難度：★★★☆
綜合評(píng)定：★★★☆
#p#
Top 4 RAID
故障回放：某企業(yè)更換新的數(shù)據(jù)中心，服務(wù)器需要逐步遷移，一臺(tái)文件服務(wù)器成為先行者。這是一臺(tái)采用的RAID1容災(zāi)策略的服務(wù)器，遷移過(guò)程中沒(méi)有任何問(wèn)題，但是使用不久一次雷暴天氣后服務(wù)器異常關(guān)閉，經(jīng)檢測(cè)防雷系統(tǒng)并沒(méi)有起到應(yīng)有的作用，導(dǎo)致服務(wù)器兩塊硬盤(pán)同時(shí)損壞。
解決方案：對(duì)于RAID1來(lái)說(shuō)，只能允許一塊硬盤(pán)的損壞，當(dāng)2塊硬盤(pán)同時(shí)損壞后，數(shù)據(jù)將全部丟失，對(duì)于RAID3、5來(lái)說(shuō)同樣如此；而對(duì)于RAID6，雖然支持兩塊硬盤(pán)同時(shí)掉線，但是第三塊盤(pán)再度掉線后，系統(tǒng)將也將全面崩潰！
上述故障數(shù)據(jù)將是不可逆性恢復(fù)，由此可見(jiàn)RAID技術(shù)雖好，仍有一些弊端，因此對(duì)于極其重要的服務(wù)器我們不僅僅要做出RAID的策略，還要將核心數(shù)據(jù)同步備份到其他介質(zhì)，比如：磁帶、磁盤(pán)等。
危害程度：★★★☆
控制難度：★★★★☆
綜合評(píng)定：★★★★
#p#
Top 3 主板
故障回放：根據(jù)日志的記錄，Wsus服務(wù)器在凌晨2點(diǎn)宕機(jī)了，回滾當(dāng)日監(jiān)控錄像和環(huán)境記錄，沒(méi)有任何異常，起初懷疑是病毒或者策略等軟件因素造成的意外狀況，但是重啟服務(wù)器時(shí)卻是另外一番景象。
開(kāi)機(jī)→風(fēng)扇轉(zhuǎn)動(dòng)，電源模塊指示燈狂閃→尚未自檢，隨即再次啟動(dòng)→電源模塊指示燈再次閃爍，如此周而復(fù)始。
解決方案：更換CPU、內(nèi)存插槽，更換電源模塊，插拔硬盤(pán)，故障依舊，將這些設(shè)備放置到同型號(hào)的服務(wù)器上，沒(méi)有任何問(wèn)題。于是懷疑主板損壞，聯(lián)系廠家工程師，經(jīng)檢測(cè)確實(shí)是主板故障，更換主板后恢復(fù)正常。
同CPU一樣，主板的故障率是比較低的，但是它的危害程度卻遠(yuǎn)高于CPU，對(duì)于多路服務(wù)器來(lái)講，單一CPU的損壞并不會(huì)影響整個(gè)服務(wù)器的運(yùn)轉(zhuǎn)，我們失去的或許只是性能和速度；而對(duì)于主板，它幾乎沒(méi)有替代品，只能依靠廠家的更換，因此它的危險(xiǎn)性較高。
危害程度：★★★★
控制難度：★★★★★
綜合評(píng)定：★★★★☆
#p#
Top 2 靜電
防靜電、雷擊的UPS已普及
故障回放：一間極為普通的機(jī)房?jī)?nèi)，春節(jié)過(guò)后，準(zhǔn)備手動(dòng)升級(jí)病毒庫(kù)，剛剛觸摸服務(wù)器，瞬間一個(gè)電火花出現(xiàn)，緊接著服務(wù)器死機(jī)了，重新啟動(dòng)服務(wù)器很多數(shù)據(jù)莫名其妙的丟失。
解決方案：不要小看這電火花，當(dāng)人體接觸金屬物質(zhì)產(chǎn)生電火花時(shí)，人體的靜電電壓已經(jīng)超過(guò)3000伏，而硬盤(pán)只需1000伏左右的靜電就會(huì)造成數(shù)據(jù)丟失，因此防靜電工作務(wù)必做好，如今機(jī)房最為普遍、最為簡(jiǎn)便的防靜電措施就是鋪設(shè)防靜電地板，它不僅能過(guò)濾很多的靜電，在防火、防潮、防銹方面也起到很大作用，保護(hù)效果非常明顯。
另外，閃電、雷暴等自然災(zāi)害也會(huì)造成硬件的損壞，這要破壞要遠(yuǎn)遠(yuǎn)高于靜電，所以保護(hù)硬件安全也需要部署B(yǎng)/C級(jí)防雷。
危害程度：★★★★☆
控制難度：★★★★★
綜合評(píng)定：★★★★☆
#p#
Top 1 不明原因的故障
故障回放：有故障現(xiàn)象，無(wú)故障原因
解決方案：類似的事情有很多，比如說(shuō)系統(tǒng)藍(lán)屏，可能是軟件沖突，也可能是病毒，還可能是內(nèi)存，亦有可能是主板電容爆掉……，面對(duì)這種故障我們很難第一時(shí)間與以判斷，這個(gè)時(shí)候我們就需要在綜合的角度進(jìn)行考量。
首先重裝系統(tǒng)，排除軟件的故障；然后，逐一替換系統(tǒng)硬件，排除硬件故障的可能性；如問(wèn)題依舊就需要考察服務(wù)器的應(yīng)用環(huán)境是否正常，比如電力供應(yīng)是否滿足需求，溫濕度是否在正常指標(biāo)之內(nèi)，機(jī)房的潔凈度是否合規(guī)，服務(wù)期內(nèi)的灰塵是否太多等等。很多時(shí)候故障出現(xiàn)的時(shí)間并不固定，短則幾分鐘，長(zhǎng)則數(shù)天，沒(méi)有任何規(guī)律，對(duì)于我們排錯(cuò)和控制造成了很多麻煩，但是細(xì)心+耐心總能找出問(wèn)題的關(guān)鍵點(diǎn)，最終解決。
危害程度：★★★★★
控制難度：★★★★★
綜合評(píng)定：★★★★★
除了硬件部分，筆者還特意總結(jié)了X86服務(wù)器軟件層面的十大故障分析。對(duì)此感興趣的讀者請(qǐng)關(guān)注51CTO系統(tǒng)頻道的《十大x86服務(wù)器常見(jiàn)故障——系統(tǒng)篇》。
本文是51CTO獨(dú)家特稿，如需轉(zhuǎn)載請(qǐng)標(biāo)明出處。
【編輯推薦】
