盤(pán)子做大后的“尷尬”
了解更多數(shù)字化轉(zhuǎn)型方案查看此鏈接：
https://www.dellemc-solution.com/home/index.html
臨近年底
各路人馬磨刀霍霍
誓為報(bào)表美化
花盡最后一絲力氣
偏偏這個(gè)節(jié)骨眼
突如其來(lái)一個(gè)變數(shù)
讓基礎(chǔ)架構(gòu)部門(mén)主任王力
原本堪稱(chēng)美好的2019年
差點(diǎn)垮掉
上午9點(diǎn)7分，給集團(tuán)IT領(lǐng)導(dǎo)們做線上匯報(bào)時(shí)，王力聲音都是顫抖的。
“新收購(gòu)的第三分廠數(shù)據(jù)已于前日完成導(dǎo)入，但有財(cái)務(wù)、監(jiān)察等部門(mén)反映，近兩日?qǐng)?bào)表數(shù)據(jù)獲取緩慢，有時(shí)會(huì)出現(xiàn)客戶(hù)端卡住、報(bào)錯(cuò)、死機(jī)等情況，嚴(yán)重影響銷(xiāo)售系統(tǒng)正常運(yùn)行……”
有B廠、C廠、D廠、E廠完美匯報(bào)在前，王力心里越發(fā)突突，集團(tuán)領(lǐng)導(dǎo)該咋想他們A廠啊，另外解決不了這個(gè)問(wèn)題，不僅年終獎(jiǎng)得縮水，只怕來(lái)年升職考核也沒(méi)法過(guò)關(guān)啊。
盤(pán)子做大后的“尷尬”
“找到原因了嗎？”IT部長(zhǎng)Ivana率先發(fā)問(wèn)。
“我們看了銷(xiāo)售系統(tǒng)的運(yùn)行日志和服務(wù)器數(shù)據(jù)庫(kù)，監(jiān)測(cè)兩小時(shí)后發(fā)現(xiàn)一些查詢(xún)語(yǔ)句運(yùn)行的時(shí)候出現(xiàn)了死鎖。”“聯(lián)系軟件廠商了嗎？”“軟件廠商下午過(guò)來(lái)，查看軟件及其數(shù)據(jù)庫(kù)的運(yùn)行情況。”“好，請(qǐng)抓緊處理，有情況隨時(shí)匯報(bào)！”遠(yuǎn)程會(huì)議結(jié)束后，王力輕輕抹了一把汗，先聯(lián)系軟件廠商工程師籌劃下午的檢測(cè)事宜，接下里又開(kāi)了兩場(chǎng)大會(huì)。這年頭，沒(méi)有什么問(wèn)題是開(kāi)會(huì)解決不了的，一場(chǎng)不夠，那就再開(kāi)兩場(chǎng)。
會(huì)議一會(huì)議名稱(chēng)：
關(guān)于導(dǎo)入第三工廠數(shù)據(jù)致使銷(xiāo)售系統(tǒng)死鎖原因探討
時(shí)間：
2019年12月3日16:30
地址：
基礎(chǔ)架構(gòu)部門(mén)經(jīng)理Deven辦公室
參與者：
Deven、王力、軟件廠商工程師
會(huì)議內(nèi)容：
會(huì)議上Deven聽(tīng)取了軟件廠商在13點(diǎn)至16點(diǎn)對(duì)軟件運(yùn)行開(kāi)展的檢測(cè)分析報(bào)告，了解到頻繁出現(xiàn)的死鎖情況是數(shù)據(jù)庫(kù)的數(shù)據(jù)查詢(xún)?cè)斐傻模c前幾日大量導(dǎo)入數(shù)據(jù)有關(guān)。
經(jīng)工程師對(duì)數(shù)據(jù)庫(kù)存儲(chǔ)的監(jiān)測(cè)，磁盤(pán)活動(dòng)時(shí)間經(jīng)常達(dá)到100%，存儲(chǔ)IO效能不足是本次銷(xiāo)售系統(tǒng)無(wú)法正常運(yùn)行的主要原因。
會(huì)議二會(huì)議名稱(chēng)：
關(guān)于解決存儲(chǔ)IO性能不足問(wèn)題的解決方案探討
時(shí)間：
2019年12月3日17:10
地址：
第一工廠辦公大樓4樓會(huì)議室
參與者：
Deven、王力、DBA Mario
會(huì)議內(nèi)容：
在用存儲(chǔ)4年間擴(kuò)容5次，隨著數(shù)據(jù)量增長(zhǎng)使用該系統(tǒng)的部門(mén)和人數(shù)也大量增加，Kevin建議換臺(tái)存儲(chǔ)。
DBA Mario認(rèn)為，更換一臺(tái)效能更好的存儲(chǔ)并不能從根本上解決問(wèn)題。卡頓是銷(xiāo)售系統(tǒng)一直存在的問(wèn)題，如今只是因?yàn)閿?shù)據(jù)量劇增就出現(xiàn)死機(jī)，將來(lái)等更多業(yè)務(wù)、部門(mén)接入數(shù)據(jù)庫(kù)時(shí)，數(shù)據(jù)量級(jí)從未有過(guò)，僅僅換一臺(tái)高性能的存儲(chǔ)遠(yuǎn)遠(yuǎn)不夠，建議從硬件和軟件架構(gòu)著手解決。
晚上8點(diǎn)17會(huì)議結(jié)束時(shí)，上級(jí)Deven微笑著拍拍王力的肩膀：“老王啊，硬件改造項(xiàng)目你來(lái)跟進(jìn)吧，今天不用加班了，明早把方案給我就行。”
關(guān)鍵時(shí)刻，還是老同學(xué)靠譜
走在公司樓下，迎著寒冷的風(fēng)，王力暈騰騰地對(duì)著車(chē)水馬龍發(fā)呆，幾分鐘后，他眼前隱隱浮現(xiàn)出老同學(xué)張燁的臉龐，張燁在戴爾易安信擔(dān)任技術(shù)顧問(wèn)多年，架構(gòu)的事找他問(wèn)問(wèn)吧。
當(dāng)晚8點(diǎn)半，王力在電腦微信上同張燁開(kāi)始了今天的第四場(chǎng)會(huì)議。簡(jiǎn)單寒暄后，兩人進(jìn)入正題。張燁：“我大概了解了。你們銷(xiāo)售系統(tǒng)性能的關(guān)鍵在兩個(gè)地方：一是軟件對(duì)外服務(wù)部分工作負(fù)載沒(méi)有分離，數(shù)據(jù)庫(kù)中讀寫(xiě)相互影響。這在工作負(fù)載不高的時(shí)候沒(méi)什么問(wèn)題，但是工作負(fù)載一大就將會(huì)給服務(wù)端造成巨大負(fù)擔(dān)，大量查詢(xún)的時(shí)影響寫(xiě)性能，寫(xiě)入時(shí)又鎖定數(shù)據(jù)行又延緩讀取，從而形成死鎖。第二是硬件部分，你們這個(gè)系統(tǒng)的硬件架構(gòu)單一、負(fù)載集中，不僅有安全風(fēng)險(xiǎn)，而且很容易達(dá)到性能瓶頸。用戶(hù)需求無(wú)窮盡，則服務(wù)端負(fù)載壓力無(wú)窮盡，單一的服務(wù)端結(jié)構(gòu)又怎么能以無(wú)盡的資源滿(mǎn)足無(wú)盡的需求呢？”
“那你看怎么改進(jìn)呢？”“三步走。第一，將數(shù)據(jù)庫(kù)的讀取和寫(xiě)入業(yè)務(wù)進(jìn)行分離；第二，對(duì)于讀寫(xiě)較重的服務(wù)，配置更多機(jī)器進(jìn)行分擔(dān)；第三，尋找合適的可按需擴(kuò)展的基礎(chǔ)架構(gòu)，以滿(mǎn)足不斷增長(zhǎng)的業(yè)務(wù)需求。”“好，我知道了。”王力一邊說(shuō)一邊在文檔里敲下關(guān)鍵內(nèi)容。“另外，還要找可以進(jìn)行相互間數(shù)據(jù)復(fù)制的存儲(chǔ)，異步同步都行，盡可能是同步。當(dāng)然了，這取決于你們的預(yù)算。針對(duì)你說(shuō)的問(wèn)題，方案就是在查詢(xún)和寫(xiě)入方面配置多臺(tái)服務(wù)器，再配以合適的存儲(chǔ)，讓存儲(chǔ)間相互抄寫(xiě)，同步數(shù)據(jù)、分擔(dān)負(fù)載，這樣無(wú)論后期是查詢(xún)的服務(wù)對(duì)象變多，還是寫(xiě)入的工作負(fù)擔(dān)變大，你們都可以按需擴(kuò)展。”張燁喝口水慢慢說(shuō)道。
“所以，你有推薦的存儲(chǔ)嗎？”
“當(dāng)然，也不看看我們戴爾易安信是干啥的！咱約下時(shí)間，到時(shí)候我給你們講下具體落地方案。”
這個(gè)落地方案，穩(wěn)了！
3天后。王力協(xié)同戴爾易安信技術(shù)顧問(wèn)張燁、軟件廠商到大樓會(huì)議室向IT部長(zhǎng)Ivana做遠(yuǎn)程匯報(bào)。“可以看到，在這個(gè)架構(gòu)中，主、副區(qū)作為核心區(qū)域，包括主存儲(chǔ)、副存儲(chǔ)、主數(shù)據(jù)庫(kù)、副數(shù)據(jù)庫(kù)，以及對(duì)外提供銷(xiāo)售系統(tǒng)數(shù)據(jù)讀寫(xiě)的服務(wù)器，服務(wù)器集群與數(shù)據(jù)庫(kù)組成SAN網(wǎng)絡(luò)進(jìn)行通訊，可以不受外部網(wǎng)絡(luò)的影響。”張燁指著大屏幕，洪亮的聲音傳遍會(huì)議室。
➤“首先是存儲(chǔ)部分，我們的主存儲(chǔ)與副存儲(chǔ)保留有完全相同的數(shù)據(jù)副本，這主要得益于戴爾易安信SC存儲(chǔ)的LiveVolume技術(shù)——分別位于兩個(gè)存儲(chǔ)上的主副數(shù)據(jù)庫(kù)均可對(duì)外提供業(yè)務(wù)服務(wù)，主副存儲(chǔ)所連接的區(qū)域共同運(yùn)作同一系統(tǒng)，單塊區(qū)域的任何故障都不會(huì)影響業(yè)務(wù)的持續(xù)運(yùn)行。”
➤“其次，存儲(chǔ)區(qū)域外是我們的服務(wù)器集群，8臺(tái)服務(wù)器連接到2臺(tái)負(fù)載均衡設(shè)備，后者將會(huì)依據(jù)其內(nèi)算法對(duì)請(qǐng)求進(jìn)行分配，將原先由2臺(tái)服務(wù)器承擔(dān)的工作分配給8臺(tái)服務(wù)器來(lái)完成。同時(shí)，負(fù)載均衡設(shè)備會(huì)監(jiān)控鏈路狀態(tài)，如果8臺(tái)服務(wù)器中的任何一臺(tái)服務(wù)器或其鏈路出現(xiàn)故障，負(fù)載均衡設(shè)備會(huì)將業(yè)務(wù)請(qǐng)求交付給其他正常鏈路的服務(wù)器。”
➤“最后，在核心區(qū)域外，我們還設(shè)計(jì)了第三塊區(qū)域。大家請(qǐng)看左側(cè)，這塊區(qū)域我們配置了4臺(tái)服務(wù)器和1臺(tái)存儲(chǔ)，同樣是戴爾易安信SC存儲(chǔ)，位于第二區(qū)的副存儲(chǔ)會(huì)將數(shù)據(jù)異步復(fù)制到第三區(qū)域的存儲(chǔ)上，該存儲(chǔ)將會(huì)保留除主副數(shù)據(jù)庫(kù)外的第三個(gè)數(shù)據(jù)庫(kù)副本，配合前端服務(wù)器上安裝的程序對(duì)外提供銷(xiāo)售數(shù)據(jù)的只讀服務(wù)及數(shù)據(jù)報(bào)表接口。”
“第三區(qū)域存儲(chǔ)的數(shù)據(jù)計(jì)劃多久同步一次？”Ivana問(wèn)道。
“每日凌晨1點(diǎn)開(kāi)始同步。”張燁回答道。
“我有個(gè)疑問(wèn)。”Ivana看著架構(gòu)圖，“據(jù)我所知，像你們架構(gòu)圖里的存儲(chǔ)雙活結(jié)構(gòu)，一般是需要特別設(shè)備或者網(wǎng)關(guān)進(jìn)行，這是忘記畫(huà)上去了嗎？”
“您也注意到了這一點(diǎn)。不過(guò)這并不是我們忘了，而是戴爾易安信SC存儲(chǔ)的LiveVolume技術(shù)無(wú)需額外設(shè)備或網(wǎng)關(guān)即可實(shí)現(xiàn)雙活。”張燁把目光投向王力，兩人相視一笑。
“哦？SC存儲(chǔ)可以實(shí)現(xiàn)無(wú)網(wǎng)關(guān)雙活？”
“是的，Ivana。此外，SC存儲(chǔ)還能用不同型號(hào)實(shí)現(xiàn)雙活，如若單個(gè)存儲(chǔ)效能不足，我們可以在集群中添加更多SC存儲(chǔ)，構(gòu)成聯(lián)邦在線遷移，使用效能更好的SC存儲(chǔ)承擔(dān)業(yè)務(wù)負(fù)載。”
“這樣啊……”線上的Ivana托起下巴，“真不錯(cuò)啊，SC存儲(chǔ)。這個(gè)架構(gòu)我看行，你們探討一下，定個(gè)時(shí)間跟軟件廠商開(kāi)發(fā)人員一起測(cè)試吧。”
“好的！”
一個(gè)半小時(shí)的匯報(bào)結(jié)束后，王力與張燁走在第一分廠的林蔭小道上。
“方案基本已經(jīng)確定，測(cè)試沒(méi)有問(wèn)題后我們就會(huì)采購(gòu)了。真希望通過(guò)這個(gè)采購(gòu)項(xiàng)目，戴爾易安信也能參與到我們的日常運(yùn)維中來(lái)，這樣我們才不會(huì)犯下之前的錯(cuò)誤，直到效能不足時(shí)候出問(wèn)題的時(shí)候才想起來(lái)進(jìn)行系統(tǒng)改進(jìn)。”王力看著張燁一臉誠(chéng)懇。
張燁聽(tīng)完笑了笑：“老弟啊，要真有這個(gè)顧慮，建議采購(gòu)時(shí)加上我們的優(yōu)化服務(wù)，這服務(wù)能提供一年一次的上門(mén)巡檢和無(wú)數(shù)次的遠(yuǎn)程巡檢，主動(dòng)監(jiān)測(cè)存儲(chǔ)狀態(tài)、進(jìn)行存儲(chǔ)配置優(yōu)化、定期給出存儲(chǔ)分析報(bào)告，出現(xiàn)效能問(wèn)題或設(shè)備故障時(shí)會(huì)電話或郵件告知風(fēng)險(xiǎn)，相當(dāng)于協(xié)助你們管理這些存儲(chǔ)，你們運(yùn)維也能省不少心。”
“這敢情好啊！咱得好好聊聊！”夕陽(yáng)下，王力滿(mǎn)臉寫(xiě)著高興，連日來(lái)的烏云終于一掃而光了。
相關(guān)閱讀推薦：拼車(chē)可以創(chuàng)造出“偶遇”來(lái)嘛？
