精品欧美一区二区三区在线观看 _久久久久国色av免费观看性色_国产精品久久在线观看_亚洲第一综合网站_91精品又粗又猛又爽_小泽玛利亚一区二区免费_91亚洲精品国偷拍自产在线观看 _久久精品视频在线播放_美女精品久久久_欧美日韩国产成人在线

分布式架構(gòu)的十四次演進(jìn)之路

開發(fā) 架構(gòu)
本文介紹從一百個(gè)到千萬級(jí)并發(fā)情況下服務(wù)端的架構(gòu)的演進(jìn)過程,同時(shí)列舉出每個(gè)演進(jìn)階段會(huì)遇到的相關(guān)技術(shù),讓大家對(duì)架構(gòu)的演進(jìn)有一個(gè)整體的認(rèn)知,文章最后匯總了一些架構(gòu)設(shè)計(jì)的原則。

特別說明:本文以淘寶為例僅僅是為了便于說明演進(jìn)過程可能遇到的問題,并非是淘寶真正的技術(shù)演進(jìn)路徑。

基本概念

在介紹架構(gòu)之前,為了避免部分讀者對(duì)架構(gòu)設(shè)計(jì)中的一些概念不了解,下面對(duì)幾個(gè)最基礎(chǔ)的概念進(jìn)行介紹:

  • 分布式,系統(tǒng)中的多個(gè)模塊在不同服務(wù)器上部署,即可稱為分布式系統(tǒng),如Tomcat和數(shù)據(jù)庫分別部署在不同的服務(wù)器上,或兩個(gè)相同功能的Tomcat分別部署在不同服務(wù)器上。
  • 高可用,系統(tǒng)中部分節(jié)點(diǎn)失效時(shí),其他節(jié)點(diǎn)能夠接替它繼續(xù)提供服務(wù),則可認(rèn)為系統(tǒng)具有高可用性。
  • 集群,一個(gè)特定領(lǐng)域的軟件部署在多臺(tái)服務(wù)器上并作為一個(gè)整體提供一類服務(wù),這個(gè)整體稱為集群。如Zookeeper中的Master和Slave分別部署在多臺(tái)服務(wù)器上,共同組成一個(gè)整體提供集中配置服務(wù)。在常見的集群中,客戶端往往能夠連接任意一個(gè)節(jié)點(diǎn)獲得服務(wù),并且當(dāng)集群中一個(gè)節(jié)點(diǎn)掉線時(shí),其他節(jié)點(diǎn)往往能夠自動(dòng)的接替它繼續(xù)提供服務(wù),這時(shí)候說明集群具有高可用性。
  • 負(fù)載均衡,請(qǐng)求發(fā)送到系統(tǒng)時(shí),通過某些方式把請(qǐng)求均勻分發(fā)到多個(gè)節(jié)點(diǎn)上,使系統(tǒng)中每個(gè)節(jié)點(diǎn)能夠均勻的處理請(qǐng)求負(fù)載,則可認(rèn)為系統(tǒng)是負(fù)載均衡的。
  • 正向代理和反向代理,系統(tǒng)內(nèi)部要訪問外部網(wǎng)絡(luò)時(shí),統(tǒng)一通過一個(gè)代理服務(wù)器把請(qǐng)求轉(zhuǎn)發(fā)出去,在外部網(wǎng)絡(luò)看來就是代理服務(wù)器發(fā)起的訪問,此時(shí)代理服務(wù)器實(shí)現(xiàn)的是正向代理;當(dāng)外部請(qǐng)求進(jìn)入系統(tǒng)時(shí),代理服務(wù)器把該請(qǐng)求轉(zhuǎn)發(fā)到系統(tǒng)中的某臺(tái)服務(wù)器上,對(duì)外部請(qǐng)求來說,與之交互的只有代理服務(wù)器,此時(shí)代理服務(wù)器實(shí)現(xiàn)的是反向代理。簡(jiǎn)單來說,正向代理是代理服務(wù)器代替系統(tǒng)內(nèi)部來訪問外部網(wǎng)絡(luò)的過程,反向代理是外部請(qǐng)求訪問系統(tǒng)時(shí)通過代理服務(wù)器轉(zhuǎn)發(fā)到內(nèi)部服務(wù)器的過程。

架構(gòu)演進(jìn)

單機(jī)架構(gòu)

以淘寶作為例子。在網(wǎng)站最初時(shí),應(yīng)用數(shù)量與用戶數(shù)都較少,可以把Tomcat和數(shù)據(jù)庫部署在同一臺(tái)服務(wù)器上。瀏覽器往www.taobao.com發(fā)起請(qǐng)求時(shí),首先經(jīng)過DNS服務(wù)器(域名系統(tǒng))把域名轉(zhuǎn)換為實(shí)際IP地址10.102.4.1,瀏覽器轉(zhuǎn)而訪問該IP對(duì)應(yīng)的Tomcat。

隨著用戶數(shù)的增長(zhǎng),Tomcat和數(shù)據(jù)庫之間競(jìng)爭(zhēng)資源,單機(jī)性能不足以支撐業(yè)務(wù)。

第一次演進(jìn):Tomcat與數(shù)據(jù)庫分開部署

Tomcat和數(shù)據(jù)庫分別獨(dú)占服務(wù)器資源,顯著提高兩者各自性能。

隨著用戶數(shù)的增長(zhǎng),并發(fā)讀寫數(shù)據(jù)庫成為瓶頸。

第二次演進(jìn):引入本地緩存和分布式緩存

在Tomcat同服務(wù)器上或同JVM中增加本地緩存,并在外部增加分布式緩存,緩存熱門商品信息或熱門商品的html頁面等。通過緩存能把絕大多數(shù)請(qǐng)求在讀寫數(shù)據(jù)庫前攔截掉,大大降低數(shù)據(jù)庫壓力。其中涉及的技術(shù)包括:使用memcached作為本地緩存,使用Redis作為分布式緩存,還會(huì)涉及緩存一致性、緩存穿透/擊穿、緩存雪崩、熱點(diǎn)數(shù)據(jù)集中失效等問題。

緩存抗住了大部分的訪問請(qǐng)求,隨著用戶數(shù)的增長(zhǎng),并發(fā)壓力主要落在單機(jī)的Tomcat上,響應(yīng)逐漸變慢。

第三次演進(jìn):引入反向代理實(shí)現(xiàn)負(fù)載均衡

在多臺(tái)服務(wù)器上分別部署Tomcat,使用反向代理軟件(Nginx)把請(qǐng)求均勻分發(fā)到每個(gè)Tomcat中。此處假設(shè)Tomcat最多支持100個(gè)并發(fā),Nginx最多支持50000個(gè)并發(fā),那么理論上Nginx把請(qǐng)求分發(fā)到500個(gè)Tomcat上,就能抗住50000個(gè)并發(fā)。其中涉及的技術(shù)包括:Nginx、HAProxy,兩者都是工作在網(wǎng)絡(luò)第七層的反向代理軟件,主要支持http協(xié)議,還會(huì)涉及session共享、文件上傳下載的問題。

反向代理使應(yīng)用服務(wù)器可支持的并發(fā)量大大增加,但并發(fā)量的增長(zhǎng)也意味著更多請(qǐng)求穿透到數(shù)據(jù)庫,單機(jī)的數(shù)據(jù)庫最終成為瓶頸。

第四次演進(jìn):數(shù)據(jù)庫讀寫分離

把數(shù)據(jù)庫劃分為讀庫和寫庫,讀庫可以有多個(gè),通過同步機(jī)制把寫庫的數(shù)據(jù)同步到讀庫,對(duì)于需要查詢最新寫入數(shù)據(jù)場(chǎng)景,可通過在緩存中多寫一份,通過緩存獲得最新數(shù)據(jù)。其中涉及的技術(shù)包括:MyCAT,它是數(shù)據(jù)庫中間件,可通過它來組織數(shù)據(jù)庫的分離讀寫和分庫分表,客戶端通過它來訪問下層數(shù)據(jù)庫,還會(huì)涉及數(shù)據(jù)同步,數(shù)據(jù)一致性的問題。

業(yè)務(wù)逐漸變多,不同業(yè)務(wù)之間的訪問量差距較大,不同業(yè)務(wù)直接競(jìng)爭(zhēng)數(shù)據(jù)庫,相互影響性能。

第五次演進(jìn):數(shù)據(jù)庫按業(yè)務(wù)分庫

把不同業(yè)務(wù)的數(shù)據(jù)保存到不同的數(shù)據(jù)庫中,使業(yè)務(wù)之間的資源競(jìng)爭(zhēng)降低,對(duì)于訪問量大的業(yè)務(wù),可以部署更多的服務(wù)器來支撐。這樣同時(shí)導(dǎo)致跨業(yè)務(wù)的表無法直接做關(guān)聯(lián)分析,需要通過其他途徑來解決,但這不是本文討論的重點(diǎn),有興趣的可以自行搜索解決方案。

隨著用戶數(shù)的增長(zhǎng),單機(jī)的寫庫會(huì)逐漸會(huì)達(dá)到性能瓶頸。

第六次演進(jìn):把大表拆分為小表

比如針對(duì)評(píng)論數(shù)據(jù),可按照商品ID進(jìn)行hash,路由到對(duì)應(yīng)的表中存儲(chǔ);針對(duì)支付記錄,可按照小時(shí)創(chuàng)建表,每個(gè)小時(shí)表繼續(xù)拆分為小表,使用用戶ID或記錄編號(hào)來路由數(shù)據(jù)。只要實(shí)時(shí)操作的表數(shù)據(jù)量足夠小,請(qǐng)求能夠足夠均勻的分發(fā)到多臺(tái)服務(wù)器上的小表,那數(shù)據(jù)庫就能通過水平擴(kuò)展的方式來提高性能。其中前面提到的Mycat也支持在大表拆分為小表情況下的訪問控制。

這種做法顯著的增加了數(shù)據(jù)庫運(yùn)維的難度,對(duì)DBA的要求較高。數(shù)據(jù)庫設(shè)計(jì)到這種結(jié)構(gòu)時(shí),已經(jīng)可以稱為分布式數(shù)據(jù)庫,但是這只是一個(gè)邏輯的數(shù)據(jù)庫整體,數(shù)據(jù)庫里不同的組成部分是由不同的組件單獨(dú)來實(shí)現(xiàn)的,如分庫分表的管理和請(qǐng)求分發(fā),由MyCAT實(shí)現(xiàn),SQL的解析由單機(jī)的數(shù)據(jù)庫實(shí)現(xiàn),讀寫分離可能由網(wǎng)關(guān)和消息隊(duì)列來實(shí)現(xiàn),查詢結(jié)果的匯總可能由數(shù)據(jù)庫接口層來實(shí)現(xiàn)等等,這種架構(gòu)其實(shí)是MPP(大規(guī)模并行處理)架構(gòu)的一類實(shí)現(xiàn)。

目前開源和商用都已經(jīng)有不少M(fèi)PP數(shù)據(jù)庫,開源中比較流行的有Greenplum、TiDB、Postgresql XC、HAWQ等,商用的如南大通用的GBase、睿帆科技的雪球DB、華為的LibrA等等,不同的MPP數(shù)據(jù)庫的側(cè)重點(diǎn)也不一樣,如TiDB更側(cè)重于分布式OLTP場(chǎng)景,Greenplum更側(cè)重于分布式OLAP場(chǎng)景,這些MPP數(shù)據(jù)庫基本都提供了類似Postgresql、Oracle、MySQL那樣的SQL標(biāo)準(zhǔn)支持能力,能把一個(gè)查詢解析為分布式的執(zhí)行計(jì)劃分發(fā)到每臺(tái)機(jī)器上并行執(zhí)行,最終由數(shù)據(jù)庫本身匯總數(shù)據(jù)進(jìn)行返回,也提供了諸如權(quán)限管理、分庫分表、事務(wù)、數(shù)據(jù)副本等能力,并且大多能夠支持100個(gè)節(jié)點(diǎn)以上的集群,大大降低了數(shù)據(jù)庫運(yùn)維的成本,并且使數(shù)據(jù)庫也能夠?qū)崿F(xiàn)水平擴(kuò)展。

數(shù)據(jù)庫和Tomcat都能夠水平擴(kuò)展,可支撐的并發(fā)大幅提高,隨著用戶數(shù)的增長(zhǎng),最終單機(jī)的Nginx會(huì)成為瓶頸。

第七次演進(jìn):使用LVS或F5來負(fù)載均衡

由于瓶頸在Nginx,因此無法通過兩層的Nginx來實(shí)現(xiàn)多個(gè)Nginx的負(fù)載均衡。圖中的LVS和F5是工作在網(wǎng)絡(luò)第四層的負(fù)載均衡解決方案,其中LVS是軟件,運(yùn)行在操作系統(tǒng)內(nèi)核態(tài),可對(duì)TCP請(qǐng)求或更高層級(jí)的網(wǎng)絡(luò)協(xié)議進(jìn)行轉(zhuǎn)發(fā),因此支持的協(xié)議更豐富,并且性能也遠(yuǎn)高于Nginx,可假設(shè)單機(jī)的LVS可支持幾十萬個(gè)并發(fā)的請(qǐng)求轉(zhuǎn)發(fā);F5是一種負(fù)載均衡硬件,與LVS提供的能力類似,性能比LVS更高,但價(jià)格昂貴。由于LVS是單機(jī)版的軟件,若LVS所在服務(wù)器宕機(jī)則會(huì)導(dǎo)致整個(gè)后端系統(tǒng)都無法訪問,因此需要有備用節(jié)點(diǎn)。可使用keepalived軟件模擬出虛擬IP,然后把虛擬IP綁定到多臺(tái)LVS服務(wù)器上,瀏覽器訪問虛擬IP時(shí),會(huì)被路由器重定向到真實(shí)的LVS服務(wù)器,當(dāng)主LVS服務(wù)器宕機(jī)時(shí),keepalived軟件會(huì)自動(dòng)更新路由器中的路由表,把虛擬IP重定向到另外一臺(tái)正常的LVS服務(wù)器,從而達(dá)到LVS服務(wù)器高可用的效果。

此處需要注意的是,上圖中從Nginx層到Tomcat層這樣畫并不代表全部Nginx都轉(zhuǎn)發(fā)請(qǐng)求到全部的Tomcat,在實(shí)際使用時(shí),可能會(huì)是幾個(gè)Nginx下面接一部分的Tomcat,這些Nginx之間通過keepalived實(shí)現(xiàn)高可用,其他的Nginx接另外的Tomcat,這樣可接入的Tomcat數(shù)量就能成倍的增加。

由于LVS也是單機(jī)的,隨著并發(fā)數(shù)增長(zhǎng)到幾十萬時(shí),LVS服務(wù)器最終會(huì)達(dá)到瓶頸,此時(shí)用戶數(shù)達(dá)到千萬甚至上億級(jí)別,用戶分布在不同的地區(qū),與服務(wù)器機(jī)房距離不同,導(dǎo)致了訪問的延遲會(huì)明顯不同。

第八次演進(jìn):通過DNS輪詢實(shí)現(xiàn)機(jī)房間的負(fù)載均衡

在DNS服務(wù)器中可配置一個(gè)域名對(duì)應(yīng)多個(gè)IP地址,每個(gè)IP地址對(duì)應(yīng)到不同的機(jī)房里的虛擬IP。當(dāng)用戶訪問www.taobao.com時(shí),DNS服務(wù)器會(huì)使用輪詢策略或其他策略,來選擇某個(gè)IP供用戶訪問。此方式能實(shí)現(xiàn)機(jī)房間的負(fù)載均衡,至此,系統(tǒng)可做到機(jī)房級(jí)別的水平擴(kuò)展,千萬級(jí)到億級(jí)的并發(fā)量都可通過增加機(jī)房來解決,系統(tǒng)入口處的請(qǐng)求并發(fā)量不再是問題。

隨著數(shù)據(jù)的豐富程度和業(yè)務(wù)的發(fā)展,檢索、分析等需求越來越豐富,單單依靠數(shù)據(jù)庫無法解決如此豐富的需求。

第九次演進(jìn):引入NoSQL數(shù)據(jù)庫和搜索引擎等技術(shù)

當(dāng)數(shù)據(jù)庫中的數(shù)據(jù)多到一定規(guī)模時(shí),數(shù)據(jù)庫就不適用于復(fù)雜的查詢了,往往只能滿足普通查詢的場(chǎng)景。對(duì)于統(tǒng)計(jì)報(bào)表場(chǎng)景,在數(shù)據(jù)量大時(shí)不一定能跑出結(jié)果,而且在跑復(fù)雜查詢時(shí)會(huì)導(dǎo)致其他查詢變慢,對(duì)于全文檢索、可變數(shù)據(jù)結(jié)構(gòu)等場(chǎng)景,數(shù)據(jù)庫天生不適用。因此需要針對(duì)特定的場(chǎng)景,引入合適的解決方案。如對(duì)于海量文件存儲(chǔ),可通過分布式文件系統(tǒng)HDFS解決,對(duì)于key value類型的數(shù)據(jù),可通過HBase和Redis等方案解決,對(duì)于全文檢索場(chǎng)景,可通過搜索引擎如ElasticSearch解決,對(duì)于多維分析場(chǎng)景,可通過Kylin或Druid等方案解決。

當(dāng)然,引入更多組件同時(shí)會(huì)提高系統(tǒng)的復(fù)雜度,不同的組件保存的數(shù)據(jù)需要同步,需要考慮一致性的問題,需要有更多的運(yùn)維手段來管理這些組件等。

引入更多組件解決了豐富的需求,業(yè)務(wù)維度能夠極大擴(kuò)充,隨之而來的是一個(gè)應(yīng)用中包含了太多的業(yè)務(wù)代碼,業(yè)務(wù)的升級(jí)迭代變得困難。

第十次演進(jìn):大應(yīng)用拆分為小應(yīng)用

按照業(yè)務(wù)板塊來劃分應(yīng)用代碼,使單個(gè)應(yīng)用的職責(zé)更清晰,相互之間可以做到獨(dú)立升級(jí)迭代。這時(shí)候應(yīng)用之間可能會(huì)涉及到一些公共配置,可以通過分布式配置中心ZooKeeper來解決。

不同應(yīng)用之間存在共用的模塊,由應(yīng)用單獨(dú)管理會(huì)導(dǎo)致相同代碼存在多份,導(dǎo)致公共功能升級(jí)時(shí)全部應(yīng)用代碼都要跟著升級(jí)。

第十一次演進(jìn):復(fù)用的功能抽離成微服務(wù)

如用戶管理、訂單、支付、鑒權(quán)等功能在多個(gè)應(yīng)用中都存在,那么可以把這些功能的代碼單獨(dú)抽取出來形成一個(gè)單獨(dú)的服務(wù)來管理,這樣的服務(wù)就是所謂的微服務(wù),應(yīng)用和服務(wù)之間通過HTTP、TCP或RPC請(qǐng)求等多種方式來訪問公共服務(wù),每個(gè)單獨(dú)的服務(wù)都可以由單獨(dú)的團(tuán)隊(duì)來管理。此外,可以通過Dubbo、Spring Cloud等框架實(shí)現(xiàn)服務(wù)治理、限流、熔斷、降級(jí)等功能,提高服務(wù)的穩(wěn)定性和可用性。

不同服務(wù)的接口訪問方式不同,應(yīng)用代碼需要適配多種訪問方式才能使用服務(wù),此外,應(yīng)用訪問服務(wù),服務(wù)之間也可能相互訪問,調(diào)用鏈將會(huì)變得非常復(fù)雜,邏輯變得混亂。

第十二次演進(jìn):引入企業(yè)服務(wù)總線ESB屏蔽服務(wù)接口的訪問差異

通過ESB統(tǒng)一進(jìn)行訪問協(xié)議轉(zhuǎn)換,應(yīng)用統(tǒng)一通過ESB來訪問后端服務(wù),服務(wù)與服務(wù)之間也通過ESB來相互調(diào)用,以此降低系統(tǒng)的耦合程度。這種單個(gè)應(yīng)用拆分為多個(gè)應(yīng)用,公共服務(wù)單獨(dú)抽取出來來管理,并使用企業(yè)消息總線來解除服務(wù)之間耦合問題的架構(gòu),就是所謂的SOA(面向服務(wù))架構(gòu),這種架構(gòu)與微服務(wù)架構(gòu)容易混淆,因?yàn)楸憩F(xiàn)形式十分相似。個(gè)人理解,微服務(wù)架構(gòu)更多是指把系統(tǒng)里的公共服務(wù)抽取出來單獨(dú)運(yùn)維管理的思想,而SOA架構(gòu)則是指一種拆分服務(wù)并使服務(wù)接口訪問變得統(tǒng)一的架構(gòu)思想,SOA架構(gòu)中包含了微服務(wù)的思想。

業(yè)務(wù)不斷發(fā)展,應(yīng)用和服務(wù)都會(huì)不斷變多,應(yīng)用和服務(wù)的部署變得復(fù)雜,同一臺(tái)服務(wù)器上部署多個(gè)服務(wù)還要解決運(yùn)行環(huán)境沖突的問題,此外,對(duì)于如大促這類需要?jiǎng)討B(tài)擴(kuò)縮容的場(chǎng)景,需要水平擴(kuò)展服務(wù)的性能,就需要在新增的服務(wù)上準(zhǔn)備運(yùn)行環(huán)境,部署服務(wù)等,運(yùn)維將變得十分困難。

第十三次演進(jìn):引入容器化技術(shù)實(shí)現(xiàn)運(yùn)行環(huán)境隔離與動(dòng)態(tài)服務(wù)管理

目前最流行的容器化技術(shù)是Docker,最流行的容器管理服務(wù)是Kubernetes(K8S),應(yīng)用/服務(wù)可以打包為Docker鏡像,通過Kubernetes來動(dòng)態(tài)分發(fā)和部署鏡像。Docker鏡像可理解為一個(gè)能運(yùn)行你的應(yīng)用/服務(wù)的最小的操作系統(tǒng),里面放著應(yīng)用/服務(wù)的運(yùn)行代碼,運(yùn)行環(huán)境根據(jù)實(shí)際的需要設(shè)置好。把整個(gè)“操作系統(tǒng)”打包為一個(gè)鏡像后,就可以分發(fā)到需要部署相關(guān)服務(wù)的機(jī)器上,直接啟動(dòng)Docker鏡像就可以把服務(wù)起起來,使服務(wù)的部署和運(yùn)維變得簡(jiǎn)單。

在大促的之前,可以在現(xiàn)有的機(jī)器集群上劃分出服務(wù)器來啟動(dòng)Docker鏡像,增強(qiáng)服務(wù)的性能,大促過后就可以關(guān)閉鏡像,對(duì)機(jī)器上的其他服務(wù)不造成影響(在本節(jié)之前,服務(wù)運(yùn)行在新增機(jī)器上需要修改系統(tǒng)配置來適配服務(wù),這會(huì)導(dǎo)致機(jī)器上其他服務(wù)需要的運(yùn)行環(huán)境被破壞)。

使用容器化技術(shù)后服務(wù)動(dòng)態(tài)擴(kuò)縮容問題得以解決,但是機(jī)器還是需要公司自身來管理,在非大促的時(shí)候,還是需要閑置著大量的機(jī)器資源來應(yīng)對(duì)大促,機(jī)器自身成本和運(yùn)維成本都極高,資源利用率低。

第十四次演進(jìn):以云平臺(tái)承載系統(tǒng)

系統(tǒng)可部署到公有云上,利用公有云的海量機(jī)器資源,解決動(dòng)態(tài)硬件資源的問題,在大促的時(shí)間段里,在云平臺(tái)中臨時(shí)申請(qǐng)更多的資源,結(jié)合Docker和K8S來快速部署服務(wù),在大促結(jié)束后釋放資源,真正做到按需付費(fèi),資源利用率大大提高,同時(shí)大大降低了運(yùn)維成本。

所謂的云平臺(tái),就是把海量機(jī)器資源,通過統(tǒng)一的資源管理,抽象為一個(gè)資源整體,在之上可按需動(dòng)態(tài)申請(qǐng)硬件資源(如CPU、內(nèi)存、網(wǎng)絡(luò)等),并且之上提供通用的操作系統(tǒng),提供常用的技術(shù)組件(如Hadoop技術(shù)棧,MPP數(shù)據(jù)庫等)供用戶使用,甚至提供開發(fā)好的應(yīng)用,用戶不需要關(guān)系應(yīng)用內(nèi)部使用了什么技術(shù),就能夠解決需求(如音視頻轉(zhuǎn)碼服務(wù)、郵件服務(wù)、個(gè)人博客等)。在云平臺(tái)中會(huì)涉及如下幾個(gè)概念:

  • IaaS:基礎(chǔ)設(shè)施即服務(wù)。對(duì)應(yīng)于上面所說的機(jī)器資源統(tǒng)一為資源整體,可動(dòng)態(tài)申請(qǐng)硬件資源的層面;
  • PaaS:平臺(tái)即服務(wù)。對(duì)應(yīng)于上面所說的提供常用的技術(shù)組件方便系統(tǒng)的開發(fā)和維護(hù);
  • SaaS:軟件即服務(wù)。對(duì)應(yīng)于上面所說的提供開發(fā)好的應(yīng)用或服務(wù),按功能或性能要求付費(fèi)。

至此,以上所提到的從高并發(fā)訪問問題,到服務(wù)的架構(gòu)和系統(tǒng)實(shí)施的層面都有了各自的解決方案,但同時(shí)也應(yīng)該意識(shí)到,在上面的介紹中,其實(shí)是有意忽略了諸如跨機(jī)房數(shù)據(jù)同步、分布式事務(wù)實(shí)現(xiàn)等等的實(shí)際問題,這些問題以后有機(jī)會(huì)再拿出來單獨(dú)討論。

架構(gòu)設(shè)計(jì)總結(jié)

架構(gòu)的調(diào)整是否必須按照上述演變路徑進(jìn)行?

不是的,以上所說的架構(gòu)演變順序只是針對(duì)某個(gè)側(cè)面進(jìn)行單獨(dú)的改進(jìn),在實(shí)際場(chǎng)景中,可能同一時(shí)間會(huì)有幾個(gè)問題需要解決,或者可能先達(dá)到瓶頸的是另外的方面,這時(shí)候就應(yīng)該按照實(shí)際問題實(shí)際解決。如在政府類的并發(fā)量可能不大,但業(yè)務(wù)可能很豐富的場(chǎng)景,高并發(fā)就不是重點(diǎn)解決的問題,此時(shí)優(yōu)先需要的可能會(huì)是豐富需求的解決方案。

對(duì)于將要實(shí)施的系統(tǒng),架構(gòu)應(yīng)該設(shè)計(jì)到什么程度?

對(duì)于單次實(shí)施并且性能指標(biāo)明確的系統(tǒng),架構(gòu)設(shè)計(jì)到能夠支持系統(tǒng)的性能指標(biāo)要求就足夠了,但要留有擴(kuò)展架構(gòu)的接口以便不備之需。對(duì)于不斷發(fā)展的系統(tǒng),如電商平臺(tái),應(yīng)設(shè)計(jì)到能滿足下一階段用戶量和性能指標(biāo)要求的程度,并根據(jù)業(yè)務(wù)的增長(zhǎng)不斷的迭代升級(jí)架構(gòu),以支持更高的并發(fā)和更豐富的業(yè)務(wù)。

服務(wù)端架構(gòu)和大數(shù)據(jù)架構(gòu)有什么區(qū)別?

所謂的“大數(shù)據(jù)”其實(shí)是海量數(shù)據(jù)采集清洗轉(zhuǎn)換、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析、數(shù)據(jù)服務(wù)等場(chǎng)景解決方案的一個(gè)統(tǒng)稱,在每一個(gè)場(chǎng)景都包含了多種可選的技術(shù),如數(shù)據(jù)采集有Flume、Sqoop、Kettle等,數(shù)據(jù)存儲(chǔ)有分布式文件系統(tǒng)HDFS、FastDFS,NoSQL數(shù)據(jù)庫HBase、MongoDB等,數(shù)據(jù)分析有Spark技術(shù)棧、機(jī)器學(xué)習(xí)算法等。

總的來說大數(shù)據(jù)架構(gòu)就是根據(jù)業(yè)務(wù)的需求,整合各種大數(shù)據(jù)組件組合而成的架構(gòu),一般會(huì)提供分布式存儲(chǔ)、分布式計(jì)算、多維分析、數(shù)據(jù)倉庫、機(jī)器學(xué)習(xí)算法等能力。而服務(wù)端架構(gòu)更多指的是應(yīng)用組織層面的架構(gòu),底層能力往往是由大數(shù)據(jù)架構(gòu)來提供。

有沒有一些架構(gòu)設(shè)計(jì)的原則?

  • N+1設(shè)計(jì)。系統(tǒng)中的每個(gè)組件都應(yīng)做到?jīng)]有單點(diǎn)故障;
  • 回滾設(shè)計(jì)。確保系統(tǒng)可以向前兼容,在系統(tǒng)升級(jí)時(shí)應(yīng)能有辦法回滾版本;
  • 禁用設(shè)計(jì)。應(yīng)該提供控制具體功能是否可用的配置,在系統(tǒng)出現(xiàn)故障時(shí)能夠快速下線功能;
  • 監(jiān)控設(shè)計(jì)。在設(shè)計(jì)階段就要考慮監(jiān)控的手段;
  • 多活數(shù)據(jù)中心設(shè)計(jì)。若系統(tǒng)需要極高的高可用,應(yīng)考慮在多地實(shí)施數(shù)據(jù)中心進(jìn)行多活,至少在一個(gè)機(jī)房斷電的情況下系統(tǒng)依然可用;
  • 采用成熟的技術(shù)。剛開發(fā)的或開源的技術(shù)往往存在很多隱藏的bug,出了問題沒有商業(yè)支持可能會(huì)是一個(gè)災(zāi)難;
  • 資源隔離設(shè)計(jì)。應(yīng)避免單一業(yè)務(wù)占用全部資源;
  • 架構(gòu)應(yīng)能水平擴(kuò)展。系統(tǒng)只有做到能水平擴(kuò)展,才能有效避免瓶頸問題;
  • 非核心則購買。非核心功能若需要占用大量的研發(fā)資源才能解決,則考慮購買成熟的產(chǎn)品;
  • 使用商用硬件。商用硬件能有效降低硬件故障的機(jī)率;
  • 快速迭代。系統(tǒng)應(yīng)該快速開發(fā)小功能模塊,盡快上線進(jìn)行驗(yàn)證,早日發(fā)現(xiàn)問題大大降低系統(tǒng)交付的風(fēng)險(xiǎn);
  • 無狀態(tài)設(shè)計(jì)。服務(wù)接口應(yīng)該做成無狀態(tài)的,當(dāng)前接口的訪問不依賴于接口上次訪問的狀態(tài)。
責(zé)任編輯:龐桂玉 來源: Java面試那些事兒
相關(guān)推薦

2019-09-25 09:01:53

高并發(fā)架構(gòu)分布式

2019-12-17 11:18:37

高并發(fā)分布式架構(gòu)

2020-02-10 19:16:52

服務(wù)端高并發(fā)架構(gòu)

2018-04-03 09:27:42

分布式架構(gòu)系統(tǒng)

2021-11-29 08:18:22

架構(gòu)互聯(lián)網(wǎng)分布式

2024-05-16 07:51:55

分布式系統(tǒng)架構(gòu)

2017-06-29 13:29:34

大數(shù)據(jù)PAI機(jī)器學(xué)習(xí)

2020-01-06 10:41:52

分布式架構(gòu)治理

2023-10-19 07:09:57

NewSQL數(shù)據(jù)庫

2023-12-18 09:03:53

MatrixOneNewSQL數(shù)據(jù)庫

2023-05-29 14:07:00

Zuul網(wǎng)關(guān)系統(tǒng)

2017-01-10 16:18:26

分布式存儲(chǔ)建設(shè)

2019-10-10 09:16:34

Zookeeper架構(gòu)分布式

2020-10-20 09:38:15

分布式存儲(chǔ)Ceph

2024-06-07 07:41:03

2024-04-22 08:10:29

2018-12-14 10:06:22

緩存分布式系統(tǒng)

2019-06-19 15:40:06

分布式鎖RedisJava

2017-12-20 16:15:30

分布式系統(tǒng)架構(gòu)

2025-07-21 01:00:00

點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)

日韩美一区二区三区| 亚洲精品综合在线| 国产精品永久免费在线| 欧美成人黄色网| 久久久久高潮毛片免费全部播放| 色综合天天性综合| 超碰免费在线公开| 日本电影一区二区在线观看| 日韩不卡一区二区| 欧美另类老女人| 人妻少妇一区二区| 电影一区中文字幕| 精品日韩中文字幕| 裸体大乳女做爰69| 天堂√在线中文官网在线| 久久精品国产精品亚洲精品 | 成人午夜电影免费在线观看| 天天做天天爱夜夜爽| 91精品国产视频| 日韩电影免费观看在线观看| 污视频网址在线观看| 嗯~啊~轻一点视频日本在线观看| 国产日韩亚洲欧美综合| 国产精品一区视频| 国产欧美一级片| 久久午夜视频| 午夜精品三级视频福利| 成人免费精品动漫网站| 曰本一区二区三区视频| 精品国产乱码久久久久久图片| 天天干天天综合| 在线观看v片| 亚洲五月六月丁香激情| 中文字幕一区综合| 国产黄色片在线观看| 99精品视频在线观看| 亚洲综合小说区| 一卡二卡在线观看| 日韩黄色免费电影| 热久久这里只有精品| 日操夜操天天操| 国产精品a久久久久| 精品国产欧美成人夜夜嗨| 国产精品美女高潮无套| 免费欧美激情| 亚洲精选在线观看| 大地资源二中文在线影视观看| 动漫3d精品一区二区三区乱码| 91精品国产综合久久久久久久久久 | 成人激情电影在线看| 91免费视频网址| 黄色小网站91| 天堂91在线| 久久蜜桃av一区二区天堂| 久久久久久a亚洲欧洲aⅴ| 欧美一级特黄aaaaaa| 成人高清视频免费观看| 国产伦精品一区二区三| 天天射,天天干| 91色九色蝌蚪| 欧美精品v日韩精品v国产精品| 天天干天天插天天操| 91麻豆国产在线观看| 久久国产一区| 免费在线毛片| 中文字幕欧美区| 亚洲免费视频一区| 国产激情在线视频| 亚洲综合色网站| 黄色www网站| 日韩精品影片| 欧美日韩成人激情| 国产精品欧美性爱| 欧美三级自拍| 国产一区二区美女视频| 国产三级精品三级观看| 亚洲欧美日韩高清在线| 欧美激情精品久久久久久久变态| 毛片在线免费视频| 日韩激情av在线| 91九色露脸| 天堂8在线视频| 国产人成一区二区三区影院| 在线视频欧美一区| 久草在线视频网站| 欧美日韩国产影院| 狠狠干狠狠操视频| 福利在线一区| 亚洲一区999| 日韩a级片在线观看| 一本色道88久久加勒比精品| 国产精品18久久久久久麻辣| 一级片视频播放| 成人免费视频国产在线观看| 色狠狠久久av五月综合|| 国产精品刘玥久久一区| 第一福利永久视频精品| jizz欧美性11| 女仆av观看一区| 色一区av在线| 久久久久久91亚洲精品中文字幕| 麻豆精品视频在线| 精品在线不卡| caoporm免费视频在线| 欧美丝袜一区二区三区| 久久久福利影院| 国产一区二区在线| 久久久久久这里只有精品| 日韩乱码一区二区三区| av亚洲精华国产精华精华| 亚洲精品9999| 中文字幕在线中文字幕在线中三区| 欧美精品三级在线观看| www.av欧美| 亚洲午夜一区| 成人网在线免费观看| 狠狠狠综合7777久夜色撩人 | 国产高潮久久久| 国内精品视频一区二区三区八戒| 欧美日韩高清在线一区| 免费在线观看的电影网站| 欧美日韩精品高清| 久久国产柳州莫菁门| 亚洲国产清纯| 91免费观看| bt在线麻豆视频| 欧美日韩亚洲丝袜制服| 波多野吉衣中文字幕| 亚洲欧洲另类| av成人综合网| 老司机av在线免费看| 欧美在线你懂得| 3d动漫精品啪啪一区二区下载| 99pao成人国产永久免费视频| 超碰97在线人人| 久久99精品久久| 欧美日韩精品一区二区三区四区 | 欧美日韩免费不卡视频一区二区三区 | 国内少妇毛片视频| 日本一区二区三区电影免费观看| 日韩最新在线视频| 亚洲影视一区二区| 国产精品亲子乱子伦xxxx裸| 欧美丰满熟妇xxxxx| 偷拍亚洲精品| 国产91精品久久久久久久| 色欲av永久无码精品无码蜜桃| 亚洲一区二区精品3399| 免费看91视频| 欧美午夜一区| 国产乱码精品一区二区三区中文 | 7777kkk亚洲综合欧美网站| 欧美成人福利视频| 国产一级片视频| 成人av免费观看| 男人天堂1024| 九九在线高清精品视频| 国产精品激情av在线播放 | 国产精品久久夜| 亚洲天堂网一区| 国产精品二区不卡| 3d精品h动漫啪啪一区二区| 污污的网站在线免费观看| 日韩精品综合一本久道在线视频| 久久久国产精华液| av高清不卡在线| 欧美少妇性生活视频| 日韩在线观看一区| 亚洲综合成人婷婷小说| 国产啊啊啊视频在线观看| 日韩电影免费观看在线观看| 国产美女www| 中文字幕一区二区三区四区不卡| 欧美69精品久久久久久不卡| 欧美精品91| 国产主播一区二区三区四区| 天天免费亚洲黑人免费| 久久精品亚洲一区| 三级小视频在线观看| 欧美综合色免费| 亚洲伦理一区二区三区| 久久久久久视频| 国产一区二区h| 久久av综合网| 精品精品99| 亚洲最大成人免费视频| 在线免费看h| 俺去啦;欧美日韩| 午夜在线视频观看| 欧美巨大另类极品videosbest| 国产在线观看你懂的| 国产日韩一级二级三级| 韩国三级在线看| 日韩精品一二区| 欧美一级日本a级v片| 亚洲国产精品无码久久| 亚洲成av人在线观看| 少妇太紧太爽又黄又硬又爽小说| 国产一区 二区 三区一级| 久久久久免费看黄a片app| 欧美一站二站| 国产自产精品| 另类视频一区二区三区| 国产精品91在线| 国产伦久视频在线观看| 久久综合久久美利坚合众国| 午夜一区在线观看| 欧美大胆人体bbbb| 中文字幕久久熟女蜜桃| 狠狠操狠狠色综合网| 岛国毛片在线观看| 国产精品久久久久一区| 9.1成人看片| 大陆成人av片| 日韩欧美中文在线视频| 日韩成人午夜精品| 青青草精品视频在线| 亚洲精品va| 亚洲成人a**址| 国产探花在线精品一区二区| 国产一区二区精品免费| 亚洲一区二区电影| 亚洲一区二区五区| 人妻少妇无码精品视频区| 国产aⅴ综合色| 911福利视频| 青青青伊人色综合久久| 免费观看日韩毛片| 亚洲夜间福利| 大陆极品少妇内射aaaaaa| 青青草国产成人a∨下载安卓| 国产一区二区高清不卡| 9l亚洲国产成人精品一区二三| 国产日韩欧美自拍| 欧美爱爱视频| 国产精品wwwwww| 春暖花开亚洲一区二区三区| 91精品国产免费久久久久久| 福利写真视频网站在线| 欧美大片在线看| 国产在线xxx| 欧美精品成人在线| 男人添女人下部高潮视频在线观看| 欧美猛男性生活免费| 影院在线观看全集免费观看| 美女久久久久久久| 色呦呦在线播放| 欧美精品久久久久a| 国产黄色大片在线观看| 91精品国产99| 亚洲av成人片色在线观看高潮| 精品一区二区国语对白| 久久99999| 久久国产精品免费| 天美一区二区三区| 丁香网亚洲国际| 这里只有精品在线观看视频 | 在线成人超碰| 国产在线无码精品| 黄色av成人| 一女被多男玩喷潮视频| 亚洲综合电影一区二区三区| 日韩精品一区中文字幕| 蜜桃一区二区三区在线观看| 国产成年人视频网站| 国产99久久久久久免费看农村| 扒开伸进免费视频| 26uuu国产在线精品一区二区| 精品国产av无码| 亚洲色欲色欲www| 国产无套粉嫩白浆内谢| 日韩欧美一区二区在线| 影音先锋黄色网址| 日韩免费在线观看| 天堂成人在线| 日韩视频精品在线| 国产美女一区视频| 国产精欧美一区二区三区| 欧美特黄不卡| 美女精品国产| 婷婷综合亚洲| 97av视频在线观看| 国产在线一区二区综合免费视频| 国产国语老龄妇女a片| 国产亚洲短视频| 欧美黑人猛猛猛| 一本高清dvd不卡在线观看| 一区二区三区日| 亚洲精美色品网站| 国产免费av高清在线| 欧美日韩国产成人在线观看| 成人小电影网站| 亚洲japanese制服美女| 蜜乳av综合| 天天想你在线观看完整版电影免费 | 色诱女教师一区二区三区| 丝袜美腿综合| 亚洲欧洲一区二区| 影音先锋久久精品| 午夜免费福利在线| 99国产精品一区| 免费在线观看a级片| 一本色道**综合亚洲精品蜜桃冫| 国产激情视频在线播放 | 国产精品久久久久久亚洲av| 精品中文一区| 欧美华人在线视频| 日韩在线免费| 国产精品久久国产三级国电话系列| 你懂的一区二区三区| 国产又粗又猛又爽又黄的网站| 日韩avvvv在线播放| 日本护士做爰视频| 亚洲另类春色国产| 中文字幕在线观看国产| 亚洲免费av片| 啊v视频在线一区二区三区| 天天操天天干天天操| 中文国产成人精品| 国产99在线| 亚洲一区二区三区香蕉| 欧美色蜜桃97| 久久9精品区-无套内射无码| 成人sese在线| 视频一区在线观看| 国产片侵犯亲女视频播放| 久久久久久久高潮| 影音先锋资源av| 亚洲精品综合在线| 国产日本精品视频| 日韩有码片在线观看| 久久久亚洲成人| 日本国产在线| 欧美精品videos| 国产精品视频一区二区三区| 视频一区免费观看| 久久精品在线| 中国av免费看| 欧美色道久久88综合亚洲精品| 亚洲经典一区二区| 久久免费高清视频| 日韩电影免费观看高清完整版在线观看 | 妞干网视频在线观看| 国产专区综合网| 欧美风情第一页| 欧美精品久久久久久久久老牛影院 | 青娱乐极品盛宴一区二区| 亚洲综合av一区| 国内久久婷婷综合| 麻豆changesxxx国产| 精品久久久三级丝袜| аⅴ资源天堂资源库在线| 久久国产欧美精品| 日韩国产精品大片| 天海翼在线视频| 日韩女优电影在线观看| 成入视频在线观看| 欧美性xxxx69| 九色|91porny| 久久久久久天堂| 亚洲精品久久久久久久久久久久久 | 欧美久久久久久久久久| 精品视频在线一区二区| 成人欧美一区二区三区在线观看| 亚洲伦理一区| 少妇精品无码一区二区免费视频| 欧美精品自拍偷拍动漫精品| 国产在线一区二区三区播放| 99国产精品视频免费观看一公开| 国产精品久久久久久亚洲色 | 国产成人综合在线观看| 久草视频精品在线| 国产亚洲精品美女久久久久| 国产精品一区二区美女视频免费看| 精品视频在线观看一区二区| 疯狂欧洲av久久成人av电影| 欧洲国产精品| 久久国产免费看| 紧身裙女教师波多野结衣| 亚洲成人在线视频播放| 亚洲黄色免费看| 国产盗摄视频在线观看| 91在线精品一区二区三区| 中文字幕免费高清网站| 欧美老肥婆性猛交视频| 一本色道久久综合狠狠躁的番外| 午夜一区二区视频| 精品久久香蕉国产线看观看亚洲| 最新97超碰在线| 国产伦精品一区二区三区四区免费 | 欧美一区二区视频在线播放| 久久久不卡影院| 亚洲一区在线观| 欧美亚洲国产视频小说| 91欧美大片| 性欧美13一14内谢| 日韩欧美中文字幕精品| 日韩一区精品| 精品国产一区三区| 亚洲人一二三区|