騰訊云拿下計(jì)算奧運(yùn)冠軍,中國云走向世界
去年在寫《中國云力量》這本書的時(shí)候,其實(shí)有很多備選的書名,那么為什么***選了這個(gè)名字呢?因?yàn)?,這其中也有一層對(duì)中國云崛起的期待,云計(jì)算最早是SUN公司提出來了,之后被AWS發(fā)揚(yáng)光大,過去中國的云計(jì)算距離***的云一直存在差距。
田溯寧在為《中國云力量》所做的序言中提到,“云計(jì)算的變革核心不僅僅是商業(yè)模式和公司經(jīng)營的變革,更是整個(gè)人類社會(huì)的變革。”那么,在這場相當(dāng)于工業(yè)革命一樣的變革當(dāng)中,中國的云計(jì)算公司能夠表現(xiàn)出何種價(jià)值?
我們知道,云計(jì)算是一個(gè)技術(shù)驅(qū)動(dòng)的行業(yè),只有在技術(shù)的舞臺(tái)上,持續(xù)的站在***,才能說中國的云計(jì)算真正到了走向世界的一天。
還記得2014年的Sort Benchmark,中國的百度***在這項(xiàng)計(jì)算界的奧運(yùn)會(huì)上奪取其中兩個(gè)項(xiàng)目的冠軍,而去年,阿里云則在四個(gè)項(xiàng)目中打破全部4項(xiàng)世界紀(jì)錄。
今年的Sort Benchmark,來自中國的騰訊云,則再次刷新了這四項(xiàng)世界紀(jì)錄,展現(xiàn)了中國云計(jì)算的技術(shù)能力。從這個(gè)角度看中國的云計(jì)算在技術(shù)上的沉淀開始釋放光芒,中國的云計(jì)算力量也在覺醒中,做好了***世界的準(zhǔn)備。
計(jì)算賽事的***殿堂
首先要強(qiáng)調(diào)的是Sort Benchmark。這是一個(gè)專門從事排序基準(zhǔn)評(píng)估的非盈利機(jī)構(gòu),該機(jī)構(gòu)每年都會(huì)舉辦一次排序基準(zhǔn)評(píng)估比賽,很多公司和學(xué)術(shù)機(jī)構(gòu)都會(huì)帶著他們***的研究成果來參加這個(gè)比賽,以評(píng)估他們的研究成果。
在2007之前,該機(jī)構(gòu)的排序基準(zhǔn)評(píng)估比賽的主辦和管理主要都是由Jim Gray負(fù)責(zé)主辦和管理的排序基準(zhǔn)評(píng)估比賽。這位1998年圖靈獎(jiǎng)的獲得者,***傳奇色彩,他于2007年1月28日早上獨(dú)自乘船離開San Francisco Bay,去一個(gè)叫Farallon小島灑他母親的骨灰,不幸在外海失蹤。
傳奇的人已離我們遠(yuǎn)去,而傳奇的賽事卻每年都在煥發(fā)新的青春色彩。每年一度的Sort Benchmark,都被譽(yù)為計(jì)算界的奧運(yùn)會(huì)。云計(jì)算領(lǐng)域大名鼎鼎的AWS就曾在該項(xiàng)比賽中奪取過多項(xiàng)冠軍。還有大數(shù)據(jù)領(lǐng)域著名的Hadoop和Apache Spark都是過去幾年這項(xiàng)比賽中的冠軍得主??梢哉f,Sort Benchmark就是今天計(jì)算賽事的***殿堂。
據(jù)了解,這項(xiàng)賽事包括四項(xiàng)比賽,今年的騰訊云大數(shù)據(jù)聯(lián)合團(tuán)隊(duì)參加的是含金量***的GraySort和MinuteSort兩項(xiàng)排序競賽,重點(diǎn)評(píng)測大規(guī)模分布式系統(tǒng)的軟硬件架構(gòu)能力及平臺(tái)的計(jì)算效率,以上兩項(xiàng)比賽均包括Indy(專用目的排序)和Daytona(通用目的排序)兩個(gè)子項(xiàng)。騰訊云奪得上述四個(gè)子項(xiàng)的冠軍,總體將去年的紀(jì)錄提高2倍到5倍。
在我看來,Sort Benchmark是通過排序競賽考量一家公司或機(jī)構(gòu)大規(guī)模計(jì)算能力的綜合實(shí)力,不僅全面評(píng)測分布式系統(tǒng)軟件架構(gòu)能力,比如海量數(shù)據(jù)分布式存儲(chǔ)、計(jì)算任務(wù)切片調(diào)度、節(jié)點(diǎn)通信協(xié)調(diào)同步、數(shù)據(jù)計(jì)算監(jiān)控容災(zāi)等性能,也評(píng)測了硬件架構(gòu)能力,比如服務(wù)器硬件選配、網(wǎng)絡(luò)架構(gòu)調(diào)優(yōu)、IDC規(guī)劃建設(shè)能力等。所以,這項(xiàng)比賽中的勝出,也等于在側(cè)面驗(yàn)證了騰訊云在云計(jì)算和大數(shù)據(jù)上的整體技術(shù)能力。
騰訊云做到了哪些新突破?
毫無疑問,本屆Sort Benchmark的***贏家是騰訊云的大數(shù)據(jù)聯(lián)合團(tuán)隊(duì)。這是由騰訊云存儲(chǔ)產(chǎn)品中心、騰訊數(shù)據(jù)平臺(tái)部組成的比賽團(tuán)隊(duì),在大數(shù)據(jù)技術(shù)和應(yīng)用管理上有非常豐富的實(shí)踐經(jīng)驗(yàn)。
首先,從Sort Benchmark官網(wǎng)顯示的數(shù)據(jù)上看,在這次競賽中,騰訊云數(shù)智分布式計(jì)算平臺(tái),奪得Sort Benchmark大賽GraySort和MinuteSort的冠軍,總共創(chuàng)造四項(xiàng)世界紀(jì)錄,將去年冠軍阿里云的紀(jì)錄整體提高2倍到5倍。
那么,GraySort和MinuteSort兩項(xiàng)比賽的冠軍到底意味著什么?
***,GraySort比拼的是完成100TB的數(shù)據(jù)排序的耗時(shí),主要評(píng)測的是系統(tǒng)對(duì)大規(guī)模數(shù)據(jù)的處理能力。騰訊云用時(shí)98.8秒完成100TB的數(shù)據(jù)排序,即每分鐘完成60.7TB的數(shù)據(jù)排序,去年阿里云的紀(jì)錄為18.2TB/分鐘。
第二,MinuteSort競賽,比拼的是1分鐘內(nèi)的排序數(shù)量,主要評(píng)測的是系統(tǒng)的效率。騰訊云的成績?yōu)?分鐘完成55TB的排序,去年阿里云的紀(jì)錄是11TB,騰訊云將這一數(shù)據(jù)量提升5倍。
通過比較Sort Benchmark官網(wǎng)公布的數(shù)據(jù)可見,騰訊云的單機(jī)性能比去年強(qiáng)大許多,但整體集群的配備和阿里云的配備差異不大。但是如果是對(duì)運(yùn)營成本了解的業(yè)內(nèi)人士可以計(jì)算出,騰訊云512臺(tái)機(jī)器的整體TCO成本比去年的3377臺(tái)機(jī)器低;同時(shí)從比較直觀的指標(biāo)如內(nèi)存、網(wǎng)絡(luò)、順序讀寫IO等整體看與去年的差異不大。今年排序比賽成績的提升是實(shí)實(shí)在在的,并非由硬件堆砌出來。
其次,今年的比賽其實(shí)不完全是一成不變的競賽。因?yàn)楸荣愐蟮奶峤粫r(shí)間,突然宣布提前了一個(gè)月,這應(yīng)該是很多參賽團(tuán)隊(duì)沒預(yù)料到的。但這也恰恰突出了各團(tuán)隊(duì)在技術(shù)積累的重要性。
那么從技術(shù)積累的角度,騰訊在大數(shù)據(jù)技術(shù)的探索上可以說一直走在業(yè)界前列。我們知道,騰訊的用戶和產(chǎn)品數(shù)量都比較多,數(shù)據(jù)量巨大,數(shù)據(jù)分析的復(fù)雜度高,對(duì)底層技術(shù)平臺(tái)的要求自然很高。以春晚搖一搖發(fā)紅包為例,其***的并發(fā)請求量是搶火車票的一百多倍,要處理的問題不僅是海量并發(fā)請求,還有資源推送、紅包收發(fā)和金融級(jí)的安全防護(hù)等等,這些都考驗(yàn)著騰訊對(duì)于大數(shù)據(jù)處理能力的技術(shù)沉淀。所以,面對(duì)Sort Benchmark突發(fā)性的需求,騰訊云才能做到了不慌不忙。
據(jù)悉,為了參加本次競賽,騰訊云數(shù)智從現(xiàn)網(wǎng)調(diào)配了512臺(tái)用于實(shí)時(shí)計(jì)算服務(wù)的服務(wù)器,在網(wǎng)絡(luò)方面采用了邁絡(luò)思的100Gb網(wǎng)絡(luò)技術(shù),騰訊云大數(shù)據(jù)服務(wù)的實(shí)時(shí)計(jì)算平臺(tái)能提供單集群上千臺(tái)規(guī)模實(shí)時(shí)流式計(jì)算,在數(shù)據(jù)存儲(chǔ)方面,支持多重?cái)?shù)據(jù)備份,萬億數(shù)據(jù)的存儲(chǔ)能力。在任務(wù)調(diào)度方面,支持***任務(wù)的毫秒級(jí)的調(diào)用。而且支持故障節(jié)點(diǎn)自動(dòng)發(fā)現(xiàn),自動(dòng)剔除,業(yè)務(wù)的自動(dòng)遷移,關(guān)鍵節(jié)點(diǎn)的主從熱備,故障的秒級(jí)切換。
從“三連冠”看中國云崛起
從以上分析可見,騰訊云能以較大優(yōu)勢斬獲Sort Benchmark競賽四個(gè)項(xiàng)目的冠軍,絕非偶然。再聯(lián)系去年阿里云和前一年百度的表現(xiàn),我們可以判斷,中國云計(jì)算已經(jīng)在技術(shù)能力上不輸于***云計(jì)算公司。連續(xù)的“三連冠”足以驗(yàn)證中國云的集體性崛起。
這背后的內(nèi)因是互聯(lián)網(wǎng)公司們通過自身業(yè)務(wù)的擴(kuò)展,在多個(gè)不同的應(yīng)用場景上的創(chuàng)新,讓支撐業(yè)務(wù)的云計(jì)算技術(shù)得到了極大程度的升級(jí)??梢哉f這是中國在互聯(lián)網(wǎng)時(shí)代,換來的***的財(cái)富。
我認(rèn)為中國云的崛起將有兩個(gè)較大的意義。
***,云計(jì)算是分享經(jīng)濟(jì)的基礎(chǔ),是互聯(lián)網(wǎng)商業(yè)模式的基石。有了騰訊和阿里等公司以自身業(yè)務(wù)作為試煉場,才有了今天騰訊云和阿里云技術(shù)的成熟的發(fā)展。而這些技術(shù)未來都會(huì)開放給中國的創(chuàng)業(yè)者,中國的企業(yè)。
以Sort Benchmark上大放異彩的騰訊云數(shù)智平臺(tái)為例,它是一套一站式的大數(shù)據(jù)處理平臺(tái),使用數(shù)智可讓技術(shù)團(tuán)隊(duì)可以專注于代碼層的開發(fā),而無需關(guān)注集群和組件的性能和穩(wěn)定性,極大的降低了大數(shù)據(jù)的使用門檻。在數(shù)智平臺(tái)上提供了業(yè)界最豐富的數(shù)據(jù)開發(fā)套件,用戶可以一站式的完成從數(shù)據(jù)清洗、數(shù)據(jù)建模與分析、可視化呈現(xiàn)、數(shù)據(jù)治理等一系列操作,支持實(shí)時(shí)流式數(shù)據(jù)、離線數(shù)據(jù)的導(dǎo)入與導(dǎo)出。
而騰訊云數(shù)智的開放,則能夠讓社會(huì)各界享有與騰訊同級(jí)的大數(shù)據(jù)處理能力。對(duì)于企業(yè)而言,可以在大幅降低人力成本、快速將大數(shù)據(jù)平臺(tái)落地的同時(shí),享有高穩(wěn)定、高性能、高安全的大數(shù)據(jù)平臺(tái)。對(duì)于開發(fā)者而言,無需將時(shí)間精力投入到集群的搭建、改進(jìn)社區(qū)版本穩(wěn)定性等問題上,從而全力投入進(jìn)業(yè)務(wù)層與代碼層中。換句話說,騰訊云Sort Benchmark上實(shí)現(xiàn)的速度與效率,未來企業(yè)都可以借助騰訊云來獲取到。
第二,云計(jì)算技術(shù)是創(chuàng)新的溫床,它讓計(jì)算的成本不斷的降低。有了騰訊云和阿里云不輸于***云計(jì)算的技術(shù)能力,讓云計(jì)算真正成為中國創(chuàng)新的驅(qū)動(dòng)力,進(jìn)一步讓互聯(lián)網(wǎng)+、工業(yè)制造4.0更快的成為現(xiàn)實(shí)。
仍然以騰訊云為例,騰訊云已經(jīng)對(duì)外開放了一系列AI產(chǎn)品,如萬象優(yōu)圖、人臉識(shí)別、語音識(shí)別、智能客服等服務(wù)。比如微眾銀行已經(jīng)將優(yōu)圖的人臉識(shí)別技術(shù)運(yùn)用到開戶流程中,在保證安全性的前提下,極大的提升了開戶效率并顯著降低成本。可見,企業(yè)和開發(fā)者可以有效的借助騰訊云開放的騰訊大數(shù)據(jù)和AI能力,來快速分析其存儲(chǔ)的非結(jié)構(gòu)化數(shù)據(jù),實(shí)現(xiàn)業(yè)務(wù)的創(chuàng)新。
總體而言,云計(jì)算代表了底層創(chuàng)新技術(shù)的驅(qū)動(dòng)力。一個(gè)國家在云計(jì)算上的技術(shù)沉淀換來的覺醒,會(huì)促使社會(huì)全面創(chuàng)新的啟動(dòng),和產(chǎn)業(yè)流程的優(yōu)化。百度、阿里云和騰訊云,三年之間將Sort Benchmark的紀(jì)錄每年都進(jìn)行了一次大幅度的提升,也意味著中國云力量的崛起已成定局。


























