阿里云，致力于打造互聯(lián)網(wǎng)數(shù)據(jù)分享***平臺，成為以數(shù)據(jù)為中心的云計算服務公司，在經(jīng)歷了飛天平臺、5K集群，對外開放了很多云計算服務后，在今年7月，阿里云正式迎來了大數(shù)據(jù)服務，也真成兌現(xiàn)了以數(shù)據(jù)為中心的云計算服務公司的承諾。

阿里云總裁王文彬表示，“中國市場需要一個大數(shù)據(jù)公共服務，通過阿里巴巴自身驗證后的大數(shù)據(jù)平臺，阿里云開放對外的數(shù)據(jù)服務，讓數(shù)據(jù)處理變成平民化的過程，讓數(shù)據(jù)處理變成人人都可以使用的服務。”

ODPS是什么？

阿里云ODPS團隊的工程師形象的將ODPS比喻為榨果汁的過程，把數(shù)據(jù)海洋里的水灌進ODPS，設定好一套參數(shù)，擰開水龍頭，出來的就是鮮榨果汁！

ODPS(Open Data Processing Service，開放數(shù)據(jù)處理服務)是一項Web服務，用戶不用花很多錢建立數(shù)據(jù)中心，就能分析海量數(shù)據(jù)。但是，值得注意的是，ODPS是通過SQL語句進行查詢作業(yè)，因此，ODPS應該只能處理結(jié)構(gòu)化數(shù)據(jù)處理，這一說法也得到了阿里云事業(yè)部高級專家、云產(chǎn)品產(chǎn)品經(jīng)理湯子楠的認可。“ODPS最早是支持阿里巴巴內(nèi)部的業(yè)務成長起來的，因此，分析的數(shù)據(jù)基本上都是交易數(shù)據(jù)和用戶行為數(shù)據(jù)，大多都屬于結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)，因此也就決定了ODPS在發(fā)展最初專注于業(yè)務的需求。ODPS更擅長處理結(jié)構(gòu)化數(shù)據(jù)，比較擅長處理半結(jié)構(gòu)化數(shù)據(jù)，不能處理非結(jié)構(gòu)化數(shù)據(jù)。”

但是如今，非結(jié)構(gòu)化數(shù)據(jù)占據(jù)了數(shù)據(jù)的主要類型，更多的信息來源于視頻、社交媒體等更豐富的渠道，將內(nèi)部的結(jié)構(gòu)化數(shù)據(jù)與外部非結(jié)構(gòu)化數(shù)據(jù)融合進行分析，相信對決策優(yōu)化更加有所幫助。對于非結(jié)構(gòu)化數(shù)據(jù)的處理，湯子楠表示，未來，ODPS也會在非結(jié)構(gòu)化數(shù)據(jù)層面做探索，但主要還是看用戶的需求。

ODPS***層是Linux+PC Server，上層軟件是阿里云開發(fā)的分布式系統(tǒng)軟件飛天，基于Java的MapReduce編程框架，開發(fā)語言是C++。所有的功能是以RESTful API的形式對外提供，所以從系統(tǒng)邊界上說，這層API隔離了ODPS平臺和用戶的系統(tǒng)。在經(jīng)過了5年時間，阿里云的工程師寫下了250萬行代碼，ODPS逐步完善，并且公測商用。

目前ODPS已經(jīng)開放的SQL功能主要用于數(shù)據(jù)倉庫和日志分析；后續(xù)還將開放UDF和MapReduce，支持用戶編程的離線計算；ODPS準實時，支持交互式BI分析；ODPS流處理，支持實時計算等。

ODPS安全么？

開放服務的安全是用戶最關(guān)心的問題，而大數(shù)據(jù)的公共服務也不例外？在ODPS發(fā)布時，阿里云沒有披露ODPS的SLA，只是公布了一些性能以及價格。湯子楠告訴記者，ODPS的SLA（服務等級協(xié)議）分為兩部分，***部分是存儲，阿里云提供10個9的可靠性，保證數(shù)據(jù)不丟失。承諾的數(shù)據(jù)安全行主要有兩點，一是數(shù)據(jù)放在ODPS中，絕對不會泄漏，也不會有其他人訪問用戶的數(shù)據(jù)，第二是阿里云不會看用戶數(shù)據(jù)；第二部分是計算，阿里云不承諾用戶提交的所有作業(yè)都能夠計算成功，但是承諾因為阿里云或客戶的原因，導致作業(yè)失敗，是不會收費的。

在技術(shù)上，阿里云是如何保證企業(yè)數(shù)據(jù)安全呢？ODPS設計之初就是為了對外開放，做基于互聯(lián)網(wǎng)的多租戶的公共數(shù)據(jù)處理服務，所以安全性在ODPS的設計和實現(xiàn)中具有***的優(yōu)先級。ODPS是國內(nèi)首家通過了CSA-STAR和ISO27001兩項國際云安全認證的公司，在各個環(huán)節(jié)都采納了國際上***進的數(shù)據(jù)安全管理標準。ODPS采用了多項技術(shù)保證用戶存儲在阿里云的數(shù)據(jù)不丟失、不泄露、不越權(quán)訪問；從管理上，阿里云內(nèi)部對于ODPS的運維和運營人員的操作有嚴格的監(jiān)控和審計，確保內(nèi)部人員不會接觸到用戶的數(shù)據(jù)。

ODPS通過API提供服務，包括數(shù)據(jù)上傳、下載、計算，所有API請求都是經(jīng)過認證的，所有API請求都可以進行https加密。從平臺設計和技術(shù)實現(xiàn)角度說，ODPS充分考慮了數(shù)據(jù)安全性，ODPS團隊對于平臺的優(yōu)先級定義是數(shù)據(jù)安全性大于可用性大于規(guī)模的。

使用ODPS的門檻有多高？

雖然，阿里云想把ODPS打造成人人都可以使用的大數(shù)據(jù)服務，但是使用ODPS也需要一定的門檻。湯子楠強調(diào)，ODPS不是每個人都能使用，但是每一個做數(shù)據(jù)分析的人都可以使用。

對于用戶的要求分為兩方面，首先是要具有數(shù)據(jù)分析的技能，要精通SQL語言，或者是程序員，可以寫Java腳本來處理；其次是還要有數(shù)據(jù)敏感度和對業(yè)務的洞察力。

但是，對于不會SQL語句以及編程的用戶來說，是否就不能使用ODPS了呢？湯子楠告訴記者，“阿里云會開放一款基于ODPS的ETL（數(shù)據(jù)倉庫技術(shù)）和BI（商業(yè)智能）工具，協(xié)助用戶編寫SQL語句，甚至不用SQL語句也可以進行數(shù)據(jù)分析，降低ODPS的門檻。同時，阿里云還會引入第三方合作伙伴，幫助沒有數(shù)據(jù)使用能力的公司進行培訓，協(xié)助他們搭建數(shù)據(jù)模型并且進行數(shù)據(jù)分析。”

使用ODPS在人員的技能上有要求，同時對產(chǎn)品上也是有要求的。湯子楠表示，使用ODPS***還是先使用阿里云的云計算服務，這樣數(shù)據(jù)在進行分析前，可以通過阿里云內(nèi)網(wǎng)，將數(shù)據(jù)從ECS（阿里云服務器產(chǎn)品）上傳到ODPS中從而進行分析。若客戶堅持使用自己的數(shù)據(jù)庫，通過公網(wǎng)上傳數(shù)據(jù)到ODPS中，數(shù)據(jù)安全問題得不到保障。此外，對于數(shù)據(jù)上傳費用，用戶也不需要支付，用戶只需要支付計算、存儲、下載三方面的費用即可。湯子楠表示，“用戶***結(jié)合阿里云其他產(chǎn)品使用ODPS，其實是從降低用戶成本、提高用戶體驗的角度給出的建議，用戶也可以單獨使用ODPS。”

阿里內(nèi)部的登月計劃

2013年10月，為了融合阿里小貸和支付寶的數(shù)據(jù)，支付寶希望ODPS團隊協(xié)助他們搬家，將支付寶數(shù)倉業(yè)務從Hadoop機群搬到ODPS上，登月1號項目啟動。2014年5月，登月1號項目順利成功，小微金融服務的全部數(shù)據(jù)業(yè)務開始基于ODPS發(fā)展。

在2013年底，受到登月1號項目的啟發(fā)，阿里數(shù)據(jù)平臺團隊聯(lián)合技術(shù)保障部和集團各事業(yè)部，開始了一系列宏大的登月計劃，致力于將搜索、廣告、物流等多個BU的數(shù)據(jù)統(tǒng)一，未來ODPS將成為承載阿里集團全部數(shù)據(jù)的統(tǒng)一處理平臺。“登月計劃”共計劃了20多個項目，涉及阿里巴巴和小微金服所有的事業(yè)部，覆蓋集團全部數(shù)據(jù)人員，其牽扯人員、資源之多，在集團內(nèi)部罕見。

從Oracle到Hadoop，阿里云解決了海量數(shù)據(jù)如何存儲和分析的問題，阿里的數(shù)據(jù)業(yè)務不再受制于規(guī)模的瓶頸；從Hadoop到ODPS，更是一次質(zhì)的飛躍，為后續(xù)大數(shù)據(jù)業(yè)務的開展掃清了障礙。