超越 Hadoop，Luigi 打通云端大數(shù)據(jù)管道
Liugi數(shù)據(jù)管線的可視化管理圖
新的大數(shù)據(jù)開源技術(shù)和工具往往來自互聯(lián)網(wǎng)公司，除了Facebook、Google和Twitter這樣的巨頭外，一些甚至是你想不到的互聯(lián)網(wǎng)公司，例如Netflix和Spotify（音樂流媒體服務(wù)）也會貢獻(xiàn)一些優(yōu)秀的大數(shù)據(jù)分析開源工具（Suro和Luigi）。
近日創(chuàng)業(yè)公司Mortar就將Spotify開發(fā)的開源大數(shù)據(jù)工具Luigi搬上云端，在亞馬遜云上提供復(fù)雜的，涉及大量工具和數(shù)據(jù)庫的大數(shù)據(jù)流水線處理服務(wù)，不論是否使用Hadoop，用戶都可以用Luigi管理復(fù)雜的大數(shù)據(jù)工作流。
Mortar公司最初的產(chǎn)品是提供一個編寫和啟動Hadoop任務(wù)的簡單框架，運行在亞馬遜彈性MapReduce云服務(wù)上。2012 年，Mortar開始開源一些產(chǎn)品代碼并分享一些Hadoop任務(wù)模板。2013年，Mortar與一群優(yōu)秀的數(shù)據(jù)科學(xué)家協(xié)作，幫助用戶開發(fā)推薦引擎，并 期望能夠從中摸索出在Mortar平臺上運行這些任務(wù)的流程。
如今，Mortar的產(chǎn)品戰(zhàn)略已經(jīng)擴(kuò)展到了Hadoop以外，希望用戶通過Mortar管理的應(yīng)用不再局限于Hadoop圈子。
Mortar首席執(zhí)行官K Young指出：雖然Hadoop在客戶那里非常受歡迎，但還是有很多重要的數(shù)據(jù)并不需要Hadoop，或者根本就不適用。通過以云服務(wù)的方式提供 Luigi工具，Mortar的用戶如今能夠使用Python開發(fā)和可視化通往任何數(shù)據(jù)庫或處理環(huán)境的大數(shù)據(jù)管線，只要它們支持API訪問。
Young還認(rèn)為云端版Liugi將幫助用戶更快完成從原型到產(chǎn)品的過渡。Mortar也不準(zhǔn)備放棄Hadoop，因為當(dāng)今的大數(shù)據(jù)應(yīng)用需要與多種處理環(huán)境對接，而開發(fā)者需要一種更簡單的方法來管理這個流程。
“事實上，很多大數(shù)據(jù)項目擱淺并非因為大數(shù)據(jù)技術(shù)的復(fù)雜性格或者缺少數(shù)據(jù)科學(xué)家，最大的問題是如何將數(shù)據(jù)從所在的地方轉(zhuǎn)移到需要（處理）的地方。”Young說道。
