葫蘆軟件趙堃亮:團隊的完美配合奏響葫蘆大數據之歌
原創【51CTO.com原創稿件】2016年11月25-26日,由51CTO.com主辦的WOT 2016大數據技術峰會在北京粵財JW萬豪酒店隆重召開。自2012年以來,WOT品牌大會秉承“專注技術、服務技術人員”的理念已成功舉辦了十二屆,不僅積累了大量的專家資源,更獲得廣大IT從業者和技術愛好者的認可和好評,已成為業界重要的技術分享及人脈拓展平臺。
在本屆WOT2016大數據技術峰會的“行業應用實踐”主題專場,來自葫蘆軟件公司高級研發經理趙堃亮做了《葫蘆軟件的大數據營銷實踐》的精彩主題演講。
趙堃亮,畢業于清華大學計算機系,6年互聯網開發經驗,現帶領葫蘆軟件北京大數據團隊負責Hulu大數據應用開發。
一個成功的公司不僅有一個完美的產品,一套成熟的系統,還要有著完善的團隊意識。葫蘆軟件就是如此。葫蘆北京團隊作為技術領先的開發團隊,不僅對業務和產品投入了很多的精力,對于營銷、產品和廣告的支持也都不能少,還在團隊建設、人才發展上投入了不小的精力。
Segmentation系統
葫蘆軟件的大數據開發使用了業內主流的開源技術,底層架構里同絕大多數公司一樣選擇使用了Hadoop集群,批處理更多使用選用Spark,流式計算選用Spark Streaming。同時葫蘆軟件針對Segmentation系統開發了自己的查詢引擎Nesto。葫蘆在大數據方面投入了很多精力,對開源社區有不少貢獻,為了更好的適應葫蘆大數據應用場景,葫蘆軟件針對Spark做了很多二次開發與優化,提高了計算效率。Segmentation系統是葫蘆軟件北京大數據團隊中的主要工作之一,用來支撐葫蘆市場營銷及廣告投放對于大數據的需求,系統對基于大數據的精準營銷與數據分析都提供了很好的支持,是葫蘆軟件在大數據方向發展的主力產品之一。
Segmentation系統的難題
Segmentation系統是葫蘆軟件持續開發的系統,隨著數據量的不斷擴大,需求多樣化的增加,葫蘆北京大數據團隊針對Segmentation系統做了很多優化與迭代開發,現在的Segmentation系統對市場和廣告團隊的運營、報表及分析提供了全方位的支持。
能完成如此龐大的系統,趙堃亮老師坦言,葫蘆軟件北京大數據團隊在開發中也遇到了不少難題。 在開發Segmentation系統中,為了能夠幫助市場營銷或者廣告的營銷人員方便的使用、查詢數據,設計實現了基于JSON的DSL查詢語言,基于這種JSON的泛型表達式,團隊開發了基本的模板工具,允許用戶通過在頁面上的拖拽創建表達式進行數據查詢。隨著數據量的增加,為了滿足運營快速查詢、分析的需求,葫蘆在處理問題中不斷總結經驗,投入精力開發了針對嵌套數據的查詢引擎Nesto,實現了在海量數據下的交互式查詢。現在的葫蘆還完成了和第三方數據及廣告公司進行數據的交換,完善了市場營銷集成及廣告投放效果評測工作,運營人員可以在Segmentation系統中方便的創建維護營銷方案。系統能做到這些都是在不斷迭代開發中總結經驗、解決問題的成果。
葫蘆團隊
葫蘆成立于2008年,總部位于美國,公司創立之初同時成立了北京團隊,葫蘆的核心文化之一便是“One Team”(同一個團隊),葫蘆北京團隊承擔了葫蘆業務線所有模塊開發,現在葫蘆已經實踐出了很好的跨洋合作的形式,北京的團隊和美國的團隊共同來支撐需求,完成產品的開發。這和葫蘆內部優秀的開發人員,以及葫蘆內部開放、融合的環境有著直接的關系。對于葫蘆來說,并不區分美國團隊或是北京團隊,始終強調的是一支團隊,共同幫助葫蘆完成市場目標,服務用戶,重新定義電視。
【51CTO原創稿件,合作站點轉載請注明原文作者和出處為51CTO.com】






















