初創公司大數據藥方｜WOT技術門診第二期診斷書
10月11日，WOT技術門診第二期會診結束，本期特邀門診專家當當廣告及推薦部高級架構師 董四輩，針對很多初創公司遇到的大數據典型問題開出了那些藥方？
董四輩：當當廣告及推薦部高級架構師、吉林大學本科碩士畢業、曾任搜狗地圖開發經理、現任當當推薦部高級架構師
從事：架構設計 、數據分析、網站安全等相關工作。并關注：互聯網安全、反欺詐、機器學習等新技術的應用
問題一：很多移動APP創業公司，目前還只是用傳統的方式存貯數據，或者分析數據，那么大數據對我們而言還停留在概念階段，畢竟我們不是BAT，所以能否讓達人以一到兩個案例實際講解一下，從需求到技術架構的舉例來講，從而讓創業公司更快收益?
董四輩：我想這個問題，提問者最關心的是如何“收益更快”。所謂收益快，一般來說指的的是：時間成本少;人力投入少;運維成本低。實際就是數據分析平臺，主要分析的問題如數據有哪些?成本如何?收益如何?什么結果?
- APP應用分析 , 市場數據分析;
- 業務數據與行為數據;
- 成本：人力成本，時間成本，運維成本;
- 不斷變化的需求;
咱們主要是針對APP應用來說，這里需要用到數據收集與數據分析。如果是要降低成本最簡單的辦法就是直接使用第三方平臺來收集數據。比如：使用友盟這樣的第三方平臺。對于收集數據存儲，當然你也不必自己從頭開始，可以租用公有云，按需付費。比如：阿里云，七牛云存儲等。
但是，使用第三方平臺服務之后自然也會帶來負面作用：如友盟，簡單好用，免費;不足之處，數據無法取回做深度與交叉分析無絕對安全性可言 。主要還是要看這個APP創業公司早期的決策是什么，使用第三方數據統計服務只是一個過渡方案。當當網現在使用的就是友盟服務，這些數據我們也是同樣沒辦法進行深度分析的，不過我們會做自己的數據收集與分析，讓兩者并存相互驗證從而產生附加效應。最后，這些數據如果想要出效率還是要再次挖掘，這個時候不同數據是要不同對待的，把業務數據和行為數據分開。最后，數據必須，展現出曲線餅圖，柱狀圖，用于決策，才能說明系統是否成功。
以下是大家需要注意的技術點：
數據報表與儀表盤
業務數據寫SQL：靈活定制數據準確、實時，可進行復雜業務分析;不足之處：歷史狀態被覆蓋，自多擴展復雜，計算力有限 。
數據模型：Event：eventid+pageid+properties+userid;User：userid+ properties
行為數據寫日志：http傳輸 》kafka》 hdfs ,可以從kafka訂閱消息
數據挖掘與分析：python hadoop spark ，與業務數據庫解耦，計算力強大;維度，指標，漏洞分析，如(注冊，訪問，點擊...)
數據展現：曲線，餅圖，柱狀圖;工具HighCharts，OpenCharts
數據反饋：產品分析，迭代運算
最后，總結第一個問題的解決方式就是：
- 使用第三方服務;
- 選擇2-3人小團隊;
- 選好數據模型;
- 工具就選常用的Python Hodoop Spark;5.業務數據最好使用Mysql(像訂單，物流，支付)這些都是結構化數據;
- 行為數據(搜索，瀏覽，點擊，收藏)，每天都會大量產生直接存HDFS 就可以了。
問題二：以前我們做過兩個大數據平臺項目，一個是IoT，一個是CityNext，一個是數據格式較少但數據量大，一個是數據格式復雜，基于Hadoop在做，幾十人的團隊才完成了存儲和簡單實時分析，如果是小型公司或者創業團隊又何去何從呢?
董四輩：一個大數據項目前期投入了大量人力和時間成本，后期感到做出來的東西和一開始預估的差距較大，就產生了上面問題的出現，那么這個時候到底應該是何去何從呢?我個人認為：做大數據平臺這樣的項目遇到成本問題是很常見的，尤其是初創這個問題尤為明顯，成本問題分為三部分：人力成本;時間成本;運維成本，如果是創業團隊，就應該更加謹慎，況且市場與需求變化的特別快，如果你長時間耗在一個地方，就是一種浪費。建議：
- 團隊應當盡量小：最好3-5人的技術骨干團隊，便于溝通，執行力高，幾十人溝通過于繁瑣，溝通不暢時很容易導致執行效率降低。
- 創業初期需求與市場變化速度快，應該及時調整策略，不能再某一地方消耗太多時間。
- 在創業團隊早期，最好能夠使用第三方基礎設施來降低運維成本。比如租用公有云。
問題三：我現在工作中遇到的問題，我覺得就是一堆垃圾數據，業務方希望我們能挖掘出價值，我們試了各種算法，結果都不理想，現在我想給出一個理論界限，苦于不知道如何下手，有沒有什么辦法，從統計特性給出各種算法效果的理論邊界?
董四輩：這個問題我也遇到過，并且困惑過。比如，我現在是在做推薦系統，就是針對某些商品做推薦，我可以無限優化我的算法來提高KPI么(點擊率，訂單占比.....)?如果進行數據價值挖掘能夠無限制挖掘嗎?如果，我不能無限制的分析和挖掘，我想知道這個峰值到底在什么地方?理論上來說，肯定不能無限優化和無線挖掘的。
先給大家講一個小故事：第一年，算法團隊從無到有，直接提升30%KPI。公司很高興。第二年。公司加大投入，發現第二年KPI僅提升了10%。第三年，公司決策層投入更多人力，發現KPI才提升了3%。大家發現了什么?雖然投入在不斷增加，但是KPI指標增長卻是越來越低。其實，第三年就是一個瓶頸。對于第二個問題的提問者，我想說，你既然已經把所有的方法都試了一遍，還是沒有找到結果，說明，你已經遇到了瓶頸。接著剛才的故事講，故事里的主人公也到了類似的問題，第四年，公司里來了一個產品經理，說：“你們把產品的顏色改變下：紅色的叫”文藝紅“，藍色的叫”屌絲藍“，把商品給打上文藝和屌絲的標志。”接下來，你們猜結果怎么樣?KPI瞬間提高了30%。所以，有些時候數據分析瓶頸實際上反映了產品模式瓶頸。如果，你真的非常誠實的驗證了你的數據，那么可以非常肯定產品形態或者產品模式遇到了瓶勁。一般來說，，如果你的優化或者挖掘已經大幅度下降了，這個時候就應當減小投入，并不是說不分析了。然后，你就應該過渡到產品方向上究其原因。
問題四：對于傳統企業來說，決定搭建自己的人大數據平臺時有什么需要注意的呢?技術的選取?相關人員的定位?像成聯電商我們是做耐材(耐火材料)為主的傳統企業，如果我們開始自己搭建大數據平臺有什么比較通用化的模式嗎?
董四輩：先說說背景吧，商場變成了試衣間，大家都去網上買，同理建材市場變成了建材展示中心怎么辦?這里其實包含兩個問題1.真正的傳統行業的大數據分析平臺;2.傳統行業怎么搞電商;這里就針對第一個問題說說吧，在互聯網的沖擊下，“建材市場淪為材料展示中心”，在這種情況下傳統企業也需要借助大數據來進行變革。相對于技術選型來說，更重要的是數據規劃與計劃，傳統行業的數據分析不能脫離行業背景，否則數據無法實現準確落地。比如：客戶的訂貨時間，客戶量，客戶的特點，年齡范圍，客戶地域分布;(這些確實需要具提的行業背景)從以上這些數據中挖掘分析，那些用戶喜歡什么耐材?在哪個時間段某種耐材最受歡迎?喜歡某種耐材的究竟是什么人?以及行業內部運作過程中會產生哪些數據?帶著這些問題，再去看有哪些合適的技術平臺。
人員定位：不僅需要大數據技術人才，還需要有深厚行業背景且熱衷于大數據的專業人才
數據分析：大致可以分為，業務數據和行為數據;業務數據(用戶，訂單，支付，物流...)這類數據一般都比較精確與規則，這些結構化數據可以直接使用傳統的數據庫存儲分析。
行為數據(瀏覽、搜索記錄、點擊記錄...)這類數據一般量比較大，最好使用NoSQL(MongoDB)，或存儲在hdfs上指定維度與指標：成本，銷量，決策，價格
數據挖掘：根據已定的目標或指標，預測用戶的需求量提前預判，分析用戶人群(有興趣的，愿意購買的，由于不覺的)，地域定向等。
總結(重點是行業數據規劃，規劃不好數據，系統就是個擺設很難落地，尤其是目標與指標制定)：
人員構成：大數據技術人才(3-5人)，有深厚行業背景的人才(1-2人);
數據存儲：結構性業務數據mysql，復雜的行為數據NoSQL或hdfs;
分析與工具：python 、hadoop、spark;
行業數據規劃：客戶的訂貨時間，客戶量，客戶的特點，年齡范圍，客戶地域分布;
分析目標與指標：銷量、成本、區域、產品類型;
數據展現：曲線圖、柱狀圖，工具HighCharts;
問題五：針對不同的類型的公司的數據從業者來說，每天處理的問題和要肩負的責任可能是不一樣的，大公司里邊可能每個員工的任務更加的明確些，而中小型企業的數據從業者可能要會的更多一些。能不能麻煩老師舉例說明下，針對不同類型的企業中數據工作者的相關技能是什么?
董四輩：針對這個問題首先首先我想說的是：作為數據工作者，在工作中除了有技術在身，還需要一點點”機智“。如果單單說技術的話有很多教科書還有論文，其實僅僅掌握這些并不能使你和其他數據工作者區分開來，你還需要具有數據的敏感性以及懂得進行深層次的思考(換位思考)。我先給大家講一個真實的案例：大約是在2014年年末的時候，有個做PC數據分析的小伙， 突然想分析一下移動端的數據。然后，他發現移動端的數據每個月都在增長，而他所在的團隊卻是做PC數據業務分析。這個時候，他并沒有吧分析之后的結果放而制止，日有所思夜有所想，不久他做了一個夢，夢見PC消失了，大家都在使用移動端設備設備，PC端已經沒有數據可分析了......驚醒之后，他把自己的擔憂告訴了leader，leader讓他把所有的數據分析了一遍，按他在夢中的思路做了一個預測，之后開始大規模對移動端數據業務擴展，這個小伙理所應當的就成為移動端業務的相關人員了。最后，整個團隊在他的帶領下成立了移動端數據分析小組。其實工作中，很多數據工程師，就是分析完數據后就結束了，并未作深入分析。如果你無法優化你的數據，你就沒有數據可分析了。你是不是就會失業?縱使你熟知所有的數據分析方法又如何?數據工作者的下一個臺階如何走?其實，掌握一些數據分析方法只是基礎，還需要你的機智。
