【51CTO.com原創稿件】2018年5月18-19日，由51CTO主辦的全球軟件與運維技術峰會在北京召開。此次峰會圍繞人工智能、大數據、物聯網、區塊鏈等12大核心熱點，匯聚海內外60位一線專家，是一場高端的技術盛宴，也是***IT技術人才學習和人脈拓展不容錯過的平臺。

　　在19日下午“高并發與實時處理”分會場，51信用卡大數據架構師劉建輝帶來了《大數據應用產品進階之道》的主題演講，針對常規大數據架構、大數據用戶需求、數據產品建設等大眾關心的話題展開了闡述。會后，51CTO記者根據劉建輝在WOT2018全球軟件與運維技術峰會的演講內容進行了整理。

[[233473]]

　　常見的大數據架構

　　劉建輝指出，其實每一家公司的大數據架構都差不多，基本上分為采集、存儲、調度、計算、數據展示這五個層次。

　　想讓大數據為己所用，就必須先了解大數據到底是什么。有人認為大數據是參與底層的平臺開發，有人認為就是參與業務開發的工具，劉建輝曾經認為大數據就是寫幾行架構代碼，無非是基于Spark(專為大規模數據處理而設計的快速通用的計算引擎)寫代碼，還是Flink(針對流數據和批數據的分布式處理引擎)寫代碼，似乎沒有什么本質區別。事實證明這些觀點其實都不全面，想了解大數據是什么，可以通過大數據“發現問題”和“解決問題”來定義。

　　在公司內部，與大數據密切相關的人員有三類人員，一是數據分析人員(數據倉庫、BI)，二是算法策略人員，三是運營人員、增長團隊、產品開發人員、設計人員。尤其是在數字化轉型過程中的企業產品開發人員，可能在利用大數據方面的經驗欠缺，多是基于傳統模式來進行產品設計，大數據對他們的幫助非常大，完全可以從數據的角度幫助產品人員做決策，效果更好。

　　那么人們對大數據分析的需求是什么呢?劉建輝歸納為三點，一是即時查詢，技術人員想了解某個結果，只要將其寫入MySQL(關系型數據庫管理系統)，立刻就能看到結果，得到即刻滿足。二是任務調度，技術人員希望每天在固定時間節點能夠產出一個數據報表。三是報表產出，快速可靠。

　　了解了大數據的實際需求之后，該如何選擇適合自己的大數據產品及解決方案呢?劉建輝給出三點建議：首先牢記一點，可執行的方案勝過明天的***方案;其次產品要始終滿足用戶業務場景需求，***一點，確保產品的易用、穩定、可靠。

　　原來大數據算法有這么多門道!

　　在演講現場，劉建輝還分享了51信用卡在大數據實踐中遇到的問題，重點講解了大數據的算法策略。

　　他表示，51信用卡公司缺少一個統一的模型訓練和模型發布平臺。在這方面，大型公司做的比較好，由于他們長期的積累，算法和工程的配合程度已經相對完善。而對中小型公司而言，每位技術人員用的算法模型五花八門，評估指標也“百花齊放”。這樣的做法其實有很大的弊端，對于任何一家公司而言，其業務的評估指標應該是統一的，應當建立一套統一的模型的訓練和模型發布平臺。

　　線上變量和離線變量不一致也是一個問題。目前大部分的模型訓練都是離線計算。計算完成了之后，再把離線變量轉成在線變量，通過在線的方式實時地調用在線的模型。在這個過程中，有的技術人員會忽略一點，那就是算法也是有有效性的，可能當時一個非常好的算法，一個月后就失效了。原因就在于業務發生了變化，核心在于當前端改版后，產品目標人群面貌發生了變化，之前所有線上變量在一個月前完全沒有問題，但下個月就失效了。這個現象對于金融公司而言會造成很可怕的損失。

　　另外一個問題就是模型上線后的監控告警問題。技術團隊希望能夠提前知道模型變量與穩定性的全部情況，可以提前評估算法模型對現有業務的支持情況，而不是等到兩個月以后，發現已經造成損失，才想到原來是模型變量失效了。

　　劉建輝還給出了一個比較合理的算法開發流程，包括五步驟：從特征挖掘到模型訓練，再到實時變量開發、模型上線，***進行模型監控評估。在整個過程中，51信用卡遇到了各種挑戰，他作為“過來人”分享了他的經驗：

　　***點，在線變量和離線變量依賴的數據源必須一致。有的算法人員表示自己挖掘到一些新特征，可以把反欺詐的***率提升好幾個百分點，但實際上線效果并不好，原因就在于離線依賴的數據源跟在線依賴的數據源完全不一樣。

　　第二點，在線變量盡可能也采用SQL的方式，避免邏輯錯誤。劉建輝表示，在數據量不是特別大的情況下，適當的成本開銷比可能引起的問題、帶來的損失更值得，所以他建議大家通過SQL的方式采取在線和離線一樣的解決方式去解決問題。

　　第三點，監控支持從Hive數據源獲取自定義指標。在業務運營過程中，運營團隊會做運營推廣，產品會重新改版，最終業務指標出現問題并不一定是由算法帶來的。但算法團隊要解決的問題就是一定要實時地知道業務發生了哪些變化，把監控指標做的更完備，盡早地去進行分析。

　　第四點，模型評估函數、監控指標要統一。

　　如何利用大數據去引導業務?

　　演講***，劉建輝還重點談到了大數據如何幫助產品做運營。

　　對于大多數企業而言，運營流程比較類似，都是由獲客、注冊、轉化、收入、傳播這幾個步驟組成。那該如何提升渠道的轉化率呢?有兩種解決方案，一種是通過產品的設計，增加核心功能。第二個是做合適的運營活動，例如新手注冊送紅包等。

　　當轉化率降低時，人們還可以通過大數據進行分析，制定更有效的運營策略。首先繪制出整個產品的用戶地圖，看看新版是否滿足用戶需求;然后利用埋點數據總結出產品路徑的漏斗轉化率，通過轉化率進行分析找到問題的源頭，是產品設計問題導致用戶流失，還是前端有bug導致客戶信息無法保存，抑或是H5頁面出現了問題。當分析結果出來之后，可以更有針對性地進行精準人群運營活動推廣。

　　以上內容是51CTO記者根據51信用卡大數據架構師劉建輝在WOT2018全球軟件與運維技術峰會的采訪內容整理，更多關于WOT的內容請關注51cto.com。

【51CTO原創稿件，合作站點轉載請注明原文作者和出處為51CTO.com】