美團(tuán)R語言數(shù)據(jù)運營實戰(zhàn)
一、引言
近年來，隨著分布式數(shù)據(jù)處理技術(shù)的不斷革新，Hive、Spark、Kylin、Impala、Presto 等工具不斷推陳出新，對大數(shù)據(jù)集合的計算和存儲成為現(xiàn)實，數(shù)據(jù)倉庫/商業(yè)分析部門日益成為各類企業(yè)和機(jī)構(gòu)的標(biāo)配。在這種背景下，是否能探索和挖掘數(shù)據(jù)價值，具備精細(xì)化數(shù)據(jù)運營的能力，就成為判定一個數(shù)據(jù)團(tuán)隊成功與否的關(guān)鍵。
在數(shù)據(jù)從后臺走向前臺的過程中，數(shù)據(jù)展示是最后一步關(guān)鍵環(huán)節(jié)。與冰冷的表格展示相比，將數(shù)據(jù)轉(zhuǎn)化成圖表并進(jìn)行適當(dāng)?shù)膬?nèi)容組織，往往能更快速、更直觀的傳遞信息，進(jìn)而更好的提供決策支持。從結(jié)構(gòu)化數(shù)據(jù)到最終的展示，需要通過一系列的探索和分析過程去完成產(chǎn)品思路的沉淀，這個過程也伴隨著大量的數(shù)據(jù)二次處理。
上述這些場合 R 語言有著獨特的優(yōu)勢。本文將基于美團(tuán)到店餐飲技術(shù)部的精細(xì)化數(shù)據(jù)運營實踐，介紹 R 在數(shù)據(jù)分析與可視化方面的工程能力，希望能夠拋磚引玉，也歡迎業(yè)界同行給我們提供更多的建議。
二、數(shù)據(jù)運營產(chǎn)品分類與 R 的優(yōu)勢
2.1 數(shù)據(jù)運營產(chǎn)品分類
在企業(yè)數(shù)據(jù)運營過程中，考慮使用場景、產(chǎn)品特點、實施角色以及可利用的工具，大致可以將數(shù)據(jù)運營需求分為四類，如下表所示：
2.2 R 在數(shù)據(jù)運營上的優(yōu)勢
如上節(jié)所述，在精細(xì)化數(shù)據(jù)運營過程中，經(jīng)常需要使用高度定制的數(shù)據(jù)處理、可視化、分析等手段，這些過程 Excel、Tableau、企業(yè)級報表工具都無法面面俱到，而恰好是 R 的強項。一般來說，R 具備的如下特征，讓其有了“數(shù)據(jù)分析領(lǐng)域的瑞士軍刀”的名號：
- 免費、開源、可擴(kuò)展：截至到 2018-08-02，“ The CRAN package repository features 12858 available packages. ”，CRAN 上的軟件包涉及貝葉斯分析、運籌學(xué)、金融、基因分析、遺傳學(xué)等方方面面，并在持續(xù)新增和迭代。
- 可編程：R 本身是一門解釋型語言，可以通過代碼控制執(zhí)行過程，并能通過 rPython、rJava 等軟件包實現(xiàn)和 Python、Java 語言的互相調(diào)用。
強大的數(shù)據(jù)操控能力：
- 數(shù)據(jù)源接入：通過 RMySQL、SparkR、elastic 等軟件包，可以實現(xiàn)從 MySQL、Spark、Elasticsearch 等外部數(shù)據(jù)引擎獲取數(shù)據(jù)。
- 數(shù)據(jù)處理：內(nèi)置 vector、list、matrix、data.frame 等數(shù)據(jù)結(jié)構(gòu)，并能通過 sqldf、tidyr、dplyr、reshape2 等軟件包實現(xiàn)對數(shù)據(jù)的二次加工。
- 數(shù)據(jù)可視化：ggplot2、plotly、dygraph 等可視化包可以實現(xiàn)高度定制化的圖表渲染。
- 數(shù)據(jù)分析與挖掘：R 本身是一門由統(tǒng)計學(xué)家發(fā)起的面向統(tǒng)計分析的語言，通過自行編程實現(xiàn)或者第三方軟件包調(diào)用，可以輕松實現(xiàn)線性回歸、方差分析、主成分分析等分析與挖掘功能。
初具雛形的服務(wù)框架：
- Web 編程框架：例如不精通前端和系統(tǒng)開發(fā)的同學(xué)，通過 shiny 軟件包開發(fā)自己的數(shù)據(jù)應(yīng)用。
- 服務(wù)化能力：例如通過 rserve 包，可以實現(xiàn) R 和其他語言通信的 C/S 架構(gòu)服務(wù)。
對于以數(shù)據(jù)為中心的應(yīng)用來說，Python 和 R 都是不錯的選擇，兩門語言在發(fā)展過程中也互有借鑒。“越接近統(tǒng)計研究與數(shù)據(jù)分析，越傾向 R;越接近工程開發(fā)工程環(huán)境的人，越傾向 Python”，Python 是一個全能型“運動員”，R 則更像是一個統(tǒng)計分析領(lǐng)域的“劍客”，“Python 并未建立起一個能與 CRAN 媲美的巨大的代碼庫，R 在這方面具有絕對領(lǐng)先優(yōu)勢。統(tǒng)計學(xué)并不是 Python 的核心使命”。各技術(shù)網(wǎng)站上有大量“Python VS R ”的討論，感興趣的讀者可以自行了解和作出選擇。
三、R 的數(shù)據(jù)處理、可視化、可重復(fù)性數(shù)據(jù)分析能力
對于具備編程能力的分析師或者具備分析能力的開發(fā)人員來說，在進(jìn)行一系列長期的數(shù)據(jù)分析工程時，使用 R 既可以滿足“一次開發(fā)，終身受用”，又可以滿足“調(diào)整靈活，圖形豐富”的要求。下文將分別介紹 R 的數(shù)據(jù)處理能力、可視化能力和可重復(fù)性數(shù)據(jù)分析能力。
3.1 數(shù)據(jù)處理
在企業(yè)級數(shù)據(jù)系統(tǒng)中，數(shù)據(jù)清洗、計算和整合工作會通過數(shù)據(jù)倉庫、Hive、Spark、Kylin 等工具完成。對于數(shù)據(jù)運營項目，雖然 R 操作的是結(jié)果數(shù)據(jù)集，但也不能避免需要在查詢層進(jìn)行二次數(shù)據(jù)處理。
在數(shù)據(jù)查詢層，R 生態(tài)現(xiàn)成就存在眾多的組件支持，例如可以通過 RMySQL 包進(jìn)行 MySQL 庫表的查詢，可以使用 Elastic 包對 Elasticsearch 索引文檔進(jìn)行搜索。對于 Kylin 等新技術(shù)，在 R 生態(tài)的組件支持沒有跟上時，可以通過使用 Python、Java 等系統(tǒng)語言進(jìn)行查詢接口封裝，在 R 內(nèi)部使用 rPython、rJava 組件進(jìn)行第三方查詢接口調(diào)用。通過查詢組件獲取的數(shù)據(jù)一般以 data.frame、list 等類型對象存在。
另外 R 本身也擁有比較完備的二次數(shù)據(jù)處理能力。例如可以通過 sqldf 使用 sql 對 data.frame 對象進(jìn)行數(shù)據(jù)處理，可以使用 reshape2 進(jìn)行寬格式和窄格式的轉(zhuǎn)化，可以使用 stringr 完成各種字符串處理，其他如排序、分組處理、缺失值填充等功能，也都具備完善的語言本身和生態(tài)的支持。
3.2 數(shù)據(jù)可視化
數(shù)據(jù)可視化是數(shù)據(jù)探索過程和結(jié)果呈現(xiàn)的關(guān)鍵環(huán)節(jié)，而 “ R is a free software environment for statistical computing and graphics. ”，繪圖(可視化)系統(tǒng)也是 R 的最大優(yōu)勢之一。
目前 R 主流支持的有三套可視化系統(tǒng)：
- 內(nèi)置系統(tǒng)：包括有 base、grid 和 lattice 三個內(nèi)置發(fā)行包，支持以相對比較樸素的方式完成圖形繪制。
- ggplot2：由 RStudio 的首席科學(xué)家 Hadley Wickham 開發(fā)，ggplot2 通過一套圖形語法支持，支持通過圖層疊加以組合的方式支持高度定制的可視化。這一理念也逐步影響了包括 Plotly、阿里 AntV 等國內(nèi)外數(shù)據(jù)可視化解決方案。截至到 2018-08-02，CRAN 已經(jīng)落地了 40 個 ggplot2 擴(kuò)展包，參考 鏈接 。
- htmlwidgets for R：這一系統(tǒng)是在 RStudio 支持下于 2016 年開始逐步發(fā)展壯大，提供基于 JavaScript 可視化的 R 接口。htmlwidgets for R 作為前端可視化(for 前端工程師)和數(shù)據(jù)分析可視化(for 數(shù)據(jù)工程師)的橋梁，發(fā)揮了兩套技術(shù)領(lǐng)域之間的組合優(yōu)勢。截至到 2018-08-02，經(jīng)過兩年多的發(fā)展，目前 CRAN 上已經(jīng)有 101 個基于 htmlwidgets 開發(fā)的第三方包，參考 鏈接 。
實際數(shù)據(jù)運營分析過程中，可以固化常規(guī)的圖表展現(xiàn)和可視化分析過程，實現(xiàn)代碼復(fù)用，提高開發(fā)效率。下圖是美團(tuán)到店餐飲技術(shù)部數(shù)據(jù)團(tuán)隊積累的部分可視化組件示例：
基于可視化組件庫，一個可視化過程只需要一行代碼即可完成，能極大提升開發(fā)效率。上圖中最后的四象限矩陣分析示例圖的代碼如下：
- vis_4quadrant(iris, 'Sepal.Length', 'Petal.Length', label = 'Species', tooltip = 'tooltip', title = '', xtitle = '萼片長度', ytitle = '花瓣長度', pointSize = 1, annotationSize = 1)
茲再附四象限矩陣分析可視化組件的函數(shù)聲明：
- vis_4quadrant <- function(df, x, y,
- label = '', tooltip = '', title = '', xtitle = '', ytitle = '',
- showLegend = T, jitter = T, centerType = 'mean',
- pointShape = 19, pointSize = 5, pointColors = collocatcolors2,
- lineSize = 0.4, lineType = 'dashed', lineColor = 'black',
- annotationFace = 'sans serif', annotationSize = 5, annotationColor = 'black', annotationDeviationRatio = 15,
- gridAnnotationFace = 'sans serif', gridAnnotationSize = 6, gridAnnotationColor = 'black', gridAnnotationAlpha = 0.6,
- titleFace = 'sans serif', titleSize = 12, titleColor = 'black',
- xyTitleFace = 'sans serif', xyTitleSize = 8, xyTitleColor = 'black',
- gridDesc = c('A 區(qū)', 'B 區(qū)', 'C 區(qū)', 'D 區(qū)'), dataMissingInfo = '數(shù)據(jù)不完整', renderType = 'widget') {
- # 繪制分組散點圖
- #
- # Args:
- # df: 數(shù)據(jù)框；必要字段；需要進(jìn)行圖形繪制的數(shù)據(jù)，至少應(yīng)該有三列
- # x: 字符串；必要字段；映射到 X 軸的列名，對應(yīng) df 的某一列，此列必須是數(shù)值類型或日期類型
- # y: 字符串；必要字段；映射到 Y 軸的列名，對應(yīng) df 的某一列
- # label: 字符串；映射到點上的文字注釋
- # tooltip: 字符串；映射到點上的懸浮信息
- # title: 字符串；標(biāo)題
- # xtitle: 字符串；X 軸標(biāo)題
- # ytitle: 字符串；Y 軸標(biāo)題
- # showLegend: bool；定義分區(qū)圖例是否展示
- # jitter: bool；定義是否擾動
- # centerType: 字符串；定義中心點類型，mean 代表平均值，median 代表中位數(shù)
- # pointShape: 整形；定義點型
- # pointSize: 數(shù)值；定義點大小
- # lineSize: 數(shù)值；定義線寬
- # lineType: 字符串；定義線型
- # lineColor: 字符串；定義線色
- # annotationFace: 字符串；定義注釋字體
- # annotationSize: 數(shù)值；定義注釋字體大小
- # annotationColor: 字符串；定義注釋字體顏色
- # annotationDeviationRatio: 數(shù)值；定義注釋文本向上偏移系數(shù)
- # gridAnnotationFace: 字符串；定義網(wǎng)格注釋字體
- # gridAnnotationSize: 數(shù)值；定義網(wǎng)格注釋字體大小
- # gridAnnotationColor: 字符串；定義網(wǎng)格注釋字體顏色
- # gridAnnotationAlpha: 數(shù)值；定義網(wǎng)格注釋文本透明度
- # titleFace: 字符串；定義標(biāo)題字體
- # titleSize: 數(shù)值；定義標(biāo)題字體大小
- # titleColor: 字符串；定義標(biāo)題字體顏色
- # xyTitleFace: 字符串；定義 X、Y 軸標(biāo)題字體
- # xyTitleSize: 數(shù)值；定義 X、Y 軸標(biāo)題字體大小
- # xyTitleColor: 字符串；定義 X、Y 軸標(biāo)題字體顏色
- # gridDesc: 長度為 4 的字符串向量
- # dataMissingInfo: 字符串；數(shù)據(jù)問題提示文本
- # renderType: 字符串；定義渲染結(jié)果類型，widget 對應(yīng) htmlwidget 組件，html 對應(yīng) html 內(nèi)容
- # 代碼實現(xiàn)略
- }
3.3 可重復(fù)性數(shù)據(jù)分析
數(shù)據(jù)運營分析往往是一個重復(fù)性的、重人工參與的過程，最終會落地一套數(shù)據(jù)分析框架，這套數(shù)據(jù)分析框架適配具體的數(shù)據(jù)，用于支持企業(yè)數(shù)據(jù)決策。
RStudio 通過 rmarkdown + knitr 的方式提供了一套基于文學(xué)編程的數(shù)據(jù)分析報告產(chǎn)出方案，開發(fā)者可以將 R 代碼嵌入 Markdown 文檔中執(zhí)行并得到渲染結(jié)果(渲染結(jié)果可以是 HTML、PDF、Word 文檔格式)，實際數(shù)據(jù)分析過程中，開發(fā)者最終能形成一套數(shù)據(jù)分析模版，每次適配不同的數(shù)據(jù)，就能產(chǎn)出一份新的數(shù)據(jù)分析報告。
rmarkdown 本身具備簡單的頁面布局能力并可以使用 flexdashboard 進(jìn)行擴(kuò)展，因此這套方案不僅能實現(xiàn)重復(fù)性分析過程，還能實現(xiàn)分析結(jié)果的高度定制化展示，可以使用 HTML、CSS、JavaScript 前端三大件對數(shù)據(jù)分析報告進(jìn)行展示和交互的細(xì)節(jié)調(diào)整。最終實現(xiàn)人力的節(jié)省和數(shù)據(jù)分析結(jié)果的快速、高效產(chǎn)出。
四、R 服務(wù)化改造
4.1 R 服務(wù)化框架
R 本身既是一門語言、也是一個跨平臺的操作環(huán)境，具備強大的數(shù)據(jù)處理、數(shù)據(jù)分析、和數(shù)據(jù)可視化能力。除了在個人電腦的 Windows/MacOS 環(huán)境中上充當(dāng)個人統(tǒng)計分析工具外，也可以運行在 Linux 服務(wù)環(huán)境中，因此可以將 R 作為分析展現(xiàn)引擎，外圍通過 Java 等系統(tǒng)開發(fā)語言完成緩存、安全檢查、權(quán)限控制等功能，開發(fā)企業(yè)報表系統(tǒng)或數(shù)據(jù)分析(挖掘)框架，而不僅僅只是將 R 作為一個桌面軟件。
企業(yè)報表系統(tǒng)或數(shù)據(jù)分析(挖掘)框架設(shè)計方案如下圖所示：
4.2 foreach + doParallel 多核并行方案
作為一門統(tǒng)計學(xué)家開發(fā)的解釋性語言，R 運行的是 CPU 單核上的單線程程序、并且需要將全部數(shù)據(jù)加載到內(nèi)存進(jìn)行處理，因此和 Java、Python 等系統(tǒng)語言相比，計算性能是 R 的軟肋。對于大數(shù)據(jù)集合的計算場景，需要盡量將數(shù)據(jù)計算部分通過 Hive、Kylin 等分布式計算引擎完成，盡量讓 R 只處理結(jié)果數(shù)據(jù)集;另外也可以通過 doParallel + foreach 方案，通過多核并行提升計算效率，代碼示例如下：
- library(doParallel)
- library(foreach)
- registerDoParallel(cores = detectCores())
- vis_process1 <- function() {
- # 可視化過程1 ...
- }
- vis_process2 <- function() {
- # 可視化過程2 ...
- }
- data_process1 <- function() {
- # 數(shù)據(jù)處理過程1 ...
- }
- data_process2 <- function() {
- # 數(shù)據(jù)處理過程2 ...
- }
- processes <- c('vis_process1', 'vis_process2', 'data_process1', 'data_process2')
- process_res <- foreach(i = 1:length(process), .packages = c('magrittr')) %dopar% {
- do.call(processes[i], list())
- }
- vis_process1_res <- process_res[[1]]
- vis_process2_res <- process_res[[2]]
- data_process1_res <- process_res[[3]]
- data_process2_res <- process_res[[4]]
4.3 圖形化數(shù)據(jù)報告渲染性能
在數(shù)據(jù)分析過程中，R 最重要的是充當(dāng)圖形引擎的角色，因此有必要了解其圖形渲染性能。針對主流的基于 rmarkdown + flexdashboard 的數(shù)據(jù)分析報告渲染方案，其性能測試結(jié)果如下：
系統(tǒng)環(huán)境：
- 4 核 CPU，8 G 內(nèi)存，2.20GHz 主頻。
- Linux version 3.10.0-123.el7.x86_64。
測試方法：
測試在不同并發(fā)度下、不同復(fù)雜度的渲染模式下，重復(fù)渲染 100 次的耗時。
測試結(jié)果：
根據(jù)測試結(jié)果可知：
單應(yīng)用平均渲染時長在 0.74s 以上，具體的渲染時長視計算復(fù)雜度而定(可以通過上節(jié)介紹的“foreach + doParallel 多核并行方案 ”加快處理過程)。根據(jù)經(jīng)驗，大部分應(yīng)用能在秒級完成渲染。
由于單核單線程模式所限，當(dāng)并發(fā)請求超過 CPU 核數(shù)時，渲染吞吐量并不會相應(yīng)提升。需要根據(jù)實際業(yè)務(wù)場景匹配對應(yīng)的服務(wù)端機(jī)器配置，并在請求轉(zhuǎn)發(fā)時設(shè)置并發(fā)執(zhí)行上限。對于內(nèi)部運營性質(zhì)的數(shù)據(jù)系統(tǒng)，單臺 4 核 8 G 機(jī)器基本能滿足要求。
五、R 在美團(tuán)數(shù)據(jù)產(chǎn)品中的落地實踐
美團(tuán)到店餐飲數(shù)據(jù)團(tuán)隊從 2015 年開始逐步將 R 作為數(shù)據(jù)產(chǎn)品的輔助開發(fā)語言，截至 2018 年 8 月，已經(jīng)成功應(yīng)用在面向管理層的日周月數(shù)據(jù)報告、面向數(shù)據(jù)倉庫治理的分析工具、面向內(nèi)部運營與分析師的數(shù)據(jù) Dashboard、面向大客戶銷售的品牌商家數(shù)據(jù)分析系統(tǒng)等多個項目中。目前所有的面向部門內(nèi)部的定制式分析型產(chǎn)品，都首選使用 R 進(jìn)行開發(fā)。
另外我們也在逐步沉淀 R 可視化與分析組件、開發(fā)基于 R 引擎的配置化 BI 產(chǎn)品開發(fā)框架，以期進(jìn)一步降低 R 的使用門檻、提升 R 的普及范圍。
下圖是美團(tuán)到店餐飲數(shù)據(jù)團(tuán)隊在數(shù)據(jù)治理過程中，使用 R 開發(fā)的 ETL 間依賴關(guān)系可視化工具：
六、結(jié)語
綜上所述，R 可以在企業(yè)數(shù)據(jù)運營實踐中扮演關(guān)鍵技術(shù)杠桿，但作為一門面向統(tǒng)計分析的領(lǐng)域語言，在很長一段時間，R 的發(fā)展主要由統(tǒng)計學(xué)家驅(qū)動。隨著近年的數(shù)據(jù)爆發(fā)式增長與應(yīng)用浪潮，R 得到越來越多工業(yè)界的支持，譬如微軟收購基于 R 的企業(yè)級數(shù)據(jù)解決方案提供商 Revolution Analytics、在 SQL Server 2016 集成 R、并從 Visual Studio 2015 開始正式通過 RTVS 集成了 R 開發(fā)環(huán)境，一系列事件標(biāo)志著微軟在數(shù)據(jù)分析領(lǐng)域?qū)?R 的高度重視。
在國內(nèi)，由 統(tǒng)計之都 發(fā)起的 中國 R 會議 ，從 2008 年起已舉辦了 11 屆，推動了 R 用戶在國內(nèi)的發(fā)展壯大。截至 2018 年 8 月，美團(tuán)的 R 開發(fā)者大致在 200 人左右。但相比 Java/Python 等系統(tǒng)語言，R 的用戶和應(yīng)用面仍相對狹窄。
作者撰寫本文的目的，也是希望給從事數(shù)據(jù)相關(guān)工作的同學(xué)們一個新的、更具優(yōu)勢的可選項。
關(guān)于作者
喻燦，美團(tuán)到店餐飲技術(shù)部數(shù)據(jù)系統(tǒng)與數(shù)據(jù)產(chǎn)品團(tuán)隊負(fù)責(zé)人，2015 年加入美團(tuán)，長期從事數(shù)據(jù)平臺、數(shù)據(jù)倉庫、數(shù)據(jù)應(yīng)用方面的開發(fā)工作。從 2013 年開始接觸 R，在利用 R 快速滿足業(yè)務(wù)需求和節(jié)省研發(fā)成本上，有一些心得和產(chǎn)出。同時也在美團(tuán)研發(fā)和商業(yè)分析團(tuán)隊中積極推動 R 的發(fā)展。
