[[113840]]

在日前在倫敦舉行的GartnerCRM高峰論壇上，eBay全球業務分析負責人DavidStephenson做了演講，他表示，我們做網站的目的很簡單，就是要讓交易成功。

作為交易市場，eBay的首要任務就是讓銷售者和消費者都能獲得滿意的體驗。

應對大數據，從提出正確的問題開始

eBay借助分析軟件更好地理解客戶。Stephenson希望能夠將小商鋪的個性化推薦成功運用到面向全球的eBay網站上。他表示：“在小商店，理解客戶很重要。店主需要提供個性化的推薦、了解客戶偏好、從客戶身上不斷學習。”

網絡測量數據對Stephenson來說還是陌生的新數據類型。eBay會生成大量的網站分析數據，Stephenson稱之為“客戶的足跡”。它可以鮮明地告訴工作人員誰來過他們的網站，都做了些什么。

Stephenson表示：“網站上能夠提供和實體店購物同樣的體驗，客戶可以比較不同的商品。我們也能夠了解到客戶的意圖。”這些都在慢慢改變著eBay。

eBay的網站分析無所不至，就像是在每個顧客前面安裝了攝像頭一般。細致的網站分析也給數據管理帶來困難。整個網站平均每月產生1億小時的錄像，客戶數據多的難以想象。Stephenson坦言：“誰也沒有辦法每月處理1億小時的數據。”

“我們只能盡量理解客戶，應用數據科學技術利用更多的數據和更新類型的數據。”

eBay面臨的是1億的用戶，3萬多種商品，每秒鐘幾千美元的交易。Stephenson表示，交易數據還只是所有數據的“冰山一角”。

eBay開始處理所有的客戶行為數據。

大數據給eBay帶來的挑戰首先是，要提出正確的問題。Stephenson表示，要回答一個簡單的問題，比如“昨天搜索某一關鍵字時，置頂顯示的商品是什么?”，系統要處理50億的瀏覽頁面。因此，最重要的問題是要問關鍵的業務問題。

三個平臺實現全面的用戶行為分析

除了提出問題，Stephenson還希望網站能夠運行情感分析、網絡分析和圖片分析，這些都難以在傳統交易性數據庫中實現。

eBay把它的數據分析業務分發到三個平臺，第一個是Teradata提供的傳統企業數據倉庫(EDW)。Stephenson表示：“核心交易系統必須具有極高的穩定性。我們每天要處理50TB的數據，系統絕對不能停機。”

2002年，eBay搭建了13TB的Teradata企業數據倉庫，提供高效的大規模并行關系型數據庫。截止到目前，系統構建在上千個節點上，數據量已經增長到14PB。

說到用戶行為數據，過去，eBay只能保留1%的樣本，其他全部扔掉。

Stephenson介紹到：“對于提出的很多問題，我們事先并不知道，我們是根據客戶的行為數據決定問什么問題的。大概有85%的問題是新問題。如果你只關注結構不關心數據，你就無法問出新問題，但如果你要存儲所有的數據，數據量會大的根本無法分析。”

這其實是企業面臨的一個困境，究竟應該扔掉一部分數據，還是把所有數據都保存。

為了解決這個問題，eBay開始搭建它的第二個平臺。七年前，公司開始搭建能夠存儲所有客戶數據的平臺。Stephenson表示：”對于客戶行為數據，我們希望能夠通過大數據方法將其保留。“

eBay需要一個能夠管理幾百PB各種類型數據、只需要5個人就能維護、并且分析師可以輕松訪問的產品。

公司和Teradata合作，開發出一款有幾百個用戶定義功能的客戶應用。該系統運行在商業硬件上，應用自有軟件，能夠處理所有客戶數據，廉價存儲數據。

這就是著名的eBay開發的客戶數據倉庫Singularity。

該系統可以在32秒內運行臨時查詢。Stephenson表示，那是Hadoop處理類似的查詢要30秒。

Stephenson表示Singularity在網站的“A/B測試”中發揮了重要作用，這可以比較出不同的產品組合中，哪種組合最受歡迎。eBay用它測試了很多東西，比如測試網站消費者是否喜歡網站顯示商品大圖。

這項技術還可以用于搜索提示，Stephenson稱之為“搜索欄里的經濟學家”。eBay可以根據用戶已選擇的話題或者已提出的問題，提供搜索查詢建議。因為整個系統中，基本每一個問題都被問過了。

通過這樣的查詢，eBay銷售者就可以了解到是否需要降價、包郵或提供其他優惠。

除了企業數據倉庫和Singularity，eBay還使用了Hadoop，這就是它的第三個平臺。eBay部署了兩個2萬節點的Hadoop集群，能處理80PB的數據。

有了這三個平臺，eBay終于可以實現對所有用戶行為數據的存儲與分析。