Teradata CTO寶立明:運用分析引擎實現(xiàn)機器學習和深度學習
原創(chuàng)【51CTO.com原創(chuàng)稿件】近幾年,機器學習、深度學習以及大數(shù)據(jù)分析一直是熱門話題,人工智能在金融、營銷、軟件開發(fā)、戰(zhàn)略決策等領域的應用也越來越普遍。
數(shù)據(jù)智能技術供應商Teradata天睿公司于去年推出下一代分析平臺Teradata Vantage,提供描述性、預測性與指示性分析、自主性決策、機器學習、可視化工具等廣泛功能,致力于解決當前分析方案中的各類問題。Teradata Vantage的高級分析是如何利用分析處理引擎實現(xiàn)機器學習和深度學習?上市半年來取得了哪些階段性成果?這些問題在近期召開的Teradata媒體會上得到了詳細解答。
高級分析的三個發(fā)展階段
Teradata天睿公司首席技術官寶立明(Stephen Brobst)認為,高級分析的發(fā)展可以分為三個階段:第一階段是描述性分析,用于洞察過去;第二階段是預測性分析,能夠了解未來;第三階段是指導性分析,為可能發(fā)生的結果提供建議。Teradata開發(fā)的Vantage軟件平臺屬于第三階段的產(chǎn)物,能夠為企業(yè)提供最佳的高級分析能力。
Teradata天睿公司首席技術官寶立明(Stephen Brobst)
如今,機器學習技術取得飛速發(fā)展,其能力超出人類的例子也比比皆是。最讓寶立明印象深刻的是,在某界國際象棋比賽中,來自挪威和美國的兩位象棋大師在最后一局打成了平局,經(jīng)過軟件分析后得知,挪威象棋大師本可以在60步內(nèi)將死對手,但是由于象棋大師只能預測幾十步以內(nèi)的可能性,對于60歩的結果完全無能為力,最后只能打成平手。
行業(yè)預測表明,一些需要簡單體力或腦力勞動的職業(yè)將被機器取代,如收銀員、卡車司機、簡單翻譯、放射科醫(yī)生和個人信用評估等等。實際上,機器學習的預測能力已經(jīng)被應用到企業(yè)的實際業(yè)務中,為企業(yè)的未來發(fā)展指引方向。
目前所謂的人工智能都是增強型人工智能,它還無法完全取代人類,只能增強人的能力。例如,軟件可以幫助醫(yī)生診斷一些疾病,但是機器的診斷分析只能提供參考,最后還是要靠醫(yī)生選擇治療方案,進行治療。由這個例子引申開來,人們在制定策略、戰(zhàn)略時,可以讓智能化的軟件輔助我們實現(xiàn)這些戰(zhàn)略,AI不止能夠幫助企業(yè)提速降本增效,還能幫助企業(yè)管理者將戰(zhàn)略制定得更長遠,更完美,Teradata Vantage正是為了這一目標而存在。
Teradata Vantage高級分析平臺
Teradata Vantage高級分析平臺在架構上可以分為四層,由下至上分別是數(shù)據(jù)源、分析引擎、分析語言和分析工具。此前,Teradata收購了一家來自斯坦福大學的創(chuàng)業(yè)公司Aster Data,創(chuàng)新性地同時集成了Map-Reduce和ANSI SQL引擎,能夠?qū)⑸蠈拥姆治鲆媾c底層的存儲設備打通,進行大數(shù)據(jù)分析和計算。
Teradata Vantage的分析引擎層包含NewSQL引擎、機器學習引擎、圖形引擎、Spark引擎、TensorFlow引擎以及一系列定制引擎。寶立明強調(diào),Teradata Vantage的機器學習引擎由廣泛的分析功能組成,除數(shù)據(jù)準備、非結構化數(shù)據(jù)分析功能以外,還涵蓋人工智能、統(tǒng)計、文本、情感判別等200余種分析引擎,便于科學家進行描述性或預測性的分析。圖引擎可實現(xiàn)關聯(lián)分析,并了解網(wǎng)絡用戶、產(chǎn)品、過程乃至任何聯(lián)網(wǎng)實體中這些關系將怎樣影響結果。其中,每個引擎都用Docker做成Container封裝起來,不斷迭代。與此同時,基于開源的OpenStack平臺和商業(yè)分析引擎,讓開發(fā)者們可以開發(fā)出一些內(nèi)部引擎和工具集。
在分析語言方面,早期,Teradata推出了高性能和高可靠性的Teradata關系數(shù)據(jù)庫管理系統(tǒng),該系統(tǒng)采用標準的SQL查詢語言,適用于處理復雜查詢的數(shù)據(jù)倉庫應用。隨著預測性、指導性高級分析需求的逐漸增多,SQL這一結構性的查詢語言已無法滿足需求, Teradata陸續(xù)將NoSQL,R,Python,NewSQL,SAS等語言納入進來,結合頂層的分析工具以及廣泛的商業(yè)智能與可視化工具,讓企業(yè)的分析師和數(shù)據(jù)科學家無需非常了解機器學習算法即可用到機器學習的能力,為用戶提供預測性、指導性的高級分析能力。
Teradata Vantage本地化最佳實踐
為了滿足中國市場的本地化需求,Vantage平臺支持百萬級乃至上億級用戶體量的高級分析需求。據(jù)介紹,Teradata在中國的諸多銀行客戶紛紛開發(fā)出了相關的分析引擎,使數(shù)據(jù)科學家們能夠利用任何他們慣用的開源或商業(yè)的語言和工具,充分利用不同的數(shù)據(jù)源,通過各類分析引擎,與不同的應用相結合,訪問、共享位于分布式存儲以及對象存儲中的各種格式的數(shù)據(jù)。
寶立明透露,通過機器學習的高級分析能力,Teradata幫助銀行客戶將信用卡欺詐診斷率提升50%,誤報率降低80%-90%。銀行客戶利用機器學習、神經(jīng)網(wǎng)絡的算法和引擎,能夠預測流失率、流失原因以及用戶去向,通過對信用卡交易時間、地點和頻率的分析,快速進行可疑交易識別與欺詐行為判斷,從而規(guī)避交易風險,提升客戶體驗。
除銀行客戶外,制造業(yè)、物流運輸業(yè)以及電信等行業(yè)也將高級分析能力用于風險預測領域,例如預測哪些零部件將在何時發(fā)生故障,Teradata將這些高級分析能力打包推薦給客戶,助力企業(yè)快速提升業(yè)務效率。
Teradata Vantage的主要分析用例包括:
1、 功能預測。預測哪些客戶會流失,哪筆貸款會違約,以及客戶定位、金融預測、營銷組合建模、客戶抱怨預測、凈推薦值影響因素、風險建模、預測性維護等。
2、 客戶細分。與傳統(tǒng)的客戶細分不同,Vantage的客戶細分可以多達成百上千個屬性,用多維的方式進行歸檔和分類,選擇最具潛力的客戶。詳細用例包括市場細分、客戶流失因素細分、放棄線上購買、破壞過程的關鍵影響因素等。
3、 了解因果關系。就是通過機器學習引擎了解因果關系來制定一個最佳的客戶路徑,避免客戶流失。包括營銷歸因、投資回報率、客戶流失、欺詐行為路徑、實時優(yōu)化等。
4、 情境。可以通過文本、語音、Email來收集資料,了解客戶對商品或服務是否滿意。據(jù)悉,Teradata在中國開發(fā)了基于中文的自然語言分析,實現(xiàn)情感分析,進行客戶打分。
5、 網(wǎng)絡社交。利用網(wǎng)絡社交的相互關系,了解潛在用戶以及犯罪團伙的情況,包括反饋/審查集群、了解喜歡我的用戶、欺詐網(wǎng)絡、線上欺詐等領域。
6、 假設測試。通過變量分析、關聯(lián)、主成分分析、采樣等功能,實現(xiàn)實驗、影響力測量、根本原因分析以及過程優(yōu)化。
Teradata Vantage的三大典型案例
最后,寶立明列舉了客戶利用Teradata Vantage平臺實現(xiàn)高級分析的三大典型案例。
制造業(yè):前瞻性維護
某全球大型制造商的生產(chǎn)設備位于世界各地,這些機器都處于7×24小時連續(xù)工作的狀態(tài),為了進行部件故障檢測、防止意外停機,該公司通過軟件對多個設備傳感器和性能數(shù)據(jù)進行監(jiān)測,通過日志分析、廣義線性模型以及各類分析引擎,將停機事件傳感器路徑與穩(wěn)定運行事件傳感器路徑進行對比,隔離性能瓶頸的關鍵指標,預測即將發(fā)生問題的設備,實現(xiàn)前瞻性維護,降低停機時間,節(jié)約成本。
零售業(yè):多渠道整合
對于大型零售商而言,往往有眾多銷售渠道,但是零售商很難清楚地判斷哪種銷售渠道的影響力更大,更難了解客戶在不同渠道、對不同商品的各種互動行為,更無法將線上及線下的渠道打通,進行聯(lián)合銷售,提升客戶體驗。為了解決這些困擾,某大型零售商運用Teradata Vantage進行多渠道整合,形成完整的客戶購買商品的路徑,并通過不斷測量新渠道活動,確保客戶在最短的時間內(nèi)以最低的成本購買商品,跟蹤客戶對商品的評論,不斷提高客戶的滿意度指數(shù)。
金融業(yè):多渠道監(jiān)測
如何減少賬戶關閉事件,是全球銀行業(yè)共同關注的指標。過去,客戶賬戶關閉與客戶滿意度模型需要不斷地手動調(diào)整和干預,有了Vantage平臺的高級分析能力,能夠結合網(wǎng)銀、呼叫中心、ATM機等多渠道數(shù)據(jù),自動化的進行分析,從賬戶關閉的時間點向前分析,找出與賬戶關閉相關的20余個行為,評估這些行為的風險,進行干預,從而大幅降低賬戶關閉情況。
總結:
隨著機器學習、大數(shù)據(jù)的不斷發(fā)展,各類的分析引擎、分析語言、分析工具層出不窮,Teradata Vantage則整合了主流的商業(yè)和開源的分析工具,化繁為簡,落地各個行業(yè),結合行業(yè)的屬性與需求,甄選最受行業(yè)歡迎的行業(yè)分析工具,不僅幫助企業(yè)管理數(shù)據(jù),更能提供出色的分析能力,提升數(shù)據(jù)分析師與數(shù)據(jù)科學家們的用戶體驗。
【51CTO原創(chuàng)稿件,合作站點轉(zhuǎn)載請注明原文作者和出處為51CTO.com】




























