精品欧美一区二区三区在线观看 _久久久久国色av免费观看性色_国产精品久久在线观看_亚洲第一综合网站_91精品又粗又猛又爽_小泽玛利亚一区二区免费_91亚洲精品国偷拍自产在线观看 _久久精品视频在线播放_美女精品久久久_欧美日韩国产成人在线

攜程大數據實時風控的架構及實踐

大數據
目前攜程利用自主研發的風控系統有效識別、防范這些風險。攜程風控系統從零起步,經過五年的不斷探索與創新,已經可以有效覆蓋事前、事中、事后各個環節。也從原來基于“簡單規則+DB”,發展到目前能夠支撐10X交易增長的智能化風控系統,基于規則引擎、實時模型計算、流式處理、M/R、大數據、數據挖掘、機器學習等的風控系統,擁有實時、準實時的風險決策、數據分析能力。

[[179032]]

攜程作為國內OTA領頭羊,每天都遭受著嚴酷的欺詐風險,個人銀行卡被盜刷、賬號被盜用、營銷活動被惡意刷單、惡意搶占資源等。

目前攜程利用自主研發的風控系統有效識別、防范這些風險。攜程風控系統從零起步,經過五年的不斷探索與創新,已經可以有效覆蓋事前、事中、事后各個環節。也從原來基于“簡單規則+DB”,發展到目前能夠支撐10X交易增長的智能化風控系統,基于規則引擎、實時模型計算、流式處理、M/R、大數據、數據挖掘、機器學習等的風控系統,擁有實時、準實時的風險決策、數據分析能力。

Aegis系統體系

 

 

 

 

圖1

主要分三大模塊:風控引擎、數據服務、數據運算、輔助系統。

風控引擎:主要處理風控請求,有預處理、規則引擎和模型執行服務,風控引擎所需要的數據是由數據服務模塊提供的。

數據服務:主要有實時流量統計、風險畫像、行為設備數據、外部數據訪問代理,RiskGraph。數據訪問層所提供的數據都是由數據計算層提供

數據運算:主要包括風險畫像運算、RiskSession、設備指紋、以及實時流量、非實時運算。

數據運算所需的數據來源主要是:風控Event數據(訂單數據、支付數據),各個系統采集來的 UBT、設備指紋、日志數據等等。

除了這些,風控平臺還有非常完善的監控預警系統,人工審核平臺以及 報表系統。

Aegis系統架構

 

 

[[179034]]

 

 

圖2

規則引擎

規則引擎包含3大功能,首先是適配層。

由于攜程的業務種類非常多,而且每種業務都有其特性,在進入風控系統(Aegis)后,為了便于整個風控系統對數據進行處理,風控前端有一個適配器模塊,把各個業務的數據都按照風控內部標準化配置進行轉換,以適合風控系統使用。

在完成數據適配后。風控系統要進行數據的合并。

舉個例子,當有一筆支付風控校驗,支付BU只拋過來支付信息(支付金額、支付方式、訂單號等)。但是不包含訂單信息,這個時候就必須根據支付信息快速的查找到訂單信息,并把這兩個數據進行合并,以便規則、模型使用。大家知道,用戶從生成訂單到發起支付,其時間間隔從秒到天都有可能,當間隔時間短的時候,就會發生要合并的數據還沒有處理完,所以訂單數據從處理到落地要非常快。第二部就是要快速查找到訂單數據,我們為訂單信息根據生成 RiskGraph,可以快速精確定位到所需要的訂單明細數據。

預處理在完成數據合并后,就開始準備規則、模型所需要的變量、tag數據,在準備數據時,預處理模塊會依賴后面我們要講解的數據服務層。當然,為了提高性能,我們為變量、tag的數據合理安排,優先獲取關鍵規則、模型所需要的變量、tag的數據。

大家知道,欺詐分子的特點就是一波一波的,風控系統需要能夠及時響應,當發現欺詐行為后,能及時上規則防止后續類似的欺詐行為。所以,制定規則需要快速、準確,既然這樣,那么就需要我們的規則能夠快速上線,而且規則人員自己就可以制定規則并上線。還有就是規則與執行規則的引擎比較做到有效隔離,不能因為規則的不合理,影響到整個引擎。那么規則引擎就必須符合這些條件。

我們***選擇了開源 Drools,***它是開源,第二它可以使用Java語言,入門方便,第三功能夠用。 通過使用 規則引擎Drools,使其具有非常高的靈活性、可配置性,并且由于是java語法的,規則人員自己就可以制定規則并迅速上線。

由于每個風控Event請求,都需要執行數百個規則,以及模型,這時,風控引擎引入了規則執行路徑優化方法。建立起并行+串行,依賴關系+非依賴關系的規則執行優化方法,然后再引入短路機制,使上千個規則的運行時間控制在100ms。

 

 

 

 

圖3

規則的靈活性非常強,制定、上線非常快,但是單個規則的覆蓋率比較低,如果要增加覆蓋率就需要非常多的規則來進行覆蓋,這個時候規則的維護成本就會很高,那么這個時候就需要使用模型了,模型的特點就是覆蓋率覆蓋率可以做到比較高,其模型邏輯可以非常復雜,但是其需要對其進行線下訓練,所以攜程風控系統利用了規則、模型的各自特點進行互補。

在目前的風控系統中主要使用了:Logistic Regression、Random Forest。兩個算法使用下來,目前情況為:LR訓練變量區分度足夠好的情況下,加以特征工程效果比較好。RF當變量線性區分能力較弱的時候,效率比較高。所以使用RF的比例比較多。

數據服務層

數據服務層,主要功能就是提供數據服務,我們知道在風控引擎預處理需要獲取到非常多的變量和tag,這些變量和tag的數據都是由數據訪問層來提供的。該服務層的最重要的目的就是響應快。所以在數據服務層主要使用Redis作為數據緩存區,重要、高頻數據直接使用Redis作為持久層來使用。

數據服務層的核心思想就是充分利用內存(本地、Redis)

1、本地內存(大量固定數據,如ip所在地、城市信息等)

2、充分利用Redis高性能緩存

由于實時數據流量服務、風險畫像數據服務的數據是直接存儲在Redis中,其性能能夠滿足規則引擎的要求,我們這里重點介紹一下數據訪問代理服務。

數據訪問代理服務,其最重要的思想就是該數據被規則調用前先調用第三方的服務,把數據保存到Redis中,這樣當規則請求來請求的時候,就能夠直接從Redis中讀取,既然做到了預加載,那么其數據的新鮮度及***率就非常重要。我們以用戶相關維度的數據為例,風控系統通過對用戶日志的分析,可以偵測到哪些用戶有登陸、瀏覽、預定的動作,這樣就可以預先把這些用戶相關的外部服務數據加載到Redis中,當規則、模型讀取用戶維度的外部數據時,先直接在redis中讀取,如果不存在然后再訪問外部服務。

在某些場景下,我們還結合引入DB來做持久化,當用戶某些信息發生變化的時候,公共服務會發送一個Message到Hermes,我們就訂閱該信息,當知道該用戶的某些信息發生修改,我們就主動的去訪問外部服務獲取數據放入Redis中,由于風控系統能夠知道這些數據發生變化的Message,所以這些數據被持久化到DB中也是ok的,當然,這些數據也有一個TTL參數來保證其新鮮度。在這種場景下,系統在Redis沒有***的情況下,先到DB中查找,兩個地方都不存在滿足條件的數據時,才會訪問外部服務,這個時候,其性能、存儲空間就可以得到優化。

Chloro系統Chloro系統是數據分析服務也是整個風控系統的核心,數據服務層所使用到的數據,都是由Chloro系統計算后提供的。

主要分析維度主要包括:用戶風險畫像,用戶社交關系網絡,交易風險行為特性模型,供應商風險模型。

 

 

 

 

圖4

可以看到數據的來源主要有hermes、hadoop、以及前端拋過來的各種風控Event數據。Listener是用來接收各類數據,然后數據就會進入 CountServer 和 Real-Time Process系統,其中和RiskSession的數據就先進入Sessionizer ,該模塊可以快速進行歸約Session處理,根據不同的key歸約成一個session,然后再提交給 實時處理系統進行處理。

當Real Time Process 和 CountServer對數據處理好后,這個時候分成了兩部分數據,一部分是處理的結果,還有一份是原數據,都會提交給Data Dispatcher,由它進行Chloro系統內部的數據路由,結果會直接進入到RiskProfile提供給引擎和模型使用。而原始數據會寫入到Hadoop集群。

Batch Process就利用Hadoop集群的大數據處理能力,對離線數據進行處理,當Batch Process處理好后,也會把處理結果發送給Data Dispatcher,由它進行數據路由。

Batch Process還可以做跨Rsession之間的數據分析。

 

 

 

 

圖5

RiskSession的定義:量化、刻畫 用戶的行為,任何人通過任何設備訪問攜程的***個event開始,我們認為Rsession start了,到他離開的***一個event后30分鐘之內沒有任何痕跡留下,我們認為Rsession end。

風控系統通過比較用戶信息:Uid, 手機號, 郵箱,設備信息:Fp(Fingerprint), clientId, vid, v, deviceId來判斷其是否是同一個用戶,通過其行為信息:瀏覽軌跡, 歷史軌跡來判斷其行為相似度。

比如:用戶在PC端下單、然后在手機APP里完成支付,這個對于Chloro是一個會話,這個會話我們稱之為風控Session,通過Risksession的定義,風控系統使用戶的行為可以量化,也可以刻畫。這樣Risksession實際上可以作為用戶行為的一個 Container。使用RiskSession就可以做到跨平臺,更加有利于分析用戶特征。

 

 

 

 

圖6

Risk Graph 是根據攜程風控系統的特點開發出來的,Risk Graph是一個基于HBase進行為存儲介質的系統,比如,以用戶為節點其值就是HBase用戶表的key,其每個列就是特性,然后根據用戶的某個特性再創建一個hbase表,這樣就創建了一個基于HBase的類Graph的架構。

所以該系統的一個核心思想是先創建各個維度的數據索引,然后根據索引值再進行內容的查找。目前風控系統已經創建了十幾個維度的快速索引。

Aegis其它子系統

 

 

 

圖7

Aegis還有配置系統,用戶可以在上面進行各種配置,如規則、規則運行路徑,標準化、tag、變量定義、已經數據清洗業務羅輯等等,當然監控系統也是非常重要的,風控研發秉承著監控無處不在的設計理念,使其能夠在***時間發現系統的任何細小變化。

展望

攜程風控在3.0中通過引入規則引擎、在Chloro系統中大量使用開源的基于大數據處理的架構,配合模型取得了非常好的效果,在4.0中,將在機器學習、人工智能、行為特征等方向繼續發力,進一步提高風控系統識別能力,對于技術將繼續擁抱開源技術,下一步會引入Spark等提高風控系統的數據處理能力。

作者簡介

郁偉,攜程技術中心風險控制部高級開發經理。2010加入攜程,參與了攜程結算平臺、風控系統的開發,對系統架構、流式數據處理等有比較深入的研究。

責任編輯:龐桂玉 來源: 大數據雜談
相關推薦

2016-09-04 15:14:09

攜程實時數據數據平臺

2022-06-16 15:46:58

錢大媽云原生Flink

2022-08-02 08:15:11

數據平臺中原銀行銀行業務

2024-09-11 14:47:00

2023-06-06 11:49:24

2022-06-17 10:44:49

實體鏈接系統旅游AI知識圖譜攜程

2017-01-04 10:29:37

Spark運維技術

2022-08-12 08:34:32

攜程數據庫上云

2022-03-30 18:39:51

TiDBHTAPCDP

2017-08-31 16:36:26

2022-05-19 17:50:31

bookie集群延遲消息存儲服務

2023-09-21 07:52:55

Flink CEP復雜事件處理

2022-07-15 12:58:02

鴻蒙攜程華為

2022-11-29 20:32:07

2022-05-13 09:27:55

Widget機票業務App

2022-08-20 07:46:03

Dynamo攜程數據庫

2023-07-07 12:26:39

攜程開發

2014-08-20 09:40:56

大數據實踐項目

2013-04-23 14:36:54

2017-10-09 09:12:35

攜程運維架構
點贊
收藏

51CTO技術棧公眾號

国产精品视频播放| 亚洲天天做日日做天天谢日日欢| 欧美精品久久一区二区| 日本丰满少妇裸体自慰 | 午夜精品www| 波多野结衣av在线免费观看| 久久久精品一区二区毛片免费看| 亚洲人成在线观看一区二区| 激情伦成人综合小说| 少妇一级淫片日本| 韩国亚洲精品| 在线免费看av不卡| 91porn在线| 亚洲综合av一区二区三区| 亚洲伦理在线精品| 日本亚洲自拍| 黄频网站在线观看| 麻豆中文一区二区| 97在线视频一区| 青青草华人在线视频| 极品一区美女高清| 欧美人成免费网站| 欧美性久久久久| 最爽无遮挡行房视频在线| 91免费观看视频| 91亚洲va在线va天堂va国| 久久久久在线视频| 亚洲国产日本| 精品少妇一区二区30p| 2019男人天堂| 亚洲系列另类av| 精品国产乱码久久久久久图片 | 色播色播色播色播色播在线 | 福利视频一区二区三区四区| jzzjzzjzz亚洲成熟少妇| 成人va在线观看| 18成人免费观看网站下载| 中文字幕视频免费观看| 午夜一级久久| 国内精品久久久久久久久| 国产十六处破外女视频| 国产精品久久久久久| 在线中文字幕日韩| 四虎成人免费影院| 国产探花一区在线观看| 精品无人区乱码1区2区3区在线| 日本成人在线免费| 久久九九精品视频| 91精品啪在线观看国产60岁| 日韩欧美国产片| 成人做爰免费视频免费看| 在线中文字幕不卡| 成人性做爰aaa片免费看不忠| 麻豆网站免费在线观看| 亚洲不卡一区二区三区| 久久综合久久网| ririsao久久精品一区| 亚洲一区二区三区四区在线| 美女av免费观看| 男人天堂亚洲| 精品国产乱码久久久久久婷婷| 超碰成人免费在线| 这里有精品可以观看| 日韩欧美国产激情| 看欧美ab黄色大片视频免费| 韩国成人在线| 欧美日韩大陆一区二区| 亚洲va在线va天堂va偷拍| www.久久热| 欧美大黄免费观看| 国产激情视频网站| 久久最新网址| 日韩亚洲欧美成人| 91在线播放观看| 亚洲美女黄网| 国产91在线播放精品91| 中文字幕一区二区人妻痴汉电车| 激情综合五月婷婷| av资源一区二区| 午夜在线观看视频18| 久久久亚洲综合| 亚洲一区二区三区加勒比| 成人直播在线| 精品欧美国产一区二区三区| 亚洲综合在线网站| 天天综合91| 亚洲第一级黄色片| 亚洲av无码一区二区三区人 | 国产欧美日产一区| 伊人久久在线观看| 欧美调教sm| 欧美美女直播网站| 国内精品免费视频| 成人精品影视| 久久人人爽国产| 一区二区视频免费观看| 成人免费观看视频| 视频在线精品一区| 欧美人与性动交α欧美精品图片| 欧美日韩在线视频一区| 一区二区免费av| 日韩大胆成人| 久青草国产97香蕉在线视频| 久草手机在线观看| 国产最新精品免费| 美女被啪啪一区二区| av免费在线网站| 91豆麻精品91久久久久久| 日韩精品――色哟哟| 成人精品视频| 欧美亚洲国产视频| а√中文在线资源库| 国产日韩一级二级三级| 日本福利视频一区| 美女久久精品| 中文字幕亚洲欧美在线| 久久夜色精品亚洲| 国产a视频精品免费观看| 亚洲va韩国va欧美va精四季| 国模精品视频| 精品久久久久99| 亚洲色图100p| 日本一不卡视频| 精品中文字幕一区| 国精产品一区一区三区mba下载| 精品视频色一区| 91精品人妻一区二区| 精品91在线| 91麻豆蜜桃| caopo在线| 欧美美女喷水视频| 自拍偷拍你懂的| 蜜乳av另类精品一区二区| 99re6热在线精品视频播放速度| 永久av在线| 在线观看日韩国产| 一区二区三区伦理片| 男女精品网站| 欧美激情第六页| 不卡av播放| 亚洲欧美国产精品专区久久| 日韩欧美三级视频| 91社区在线播放| 黄色动漫在线免费看| 久久夜色精品国产噜噜av小说| 欧美国产日本高清在线| 亚洲精品18在线观看| 亚洲主播在线播放| 中文字幕天堂av| 亚洲另类自拍| 欧美人与性禽动交精品| 暖暖成人免费视频| 一区二区三区 在线观看视| 免费一级a毛片| 国产精品丝袜91| 亚洲色图 在线视频| 欧美一区三区| 成人av在线亚洲| 国产网友自拍视频导航网站在线观看| 欧美二区三区的天堂| 精品亚洲乱码一区二区| 国产乱码一区二区三区| 免费的一级黄色片| 国产精品超碰| 日本欧美一级片| av成人手机在线| 欧美一区二区三区四区视频| 久久中文字幕无码| 91麻豆免费观看| 欧美在线观看视频网站| 色135综合网| 99porn视频在线| 久草免费在线视频| 国产亚洲a∨片在线观看| 国产又粗又猛又爽又黄91| 亚洲精品久久久蜜桃| 朝桐光av一区二区三区| 天堂资源在线中文精品| 在线观看精品视频| 99这里只有精品视频| 日本91av在线播放| 美女羞羞视频在线观看| 精品国产在天天线2019| 国产精品久久久久久久久久久久久久久久久 | 性欧美精品男男| 国产精品一区专区| 免费av观看网址| 91欧美在线| 精品国产乱码久久久久久88av| 欧美日韩亚洲国产| 久久99国产综合精品女同| 性感美女一级片| 欧美人成免费网站| 免费观看成人毛片| 中文字幕日韩一区| 国产 中文 字幕 日韩 在线| 另类小说视频一区二区| 东北少妇不带套对白| 四虎成人精品永久免费av九九| 国产精品免费区二区三区观看| 日韩免费va| 欧美国产日韩一区二区三区| 国产有码在线| 日韩av一区二区在线观看| 97精品人妻一区二区三区在线 | 日本天堂一区| 国产日韩欧美在线观看| 日本在线啊啊| 欧美极品少妇xxxxⅹ免费视频 | 国语对白做受69| 老司机99精品99| 亚洲最新av在线网站| 欧美特黄一级视频| 4438亚洲最大| 中文字幕 国产精品| 欧美日韩一二三四五区| 国产稀缺精品盗摄盗拍| 中文字幕欧美日本乱码一线二线| 亚洲午夜久久久久久久久| 精品一区二区在线免费观看| 人妻内射一区二区在线视频| 一区二区亚洲精品| 法国空姐在线观看免费| 日韩中文首页| 视频一区视频二区视频| 久久91成人| 欧美国产二区| 亚洲天堂日韩在线| 久久精品99| 给我免费播放日韩视频| 91网免费观看| 国产免费av国片精品草莓男男| 国产精品视频在线播放| 亚洲日本在线观看视频| 日韩免费黄色av| 色在线免费观看| 国产91精品久久久久| 爱啪视频在线观看视频免费| 欧美交受高潮1| brazzers在线观看| 97人人做人人爱| 女人让男人操自己视频在线观看| 欧美日韩福利电影| 欧洲一区二区三区| 欧美精品第一页在线播放| 日本在线视频中文有码| 欧美国产日本高清在线| 9999热视频在线观看| 992tv成人免费影院| 欧产日产国产精品视频| 日本精品免费一区二区三区| 成人影院入口| 国产精品18久久久久久麻辣| 99久久婷婷国产综合精品首页| 国产精品免费福利| 亚洲精品三区| 爱情岛论坛亚洲入口| jizz18欧美18| 蜜桃91精品入口| 日韩精品免费一区二区三区| 一本色道婷婷久久欧美| 亚洲在线久久| 韩日视频在线观看| 午夜在线精品偷拍| 2025韩国理伦片在线观看| 麻豆91精品视频| 日本亚洲一区二区三区| 成人国产免费视频| 一级性生活毛片| 日韩美女视频19| 久久视频免费看| 色又黄又爽网站www久久| 波多野结衣一区二区在线| 欧美精品视频www在线观看| 99精品久久久久久中文字幕| 亚洲成av人乱码色午夜| 你懂的在线网址| 久久精品国产亚洲| h片在线观看视频免费| 国产成人精品日本亚洲| 精品三级国产| 免费av在线一区二区| 国产精品国产一区| 91九色在线观看视频| 美女视频网站久久| www.四虎在线| 国产欧美日韩精品在线| 免费人成年激情视频在线观看| 福利精品视频在线| a天堂视频在线| 亚洲精品永久免费精品| 黄色网页在线免费观看| 97在线视频免费看| 国产亚洲亚洲国产一二区| 蜜桃av噜噜一区二区三区| 国产精品二区不卡| 免费黄色福利视频| 国产精品亚洲午夜一区二区三区 | 秋霞成人午夜鲁丝一区二区三区| 欧美黄色成人| 久久久av水蜜桃| 欧美在线免费一级片| 日本精品一区二区三区四区| 国产成人av一区| 农村老熟妇乱子伦视频| 欧美日韩国产页| 国产jzjzjz丝袜老师水多 | 国产欧美在线一区二区| 欧美激情黄色片| 国产xxxxx在线观看| 成人精品国产一区二区4080| 99成人在线观看| 91黄色激情网站| 亚洲人妻一区二区| 欧美—级a级欧美特级ar全黄| 久久亚洲精品中文字幕| 久久久久久九九| 一区久久精品| 91视频免费入口| 国产精品美女久久福利网站| 亚洲精品成人在线视频| 亚洲激情国产精品| 男男gaygays亚洲| 亚洲自拍欧美色图| 91久久久精品国产| www.激情小说.com| 久久精品人人做人人综合| 国产午夜激情视频| 日韩女优av电影| 中文在线免费| 亚洲自拍欧美色图| 91不卡在线观看| 91欧美一区二区三区| 国产精品久久久久久亚洲毛片| 中文字幕一区二区人妻视频| 精品性高朝久久久久久久| 国产美女高潮在线观看| 国产精品有限公司| 亚洲韩日在线| 国产综合内射日韩久| 亚洲尤物在线视频观看| 亚洲AV午夜精品| 欧美精品18videosex性欧美| jizz国产精品| 18禁网站免费无遮挡无码中文| 成人一区在线看| 国产在线欧美在线| 亚洲国产精品大全| 欧美办公室脚交xxxx| 久久精品成人一区二区三区蜜臀| 亚洲伊人网站| 国产一区二区三区四区五区六区| 色婷婷精品久久二区二区蜜臂av| 精品视频三区| 国产精品久久久久久亚洲影视| 久久高清免费| 中文字幕一区二区三区四| 一区二区在线看| 天天操天天干天天爽| 欧美一级淫片播放口| 国产欧美日韩影院| 91亚洲精品久久久蜜桃借种| 一区二区三区欧美日韩| 色呦呦免费观看| 日韩av免费在线| 色综合色综合| 国产xxx在线观看| 欧美午夜无遮挡| 一级毛片视频在线观看| av在线不卡一区| 久久婷婷亚洲| 你懂得在线观看| 精品国产制服丝袜高跟| 国产不卡网站| 丰满女人性猛交| 91丨九色丨尤物| 在线观看中文字幕2021| 精品中文字幕视频| 美女毛片一区二区三区四区| 国产日韩欧美久久| 一区二区高清在线| 国产高清在线看| 97碰碰视频| 久久综合网络一区二区| 欧美黄色aaa| 亚洲精品日韩久久久| 伊人久久大香| 精品99在线视频| 亚洲欧美日韩一区二区| 亚州av在线播放| 成人av.网址在线网站| 国产欧美三级| www深夜成人a√在线| 亚洲男子天堂网| 婷婷视频一区二区三区| 精品少妇无遮挡毛片| 亚洲国产综合视频在线观看| 日本中文字幕伦在线观看| 精品国产电影| 国产高清精品在线|