【51CTO.com原創(chuàng)稿件】2016年11月25-26日，由51CTO.com主辦的WOT 2016大數(shù)據(jù)技術(shù)峰會(huì)在北京粵財(cái)JW萬(wàn)豪酒店隆重召開。自2012年以來(lái)，WOT品牌大會(huì)秉承“專注技術(shù)、服務(wù)技術(shù)人員”的理念已經(jīng)成功舉辦十二屆，不僅積累了大量的專家資源，更獲得廣大IT從業(yè)者和技術(shù)愛好者的認(rèn)可和好評(píng)，已成為業(yè)界重要的技術(shù)分享及人脈拓展平臺(tái)。

在WOT2016大數(shù)據(jù)技術(shù)峰會(huì)的行業(yè)應(yīng)用實(shí)踐專場(chǎng)，鏈家網(wǎng)大數(shù)據(jù)架構(gòu)師趙國(guó)賢做了《地產(chǎn)數(shù)據(jù)的基石之大數(shù)據(jù)架構(gòu)之路》的演講，會(huì)后記者針對(duì)鏈家網(wǎng)大數(shù)據(jù)架構(gòu)搭建中遇到的難題和應(yīng)對(duì)方案等與他進(jìn)行了詳細(xì)溝通，以下是采訪分享。

嘉賓介紹

[[177722]]

趙國(guó)賢，鏈家網(wǎng)大數(shù)據(jù)架構(gòu)師，負(fù)責(zé)大數(shù)據(jù)平臺(tái)的基礎(chǔ)架構(gòu)方向，專注構(gòu)建大數(shù)據(jù)基礎(chǔ)平臺(tái)的相關(guān)工作。2011年供職于新浪研發(fā)中心，把全網(wǎng)的行為數(shù)據(jù)收集方式從離線改造為實(shí)時(shí)收集，并參與了大數(shù)據(jù)平臺(tái)從無(wú)到有的整個(gè)發(fā)展歷程。2013年，任職搜狗數(shù)據(jù)分析平臺(tái)高級(jí)工程師，建立了一套完備的數(shù)據(jù)平臺(tái)用以支撐公司的數(shù)據(jù)需求。

鏈家網(wǎng)的大數(shù)據(jù)架構(gòu)發(fā)展現(xiàn)狀

鏈家網(wǎng)的數(shù)據(jù)架構(gòu)發(fā)展情況是第一套系統(tǒng)滿足日常的數(shù)據(jù)報(bào)表需求，在這個(gè)系統(tǒng)基礎(chǔ)上開發(fā)的第二套系統(tǒng)是一個(gè)簡(jiǎn)單的BI系統(tǒng)，可以實(shí)現(xiàn)自助報(bào)表需求，現(xiàn)在使用的數(shù)據(jù)架構(gòu)是一套完整的解決方案，即平臺(tái)級(jí)服務(wù)。該平臺(tái)服務(wù)分成三層，包括數(shù)據(jù)服務(wù)層、工具鏈層和基礎(chǔ)服務(wù)層。通過(guò)這三層的完整架構(gòu)滿足集成數(shù)據(jù)需求和相關(guān)客戶的數(shù)據(jù)需求。

鏈家網(wǎng)相對(duì)于其他地產(chǎn)公司的核心競(jìng)爭(zhēng)優(yōu)勢(shì)就是數(shù)據(jù)，比如說(shuō)公司從2006年開始打造的“樓盤字典”，可以描述全國(guó)七千萬(wàn)套房子的詳細(xì)情況。鏈接網(wǎng)的大數(shù)據(jù)架構(gòu)除了滿足日常的業(yè)務(wù)查詢需求，還會(huì)定期分享數(shù)據(jù)報(bào)告給公司管理層、用戶和潛在使用者查看。而且，鏈家研究院會(huì)定期通過(guò)使用數(shù)據(jù)平臺(tái)獲取一些數(shù)據(jù)，然后通過(guò)機(jī)器學(xué)習(xí)類似的方法，能夠生成一套完備的地產(chǎn)數(shù)據(jù)報(bào)告。

在數(shù)據(jù)的內(nèi)部使用上，鏈家網(wǎng)有一套完善的數(shù)據(jù)控制方案，門店的店長(zhǎng)和經(jīng)紀(jì)人有不同的數(shù)據(jù)查看權(quán)限，但是僅限于查看所在區(qū)域的數(shù)據(jù)，無(wú)法實(shí)現(xiàn)跨區(qū)的數(shù)據(jù)操作。對(duì)于經(jīng)紀(jì)人，他只能查詢到他權(quán)限內(nèi)的必要數(shù)據(jù)，即定位所在門店一定范圍內(nèi)相關(guān)的商圈、門店的數(shù)據(jù)，沒(méi)有權(quán)限獲取更多的數(shù)據(jù)。如果地產(chǎn)經(jīng)紀(jì)人在實(shí)際操作中，涉及到跨區(qū)數(shù)據(jù)操作的情況，該怎么辦呢?解決方案是該經(jīng)紀(jì)人可以和其他經(jīng)紀(jì)人合作，獲得相關(guān)房產(chǎn)數(shù)據(jù)來(lái)為客戶服務(wù)。每個(gè)經(jīng)紀(jì)人都擁有一個(gè)完備的房產(chǎn)數(shù)據(jù)信息，比如誰(shuí)注冊(cè)了這個(gè)房子、誰(shuí)進(jìn)行的客戶連接、誰(shuí)賣了這個(gè)房子，有一整套數(shù)據(jù)平臺(tái)給經(jīng)紀(jì)人提供服務(wù)。他們通過(guò)這套數(shù)據(jù)平臺(tái)，能滿足客戶快速找到最合適房子的需求。

鏈家網(wǎng)在大數(shù)據(jù)架構(gòu)方面的技術(shù)支撐

為了應(yīng)對(duì)業(yè)務(wù)的大幅增長(zhǎng)和架構(gòu)調(diào)整，鏈家網(wǎng)打造了一套完備的數(shù)據(jù)處理倉(cāng)庫(kù)系統(tǒng)，包括一站式數(shù)據(jù)管理系統(tǒng)和一站式的指標(biāo)管理系統(tǒng)，這兩個(gè)系統(tǒng)數(shù)據(jù)描述清晰，可以滿足大部分經(jīng)紀(jì)人對(duì)業(yè)務(wù)的數(shù)據(jù)需求，幫助用戶快速查看數(shù)據(jù)。無(wú)論業(yè)務(wù)如何增長(zhǎng)，內(nèi)部的數(shù)據(jù)需求始終處于一個(gè)收斂狀態(tài)，收斂到數(shù)據(jù)管理系統(tǒng)和指標(biāo)管理系統(tǒng)上，日常通過(guò)完善數(shù)據(jù)管理和指標(biāo)管理，可以滿足大部分的數(shù)據(jù)需求，不會(huì)讓數(shù)據(jù)平臺(tái)提供的服務(wù)因?yàn)闃I(yè)務(wù)的增長(zhǎng)造成人員的堆疊，還有技術(shù)方案的不滿足。

在架構(gòu)搭建過(guò)程中，他們遇到了哪些難點(diǎn)?

趙老師談到他們遇到的架構(gòu)搭建難點(diǎn)還是來(lái)自業(yè)務(wù)增長(zhǎng)太快的壓力，面對(duì)每天高頻次的訪問(wèn)量，他們集群的規(guī)模相對(duì)顯得較小，這樣容易造成計(jì)算任務(wù)擁塞、堆疊，出現(xiàn)處理不及時(shí)的現(xiàn)象。他們的應(yīng)對(duì)方式是采取資源隔離，把相關(guān)較高級(jí)別的任務(wù)放在高級(jí)別任務(wù)的隊(duì)列上，把低級(jí)別的任務(wù)放到低級(jí)別的隊(duì)列上，通過(guò)這種分隊(duì)列的處理方式來(lái)滿足業(yè)務(wù)增長(zhǎng)的需求，實(shí)現(xiàn)以相對(duì)少的硬件資源滿足更多的業(yè)務(wù)需求。

未來(lái)1到2年，他們?nèi)绾螐能浻布蠞M足業(yè)務(wù)的發(fā)展需求?

為了應(yīng)對(duì)軟件方面的挑戰(zhàn)，鏈家網(wǎng)正在打造一個(gè)API服務(wù)，需要完成一站式元數(shù)據(jù)管理系統(tǒng)和指標(biāo)管理系統(tǒng)。在硬件方面，鏈家網(wǎng)面臨集群的擴(kuò)容問(wèn)題如何更好地跟進(jìn)業(yè)務(wù)的增長(zhǎng)速度，他們已經(jīng)準(zhǔn)備實(shí)施云混合的技術(shù)，比如使用亞馬遜的云、使用阿里的云，包括鏈家自己的IDC，其中阿里云和亞馬遜云有一個(gè)比較好的優(yōu)勢(shì)，就是能夠非常快速的擴(kuò)容。相信鏈家在未來(lái)會(huì)給用戶帶來(lái)更多驚喜!

【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文作者和出處為51CTO.com】