[[212048]]

【51CTO.com原創(chuàng)稿件】11 月 18 日，北京西紅門鎮(zhèn)新建二村“聚福緣公寓”突發(fā)火災(zāi)。火災(zāi)后，隨之而來的是一場全北京市的“安全隱患大排查大清理大整治”風(fēng)暴。

聚集著幾萬外來務(wù)工人員的新建村在幾天之內(nèi)被清理一空。很多人正面臨著要重新找房子或是離開北京的問題。

違建的公寓正在消失，危房出租正在被拆，這些被“風(fēng)暴”涉及到的外來上班族怎么辦？只有接受現(xiàn)實(shí)，勇敢面對。

為了生存，為了能留在帝都，為了改變?nèi)松⒊鋈祟^地，再貴的房子他們都要租，或者他們可以再尋找一處稍遠(yuǎn)點(diǎn)的房子。

租房的煩惱，相信大家或多或少都有過。獨(dú)自一人在大都市打拼，找個(gè)溫暖的小窩實(shí)屬不易，租個(gè)稱心又價(jià)格公道的房子是件重要的事兒。

站在技術(shù)人的角度，今天我就如何從各大租房網(wǎng)的房源里面，找到最稱心如意的小窩做些分享，供大家參考。

在找房子的過程中我們最關(guān)心是價(jià)格和通勤距離這兩個(gè)因素。關(guān)于價(jià)格方面，現(xiàn)在很多租房網(wǎng)站都有，但是這些租房網(wǎng)站上沒有關(guān)于通勤距離的衡量。

對于我這種對帝都不是很熟的人，對各個(gè)區(qū)域的位置更是一臉懵逼。所以我就想著能不能自己計(jì)算距離呢，后來查了查還真可以。

實(shí)現(xiàn)思路就是：先抓取房源信息，然后獲取房源的經(jīng)緯度，***根據(jù)經(jīng)緯度計(jì)算公司與具體房源之間的距離。

我們在獲取經(jīng)緯度之前，首先需要獲取各個(gè)出租房所在地的名稱，這里獲取的方法是用爬蟲爬取鏈家網(wǎng)上的信息。

Xpath 介紹

在爬取鏈家網(wǎng)的信息的時(shí)候用的是 Xpath 庫，這里對 Xpath 庫做一個(gè)簡單的介紹。

Xpath 是什么

Xpath 是一門在 XML 文檔中查找信息的語言。Xpath 可用來在 XML 文檔中對元素和屬性進(jìn)行遍歷。

Xpath 在查找信息的時(shí)候，需要先對 requests.get() 得到的內(nèi)容進(jìn)行解析，這里是用 lxml 庫中的 etree.HTML(html) 進(jìn)行解析得到一個(gè)對象 dom_tree，然后利用 dom_tree.Xpath() 方法獲取對應(yīng)的信息。

Xpath 怎么用

Xpath 最常用的幾個(gè)符號就是“/”、“//”這兩個(gè)符號，“/”表示該標(biāo)簽的直接子節(jié)點(diǎn)，就比如說一個(gè)人的眾多子女，而“//”表示該標(biāo)簽的后代，就比如說是一個(gè)人的眾多后代(包括兒女、外甥、孫子之類的輩分)。

更多詳細(xì)內(nèi)容這里就不 Ctrl C/V了。

數(shù)據(jù)抓取

我們本次抓取數(shù)據(jù)的流程是先獲得目標(biāo)網(wǎng)頁 url，然后利用 requests.get() 獲得 html，然后再利用 lxml 庫中的 etree.HTML(html) 進(jìn)行解析得到一個(gè)對象 dom_tree，然后利用 dom_tree.Xpath() 方法獲取對應(yīng)的信息。

先分析目標(biāo)網(wǎng)頁 url 的構(gòu)造，鏈家網(wǎng)的 url 構(gòu)造還是很簡單的，頁碼就是 pg 后面的數(shù)字，在租房這個(gè)欄目下一共有 100 頁，所以我們循環(huán) 100 次就好啦。

還有就是明確我們要獲取的信息，在前面我們說了目標(biāo)是要研究公司附近的出租房信息，但是我們在租房的時(shí)候也不是僅僅考慮距離這一個(gè)因素。

這里我準(zhǔn)備獲取標(biāo)題、價(jià)格、區(qū)域(大概在哪一塊)、看房人數(shù)（說明該房的受歡迎程度），樓層情況（高樓層還是低樓層），房租建筑時(shí)間等等。（就是你能看到的信息差不多都要弄下來哈哈）。

開始代碼部分：

#導(dǎo)入相關(guān)庫 
from lxml import etree 
import requests 
from requests.exceptions import ConnectionError 
import pandas as pd 
#獲取目標(biāo)網(wǎng)頁的url 
def get_page_index(): 
    base="https://bj.lianjia.com/zufang/pg" 
    for i in range(1,101,1): 
        url=base+str(i)+"/" 
        yield url#yield為列表生成器 

得到目標(biāo)網(wǎng)頁的 url 后，對其進(jìn)行解析，采用的方法是先用 lxml 庫的 etree 對 response 部分進(jìn)行解析，然后利用 Xpath 進(jìn)行信息獲取。

#請求目標(biāo)網(wǎng)頁，得到response 
def get_page_detail(url): 
    try: 
        response=requests.get(url) 
        if response.status_code==200: 
            return etree.HTML(response.content.decode("utf-8")) 
            #lxml.etree.HTML處理網(wǎng)頁源代碼會(huì)默認(rèn)修改編碼 
        return None 
    except ConnectionError: 
        print ("Error occured") 
        return None 

#解析目標(biāo)網(wǎng)頁 
#title為房屋標(biāo)題；name為小區(qū)名稱；catogery為房屋類別(幾室?guī)讖d) 
#size為房屋大小；region為區(qū)域；PV為看房人數(shù)； 
#second_feature為高低樓層；third_feature為房屋建筑時(shí)間 
def parse_page_detail(dom_tree): 
    try: 
        title=dom_tree.xpath('//li/div[2]/h2/a/text()') 
        name=dom_tree.xpath('//li/div[2]//div/a/span/text()') 
        catogery=dom_tree.xpath('//li/div[2]//div//span[1]//span/text()') 
        size=dom_tree.xpath('//li/div[2]//div//span[2]/text()') 
        region=dom_tree.xpath('//li/div[2]//div[1]//div[2]//div/a/text()') 
        PV=dom_tree.xpath("//li/div[2]//div[3]//span[@class='num']/text()") 
        price=dom_tree.xpath("//li/div[2]//div[2]//span[@class='num']/text()") 
        date=dom_tree.xpath("//li/div[2]//div[2]//div[@class='price-pre']/text()") 
        first_feature=dom_tree.xpath('//li/div[2]//div[1]//div[3]//span[@class="fang-subway-ex"]/span/text()') 
        other=dom_tree.xpath('//li/div[2]//div[1]//div[2]//div/text()') 
        name1=[] 
        catogery1=[] 
        size1=[] 
        second_feature=[] 
        third_feature=[] 
        for n in name: 
            name2=n[0:-2] 
            name1.append(name2) 
        for c in catogery: 
            catogery2=c[0:-2] 
            catogery1.append(catogery2) 
        for s in range(0,59,2): 
            size2=size[s][0:-2] 
            size1.append(size2) 
            second_feature1=other[s] 
            second_feature.append(second_feature1) 
        for m in range(1,60,2): 
            third_feature1=other[m] 
            third_feature.append(third_feature1) 
        return { 
            "title":title, 
            "name":name1, 
            "catogery":catogery1, 
            "size":size1, 
            "region":region, 
            "price":price, 
            "PV":PV, 
            "second_feature":second_feature, 
            "third_feature":third_feature, 
            "other":other       
        } 
    except: 
        pass 

#對獲得目標(biāo)內(nèi)容進(jìn)行整理導(dǎo)出 
#建立一個(gè)空的DataFrame 
df1=pd.DataFrame(columns=["title","name","catogery", "size","region","price","PV", 
        "second_feature","third_feature","other" ]) 
i=0 
if __name__=="__main__": 
    urls=get_page_index() 
for url in urls: 
    dom_tree=get_page_detail(url) 
    result=parse_page_detail(dom_tree) 
    df2=pd.DataFrame(result) 
    df1=df1.append(df2,ignore_index=False,verify_integrity=False) 
    i=i+1 
    print(i) #打印出目前爬取的頁數(shù)   
#保存數(shù)據(jù)到本地 
df1.to_csv("D:\\Data-Science\\Exercisedata\\lianjia\\result.csv")

df1.info#打印出爬蟲結(jié)果的基本信息  

通過上圖可以看出，我們一共抓取到 2970 條房屋信息，9columns。

df1.head(3)#預(yù)覽前3行 

經(jīng)緯度的獲取

我們剛剛只是獲取了一些出租房的基本信息，但是我們要想計(jì)算距離還需要獲得這些出租房所在的地理位置，即經(jīng)緯度信息。

這里的經(jīng)緯度是獲取的區(qū)域?qū)蛹壍模创蟾艑儆谀囊粋€(gè)片區(qū)，本次爬取的 2970 條房屋信息分布在北京的 208 個(gè)區(qū)域/區(qū)域。

關(guān)于如何獲取對應(yīng)地點(diǎn)的經(jīng)緯度信息，這里利用的 XGeocoding_v2 工具：

獲取經(jīng)緯度信息的地址如下：http://www.gpsspg.com/maps.htm

得到如下的結(jié)果(LATB 表示維度，LNGB 表示經(jīng)度)：

距離的計(jì)算

#經(jīng)緯度的計(jì)算函數(shù) 
# input Lat_A 緯度A 
# input Lng_A 經(jīng)度A 
# input Lat_B 緯度B 
# input Lng_B 經(jīng)度B 
# output distance 距離(km) 
def calcDistance(Lat_A, Lng_A, Lat_B, Lng_B): 
    ra = 6378.140  # 赤道半徑 (km) 
    rb = 6356.755  # 極半徑 (km) 
    flatten = (ra - rb) / ra  # 地球扁率 
    rad_lat_A = radians(Lat_A) 
    rad_lng_A = radians(Lng_A) 
    rad_lat_B = radians(Lat_B) 
    rad_lng_B = radians(Lng_B) 
    pA = atan(rb / ra * tan(rad_lat_A)) 
    pB = atan(rb / ra * tan(rad_lat_B)) 
    xx = acos(sin(pA) * sin(pB) + cos(pA) * cos(pB) * cos(rad_lng_A - rad_lng_B)) 
    c1 = (sin(xx) - xx) * (sin(pA) + sin(pB)) ** 2 / cos(xx / 2) ** 2 
    c2 = (sin(xx) + xx) * (sin(pA) - sin(pB)) ** 2 / sin(xx / 2) ** 2 
    dr = flatten / 8 * (c1 - c2) 
    distance = ra * (xx + dr) 
    return distance 

#具體的計(jì)算 
#Lat_A,Lng_A為你公司地址，這里以望京為例， 
#你可以輸入你公司所在地 
Lat_A=40.0011422082; Lng_A=116.4871328088 
Distance0=[]#用于存放各個(gè)區(qū)域到公司的距離 
region=[] 
for r in range(0,208,1): 
    Lat_B=df3.loc[r][1];Lng_B=df3.loc[r][2] 
    distance=calcDistance(Lat_A, Lng_A, Lat_B, Lng_B) 
    Distance1='{0:10.3f} km'.format(distance) 
    region0=df3.loc[r][0] 
    Distance0.append(Distance1);region.append(region0) 
date={"region":region,"Distance":Distance0}     
Distance_result=pd.DataFrame(date,columns=["region","Distance"]) 

***將距離以及區(qū)域與對應(yīng)的小區(qū)拼接在一起，得到下面的結(jié)果。

進(jìn)一步分析

#導(dǎo)入相關(guān)庫 
% matplotlib inline 
import pandas as pd 
import numpy as np 
import matplotlib.pyplot as plt 
plt.style.use("ggplot") 
#導(dǎo)入合并后的文件 
df=pd.read_csv("D:\\Data-Science\\Exercisedata\\lianjia\\lianjia-rental.csv",encoding="gbk",index_col="name") 
df.head() 

df.info() 

通過 df.info() 可以看出，總共有 2454 條數(shù)據(jù)，這是在爬蟲獲取的 2970 條數(shù)據(jù)去重以后得到的。

在這些項(xiàng)中，size（房屋面積）、second_feature 以及 third_feature 均帶有單位，為了后續(xù)分析方便，這里統(tǒng)一進(jìn)行去單位（后綴）操作。

df["size"]=[i[0:-2] for i in df["size"]]  
df["Distance"]=[i[0:-2] for i in df["Distance"]]  
df["second_feature"]=[i[0:3] for i in df["second_feature"]]  
df["third_feature"]=[i[0:4] for i in df["third_feature"]]  
df.head() 

df.info()  

我們把后綴去掉了，Size、third_feature 和 Distance 看上去是數(shù)字，但是通過 df.info() 看出，這兩個(gè)指標(biāo)類型依然是 Object。為了進(jìn)一步分析，我們要對它們繼續(xù)進(jìn)行處理。

df["size"]=df["size"].astype(np.int32)  
df["Distance"]=df["Distance"].astype(np.float64)  
df["price"]=df["price"].astype(np.int32)  
df["third_feature"]=df["third_feature"].astype(np.int32)  
df.info()   

再次通過 df.info() 看出，該是數(shù)字類型的指標(biāo)全部變成了 int/float 了，可以進(jìn)行下一步了。

在文章剛開頭就說過，一般租房最看重的兩個(gè)因素就是距離&價(jià)格，價(jià)格可以直接在那些租房網(wǎng)上看到，肯定是越低越好，沒啥好說的。

主要是距離，關(guān)于距離，有兩種選擇方式，一種是先選出離你上班地最近的幾個(gè)區(qū)域，然后再在該區(qū)域內(nèi)具體選擇；另一個(gè)是可以設(shè)定你可以接受的通勤距離，然后以這個(gè)距離作為條件，在小于等于這個(gè)距離內(nèi)進(jìn)行篩選。

我們這里著重以***種為主，先選擇距離最近的幾個(gè)區(qū)域，然后在這幾個(gè)區(qū)域內(nèi)進(jìn)行選擇。

因?yàn)榫嚯x是按 Region 來進(jìn)行計(jì)算的，而表是按 Name 來統(tǒng)計(jì)的，所以要想計(jì)算出距離最近的 Region，需要先把 Region 和 Distance 部分提取出來，并合并成一個(gè) DataFrame。

region=list(df.region) 
Distance=list(df.Distance) 
Distance_result_data={"region":region,"Distance":Distance} 
Distance_result=pd.DataFrame(Distance_result_data) 
Distance_result1=Distance_result.drop_duplicates() 
Distance_result1.head() 

#距離最近的Top10區(qū)域 
Distance_result1.sort_values(by="Distance").head(10) 

#對位置進(jìn)行可視化 
top_region=Distance_result1.sort_values(by="Distance").head(10).region 
top_Distance=Distance_result1.sort_values(by="Distance").head(10).Distance 
 
#繪制雷達(dá)圖 
labels = np.array(top_region)#標(biāo)簽 
dataLenth = 10#數(shù)據(jù)個(gè)數(shù) 
data = np.array(top_Distance)#數(shù)據(jù) 
 
angles = np.linspace(0, 2*np.pi, dataLenth, endpoint=False) 
data = np.concatenate((data, [data[0]])) # 閉合 
angles = np.concatenate((angles, [angles[0]])) # 閉合 
 
fig = plt.figure() 
ax = fig.add_subplot(111, polar=True)# polar參數(shù)！！ 
ax.plot(angles, data, 'ro-', linewidth=2)# 畫線 
#ax.fill(angles, data, facecolor='r', alpha=0.25)# 填充 
ax.set_thetagrids(angles * 180/np.pi, labels, fontproperties="SimHei") 
ax.set_title("距離望京最近的十個(gè)區(qū)域", va='bottom', fontproperties="SimHei") 
ax.set_rlim(0,6) 
ax.grid(True) 
plt.show() 

可以看到，Region=“望京”距離最近，所以我們重點(diǎn)在該區(qū)域內(nèi)選擇，接下來具體看看該區(qū)域內(nèi)租房情況。

Top1=df[df.region=="望京租房"]#將望京的租房信息篩選出來 
Top1.info() 

通過上表可以看到在望京區(qū)域總共有 101 套房源，接下來對這 101 套房源進(jìn)行深入分析。

plt.subplot(131) 
ax1=Top1.boxplot("price") 
ax1.set_ylim(0,90000) 
plt.subplot(132) 
ax2=Top1.boxplot("size") 
ax2.set_ylim(0,270) 
plt.subplot(133) 
ax3=Top1.boxplot("PV") 
ax3.set_ylim(-5,100) 

數(shù)據(jù)概覽，先對該區(qū)域的租房整體情況有個(gè)認(rèn)識，看到 Price 指標(biāo)的下界為 5000 左右，上界接近于 30000，中位數(shù)為 10000 出頭（有沒有感覺到好貴哈哈哈哈），但是我們也看到有一個(gè)大于 80000 的超級異常值，我們利用截尾均值對他進(jìn)行替代。

關(guān)于房屋大小，中位數(shù)為 100 平，這與 Price 中位數(shù)正好可以對應(yīng)，折算下來相當(dāng)于 1 平 100 大洋，在與那些 10 平左右的合租房需要 2000+ 大洋比一比，是不是覺得還是 100 平 10000 大洋便宜哈。

所以論一平米的價(jià)格的話還是整租更便宜。

先找出那個(gè)大于 80000 的異常值具體值是多少，然后進(jìn)行值替換。

Top1[Top1.price>80000]#通過圖表可以看出，異常值是大于80000，但是看不到具體是多少 

#值替換 
from scipy import stats 
Top1.price.replace(83000,stats.trim_mean(Top1.price,0.1),inplace=True) 

Top1.boxplot("price") 

這是將 Price 異常值處理以后得到的箱型圖，看起來就比較規(guī)范了哈。

plt.rcParams["font.sans-serif"]='SimHei' 
plt.subplot(311) 
grouped=Top1.groupby("second_feature")["price"] 
ax4=grouped.count().plot.bar() 
plt.subplot(312) 
grouped2=Top1.groupby("third_feature")["price"] 
ax5=grouped2.count().plot.bar() 
plt.subplot(313) 
grouped3=Top1.groupby("catogery")["price"] 
ax6=grouped3.count().plot.bar() 
plt.tight_layout() 

通過上圖可以看出：中樓層和高樓層的房源絕對數(shù)量基本持平，高出低樓層數(shù)量一半。

房屋修建時(shí)間也是 2003 年以后的居多，這就和前面的樓層類型可以對應(yīng)上了，在剛開始的時(shí)候（2003 年以前）大部分房子都是低樓層，隨著時(shí)代的進(jìn)步，科技的發(fā)展，人員的增多，樓層的數(shù)量和房屋的數(shù)量也隨之增加。

房屋類型上的 Top3 類型分別為：2 室 1 廳、3 室 2 廳和 1 室 1 廳。

#房屋修建時(shí)間與價(jià)格的散點(diǎn)圖 
Top1.plot.scatter(x="third_feature",y="price") 

通過上圖可以看出，隨著時(shí)間的推移，2003 年以后的房子的 Price 要明顯高于 2003 年以前的，如果要是對價(jià)格比較敏感，可以考慮 2003 年以前的房子。

Top1.boxplot(column=["price"],by="catogery") 
plt.tight_layout() 

隨著房屋類型的升級，價(jià)格也是隨之升高，但是我們也發(fā)現(xiàn)，有一些三室房子的價(jià)格（下邊界）要低于兩室的價(jià)格的，如果對房間數(shù)量和價(jià)格都有要求的可以考慮這部分房源。

Top1.boxplot(column=["price"],by="second_feature") 

通過上圖可以看到三個(gè)樓層的價(jià)格下界基本持平，但是中樓層的中位數(shù)和上界價(jià)格是要明顯高于其他兩個(gè)房型的，這也很正常，中樓層相比于其他兩個(gè)樓層的房屋是最宜居的啦，價(jià)格貴也正常。

當(dāng)然了，對于現(xiàn)在租房都很困難的環(huán)境下，哪還考慮什么宜居，當(dāng)然是挑價(jià)格低的房型。

Top1_PV=Top1.sort_values(by="PV",ascending=False).head(20) 
Top1_PV.head() 

按 PV 進(jìn)行降序，我們可以看出哪些房源是比較受歡迎，這些房源都有啥特征。

plt.rcParams["font.sans-serif"]='SimHei' 
plt.subplot(311) 
grouped4=Top1_PV.groupby("second_feature")["price"] 
ax7=grouped4.count().plot.bar() 
plt.subplot(312) 
grouped5=Top1_PV.groupby("third_feature")["price"] 
ax8=grouped5.count().plot.bar() 
plt.subplot(313) 
grouped6=Top1_PV.groupby("catogery")["price"] 
ax9=grouped6.count().plot.bar() 
plt.subplots_adjust(left=0.2,right=1.0,top=1.6,bottom=0.2,hspace=0.5) 

Top1_PV.plot.scatter(y="PV",x="price") 

從圖中可以看到，低樓層的房源數(shù)量不是最多的，但是看房次數(shù)卻是最多的（***的），可能是低樓層價(jià)格低的原因吧。

2003 年和 2007 的房源 PV ***，這和該年代的房源絕對數(shù)量基本維持一致；兩室一廳的戶型最為火爆；在價(jià)格方面 10000 以下的房源比較受歡迎。

Top1_PV.plot.scatter(y="PV",x="price") 

結(jié)論

通過上面的分析我們可以得出一些參考：

• 2003 年以前的房源的價(jià)格是要低于 2003 年之后的，對價(jià)格敏感的可以考慮 2003 年以前的房源。
• 有一些三室的房子價(jià)格是低于兩室的，如果對房間數(shù)量和價(jià)格都有要求的可以考慮這部分。
• 中樓層的價(jià)格整體上是要高于低樓層的，但是還有一部分是要比低樓層低，而且通過從 PV ***的樓層來看，低樓層的火爆程度要比中樓層高，所以可以尋找那些不那么火爆但是價(jià)格還低的中樓層。
• 如果希望單位面積價(jià)格***，還是整租比較合適。

注：本次的數(shù)據(jù)為鏈家網(wǎng)的整租房源信息，非合租信息，所以你會(huì)看到價(jià)格都很高。

[[212051]]

張俊紅，中國統(tǒng)計(jì)網(wǎng)專欄作者，個(gè)人公眾號ID：zhangjunhong0428，數(shù)據(jù)分析路上的學(xué)習(xí)者與實(shí)踐者，與你分享我的所見、所學(xué)、所想。

【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請注明原文作者和出處為51CTO.com】