[[411117]]

Hello，大家好。我叫“小屁孩i”。

前言

不知道大伙有沒(méi)有看到過(guò)這一句話：“中國(guó)(疫苗研發(fā))非常困難，因?yàn)樵谥袊?guó)我們沒(méi)有辦法做第三期臨床試驗(yàn)，因?yàn)闆](méi)有病人了。”這句話是中國(guó)工程院院士鐘南山在上海科技大學(xué)2021屆畢業(yè)典禮上提出的。這句話在全網(wǎng)流傳，被廣大網(wǎng)友稱之為“凡爾賽”發(fā)言。

今天讓我們用數(shù)據(jù)來(lái)看看這句話是不是“凡爾賽”本賽。在開(kāi)始之前我們先來(lái)說(shuō)說(shuō)今天要用到的python庫(kù)吧!

1.數(shù)據(jù)獲取部分

requests lxml json openpyxl 

2.數(shù)據(jù)可視化部分

pandas pyecharts(可視化庫(kù)) 

以上的庫(kù)都可以通過(guò)在線下載：

pip instll xx 

ps：如果下載速度太慢的話也可以用國(guó)內(nèi)鏡像，使用命令，例如：

pip install xx(庫(kù)名) -i https://pypi.tuna.tsinghua.edu.cn/simple gevent(清華鏡像) 

現(xiàn)在一起進(jìn)入今天的代碼部分吧!!!

數(shù)據(jù)獲取

目標(biāo)地址：

https://voice.baidu.com/act/newpneumonia/newpneumonia

進(jìn)入目標(biāo)地址我們可以看到如下所示：

現(xiàn)在讓我們一起去解析網(wǎng)頁(yè)結(jié)構(gòu)找到我們要爬取到的數(shù)據(jù)如下所示：

現(xiàn)在我們找到想要的頁(yè)面數(shù)據(jù)接下來(lái)就是通過(guò)Python來(lái)獲取這些數(shù)據(jù)了，上代碼：

import requests 
from lxml import etree 
import json 
import openpyxl 
 
#通用爬蟲(chóng) 
url = 'https://voice.baidu.com/act/newpneumonia/newpneumonia' 
headers = { 
    "User-Agent": ".....(換成自己的)" 
} 
response = requests.get(url=url,headers=headers).text 
#在使用xpath的時(shí)候要用樹(shù)形態(tài) 
html = etree.HTML(response) 
#用xpath來(lái)獲取我們之前找到的頁(yè)面json數(shù)據(jù)  并打印看看 
json_text = html.xpath('//script[@type="application/json"]/text()') 
json_text = json_text[0] 
# print(json_text) 

之后我們來(lái)解析一下json數(shù)據(jù)，上代碼：

#用python本地自帶的庫(kù)轉(zhuǎn)換一下json數(shù)據(jù) 
result = json.loads(json_text) 
# print(result) 
#通過(guò)打印出轉(zhuǎn)換的對(duì)象我們可以看到我們要的數(shù)據(jù)都要key為component對(duì)應(yīng)的值之下  所以現(xiàn)在我們將值拿出來(lái) 
result = result["component"] 
#再次打印看看結(jié)果 
# print(result) 
# 獲取國(guó)內(nèi)當(dāng)前數(shù)據(jù) 
result = result[0]['caseList'] 
# print(result) 

接著我們將獲取到的數(shù)據(jù)保存到excel中，上代碼:

# 創(chuàng)建工作簿 
wb = openpyxl.Workbook() 
# 創(chuàng)建工作表 
ws = wb.active 
# 設(shè)置表的標(biāo)題 
ws.title = "國(guó)內(nèi)疫情" 
# 寫(xiě)入表頭 
ws.append(["省份","累計(jì)確診","死亡","治愈"]) 
#獲取各省份的數(shù)據(jù)并寫(xiě)入 
for line in result: 
    line_name = [line["area"],line["confirmed"],line["died"],line["crued"]] 
    for ele in line_name: 
        if ele == '': 
            ele = 0 
    ws.append(line_name) 
#保存到excel中 
wb.save('./china.xlsx') 

最后我們查看一下獲取到的數(shù)據(jù)是什么樣的，如圖：

emmmm，終于我們把數(shù)據(jù)獲取部分完成了，第二部分的數(shù)據(jù)可視化來(lái)了!!!

數(shù)據(jù)可視化

這次我們用到的庫(kù)是pyecharts里面的Map，我們先展示一下本次可視化用到的庫(kù)

#可視化部分 
import pandas  as pd 
from pyecharts.charts import Map,Page 
from pyecharts import options as opts 

首先我們要先通過(guò)pandas庫(kù)來(lái)獲取到剛才我們爬取到的數(shù)據(jù)，上代碼：

# 設(shè)置列對(duì)齊 
pd.set_option('display.unicode.ambiguous_as_wide', True) 
pd.set_option('display.unicode.east_asian_width', True) 
# 打開(kāi)文件 
df = pd.read_excel('china.xlsx') 
# 對(duì)省份進(jìn)行統(tǒng)計(jì) 
data2 = df['省份'] 
data2_list = list(data2) 
data3 = df['累計(jì)確診'] 
data3_list = list(data3) 
data4 = df['死亡'] 
data4_list = list(data4) 
data5 = df ['治愈'] 
data5_list = list(data5) 

接著我們來(lái)做數(shù)據(jù)可視化，將在我國(guó)地圖上的各個(gè)省份顯示出對(duì)應(yīng)的數(shù)值

我們以疫情發(fā)生以來(lái)治愈數(shù)為例，上代碼：

c = ( 
    Map() 
        .add("治愈", [list(z) for z in zip(data2_list, data5_list)], "china") 
        .set_global_opts( 
        title_opts=opts.TitleOpts(), 
        visualmap_opts=opts.VisualMapOpts(max_=200), 
    ) 
) 
c.render() 

當(dāng)然僅僅一個(gè)治愈情況當(dāng)然說(shuō)明不了什么，所以我們將三種情況都以這種形式顯示出來(lái)，上代碼：

a = ( 
    Map() 
        .add("累計(jì)確診", [list(z) for z in zip(data2_list, data3_list)], "china") 
        .set_global_opts( 
        title_opts=opts.TitleOpts(), 
        visualmap_opts=opts.VisualMapOpts(max_=200), 
    ) 
) 
 
b = ( 
    Map() 
        .add("死亡", [list(z) for z in zip(data2_list, data4_list)], "china") 
        .set_global_opts( 
        title_opts=opts.TitleOpts(), 
        visualmap_opts=opts.VisualMapOpts(max_=200), 
    ) 
) 
 
c = ( 
    Map() 
        .add("治愈", [list(z) for z in zip(data2_list, data5_list)], "china") 
        .set_global_opts( 
        title_opts=opts.TitleOpts(), 
        visualmap_opts=opts.VisualMapOpts(max_=200), 
    ) 
) 
 
page = Page(layout=Page.DraggablePageLayout) 
page.add( 
    a, 
    b, 
    c, 
) 
# 先生成render.html文件 
page.render() 

當(dāng)然如果是直接運(yùn)行代碼的話展現(xiàn)出來(lái)的地圖不是這樣的，這個(gè)是通過(guò)后期的排版來(lái)完成的。那么在最后我們來(lái)說(shuō)說(shuō)是怎么排版的吧。

首先你先將上面的代碼運(yùn)行之后會(huì)產(chǎn)生一個(gè)render.html的文件然后你打開(kāi)文件之后可以調(diào)整整個(gè)頁(yè)面的布局，根據(jù)自己的喜歡來(lái)調(diào)整，接著點(diǎn)擊左上角的“Save Config”將這個(gè)json文件保存到跟render.html這個(gè)文件同一個(gè)路徑之下，最后運(yùn)行一下代碼：

#完成上一步之后把 page.render()這行注釋掉 
# 然后循行這下面 
Page.save_resize_html("render.html", 
    cfg_file="chart_config.json", 
    dest="my_test.html") 

這樣以后會(huì)產(chǎn)生一個(gè)my_test.html這個(gè)文件就是我們上面展示的那樣啦。

結(jié)束語(yǔ)

以上就是我們這次的結(jié)果。從數(shù)據(jù)的獲取到數(shù)據(jù)可視化，怎么說(shuō)呢pyecharts還具有其他強(qiáng)大的可視化功能。