[[403715]]

本文轉載自微信公眾號「數據STUDIO」，作者云朵君。轉載本文請聯系數據STUDIO公眾號。

最近經常收到人事小姐姐和獵頭小哥哥的面試邀請，想想最近也不是招聘旺季呀。但又想到許多小伙伴們有找工作這方面的需求，今天就來分享一篇簡單的爬蟲案例，旨在跟大家一起分析一下部分招聘市場。以"數據分析"為例。

需要用到的模塊

import requests 
import time 
import random 
import os 
import requests 
from bs4 import BeautifulSoup 
import openpyxl 
import numpy as np 

爬蟲代碼

本次爬蟲難度不大，屬于入門級別的，只要懂得requests請求，BeautifulSoup解析即可輕松上手，下面是本次爬蟲的主要代碼。

def getPosition(url): 
    times=time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()) 
    print(u'\n本地時間：',times) 
    print(u'\n開始采集數據...') 
    # 請求獲取返回值 
    data = getData(url) 
    # BeautifulSoup解析網頁 
    soup = BeautifulSoup(data.text, features='lxml')  # 對html進行解析，完成初始化 
    results = soup.find_all(attrs={'class': "job-list"}) 
    job_list =  results[0].find_all(attrs={'class': "job-primary"}) 
    lens = len(job_list) 
    for num in range(lens): 
        positions = [] 
        job = job_list[num] 
        # 根據節點查詢相應數據 
        positions.extend(job.find_all(attrs={'class': "job-title"})[0].text.split()) 
        positions.append(job.find_all(attrs={'class': "job-limit"})[0].text.split()[0]) 
        job_limit = job.find_all(attrs={'class': "job-limit"})[0] 
        positions.extend(str(job_limit.p).rstrip('</p>').lstrip('<p>').split('<em class="vline"></em>')) 
        positions.append(job.find_all(attrs={'class': "company-text"})[0].text.split()[0]) 
        company = job.find_all(attrs={'class': "company-text"})[0].p 
        positions.extend(company.a.text.split()) 
        positions.extend(str(company).rstrip('</p>').split('<em class="vline"></em>')[1:]) 
        positions.extend(job.find_all(attrs={'class': "info-desc"})[0].text.split()) 
        positions.append(','.join(job.find_all(attrs={'class': "tags"})[0].text.split())) 
        write_to_excel(positions) 

數據結果

獲取到數據之后，需要對原始數據進行一些簡單的清洗工作。清洗前需要先思考下你需要獲取哪些信息，有針對性的清洗。

一探究竟

本次可視化分析工具是 Pyecharts

從技能標簽找學習方向

將所有公司的技能標簽統計后，繪制前十的技能需求直方圖。從圖中很明顯地看到遙遙領先的分別是Python、SQL，數據分析思維及能力及Excel也緊跟其后。像小編做的數據挖掘技能需求量也不小。

似乎在數據分析職位中，Pythoner和SQL boy都是非常搶手的。

哪些城市的數分崗位更熱門

由全國地理圖可看的出，北上廣深加蘇州、廈門、杭州等都是很熱門的城市，你會選擇哪個城市?

全國都有哪些公司招聘數分職位

以公司名稱的大小來表示各個公司招聘職位數，繪制招聘公司詞云圖。很明顯地看的出如騰訊、阿里、OPPO、Boss等大廠需求量較大，因此機會也多。所以大家學好數據分析，進入大廠不是夢。

談錢不傷感情

大家最關心的還是一個職位能給到我多少錢，比較還要養家糊口。

從全國各城市平均薪資排行榜看，遙遙領先的是北京、深圳、上海和杭州，分別是23K、19.7K、18.6K和18.5K。而小編所在的城市——成都，只有9K。文章不想寫了，我想靜靜。。。

看完各城市平均薪資，再來瞧瞧各個行業的平均薪資吧。人力資源服務及銀行這兩個行業均超過了20K。

首先隨機查看一個人力資源服務的，這類職位多為商業數據分析，該職位的特點是高學歷是硬性，但對于工具使用要求不高，只需熟練使用EXCEL即可，需要些管理經驗。

再看看銀行行業，薪資水平真香!雖然沒有說學歷要求，但可能是一個默認的情況吧。職位描述中多次提及到業務數據，說明他對業務要求較高。需要會SQL語句，需要會搭建數據分析模型，這類模型不一定是機器學習模型，也會有很多統計類、數學類模型等等。

為啥北京公司的工資高

單獨分析下北京的數據分析公司情況，公司規模在1000-9999人占比第一，達到37.2%，10000人以上的公司也高達22.87%，都是些大廠，工資水平能不高么。

有人說，公司人多，不一定有錢吶。好嘛，再來看看他們公司的融資階段情況呢。D輪及以上上市的公司已經接近一半了，多半都是有錢的主哇。

成都數據分析公司啥情況

占比最多的是20-99人的小型公司，規模在1000-9999人的公司僅有34家，跟首都簡直不能比。所以成都平均公司水平不過萬，也是有原因的。

再來看看公司融資情況，大部分都是未融資的，上市公司僅占12.75%，D輪及以上的也只有5.39%吶。但從另一個角度想想，成都的發展潛力還是很大的。作為西南的重要樞紐城市，相信他會越來越棒的。

你還有啥想了解的——福利吶

最后再來看看大家比較關心的公司福利狀況。

通過繪制福利詞云圖，看到大部分公司的常見福利都還是有的。意外的是少部分公司有提供不一樣的福利，如無息住房借款、專屬健身房、孝順金等，真讓人羨慕哇。

寫在最后

最后多說兩句。我們上面分析的內容僅是從一些常見的指標，并不能作為你入職一家公司的主要判斷依據。個人覺得還需要從一家公司的企業文化、公司發展方向、提供職位的發展空間、所處行業跟你預期是否符合等等方面綜合衡量。

打鐵還需自身硬，選擇都是雙向的，你想入職一個理想的公司，首先還是需要達到他的崗位要求。這里建議訂閱公眾號數據STUDIO，每天學習很多硬通貨，進入大廠不是夢。