這些常見的反爬蟲手段，你能攻破多少？

作者：老鄧 2022-08-17 13:30:43

開發后端

這里給大家總結出了我們在爬取數據時常見的反爬蟲手段。一起來看看吧。

在抓取對方網站、APP 應用的相關數據時，經常會遇到一系列的方法阻止爬蟲。

網站APP們這么做的原因，一是為了保證服務的質量，降低服務器負載，二是為了保護數據不被獲取。爬蟲與反爬蟲的斗爭經久不衰，

這里給大家總結出了我們在爬取數據時常見的反爬蟲手段。

1. User-Agent

網絡請求中，User-Agent 是表明身份的一種方式，網站可以通過User-Agent來判斷用戶是使用什么瀏覽器訪問。不同瀏覽器的User-Agent是不一樣的

例如，我們在windows上面的Chrome瀏覽器，它的User-Agent是：

但是如果我們使用Python的Requests直接訪問網站，除了網址不提供其他的信息，那么網站收到的User-Agent是空。

這個時候網站就知道我們不是使用瀏覽器訪問的，于是它就可以拒絕我們的訪問。

from fake_useragent import UserAgent
for i in range(1,11):
   ua = UserAgent().random
   print(f'第{i}次的ua是', ua)
'''
第1次的ua是 Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.62 Safari/537.36
第2次的ua是 Mozilla/5.0 (Windows NT 6.1; rv:21.0) Gecko/20130401 Firefox/21.0
第3次的ua是 Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_6; es-es) AppleWebKit/533.20.25 (KHTML, like Gecko) Version/5.0.4 Safari/533.20.27
第4次的ua是 Mozilla/5.0 (X11; CrOS i686 4319.74.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.57 Safari/537.36
第5次的ua是 Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_6; fr-ch) AppleWebKit/533.19.4 (KHTML, like Gecko) Version/5.0.3 Safari/533.19.4
第6次的ua是 Mozilla/5.0 (X11; OpenBSD i386) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.125 Safari/537.36
第7次的ua是 Mozilla/5.0 (X11; NetBSD) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.116 Safari/537.36
第8次的ua是 Mozilla/5.0 (X11; Linux i586; rv:31.0) Gecko/20100101 Firefox/31.0
第9次的ua是 Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; Zune 3.0)
第10次的ua是 Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.16 Safari/537.36
'''

2. Referer

HTTP Referer是header的一部分，當瀏覽器向web服務器發送請求的時候，一般會帶上Referer，表明這個網頁是從哪里跳過來的，是網頁防盜鏈的一種方式

有時也被用于反爬蟲。如果網站會檢查 Referer，請保證你的 Referer 始終是正確的（跳轉到此網頁之前的網頁 URL）。

3. Ajax

這個應該不算反爬？當網站使用 ajax 異步獲取數據時，我們是無法直接從網頁源代碼中獲取想要的數據的，這個時候要借助 Network 工具欄，分析 API 請求，然后使用 Python 模擬調用 API，直接從 API 中獲取數據。（多數都是 POST 類型的請求，也有小部分 GET 的）

當然，也可以使用 Selenium 等自動化測試工具直接渲染網頁，再從渲染后的網頁源碼中解析數據。

4. Cookie

在網站中，http的請求通常是無狀態的（第一個和服務器連接并且登錄之后，此時服務器知道是哪個用戶，但是當第二次請求服務器時，服務器依然不知道當前請求的是哪個用戶），cookie就是為了解決這個問題。

第一次登錄服務器后，服務器會返回與剛剛用戶相關的數據（也就是cookie）給瀏覽器，瀏覽器將cookie保存在本地，當這個用戶第二次請求服務器時，就會把上次存儲的cookie自動攜帶給服務器，服務器通過這個cookie就知道當前是哪個用戶。

在一些爬蟲中，我們在進入一個頁面之前需要先登錄，比如人人網，我們想要在人人網中瀏覽主頁，就要先注冊登錄，然后才能瀏覽，那么在爬蟲時，保持登錄狀態就需要在請求頭中加入cookie。

cookies是指網站為了辨別用戶身份，進行會話跟蹤而儲存在本地終端的數據，cookies一般再電腦中的文件里以文本形式儲存。cookies其實是有鍵值對組成的，如下圖所示：

5. 驗證碼

驗證碼又分很多種，我們說一下比較常見的三種：字母驗證碼、拼圖驗證碼、點選式驗證碼。

字母驗證碼，就是給你一張有若干字母或數字的圖片，讓你識別出其中內容，并在文本框中輸入。比如這個：

這是最簡單的驗證碼，一般編寫深度學習模型訓練，或直接使用打碼平臺即可解決。

拼圖驗證碼，給定了一張圖片和一個滑動組件。當你拖動滑動組件時，圖片會出現缺口，拖動滑動組件，補全缺口即可過關。比類似于這種：

比較常見的做法是，通過圖片之間的對比，計算拼圖缺口的位置，然后使用特定的軌跡拖動滑塊，完成驗證。

你有兩種方法提交驗證，一是使用 Selenium 調用瀏覽器，二是直接破解 JS，使用 POST 模擬提交。

點選式的驗證碼，會給出一張小圖片（有的是圖片，有的不是，不同驗證碼平臺不一樣），上面順序顯示著幾個漢字。再給出一張大圖片，上面也有這幾個漢字，但漢字的分布是隨機的。要求你按照小圖片中漢字出現的順序，點擊大圖片中的漢字。類似于這種：

最常見的方法是借助打碼平臺計算相對坐標，然后使用 Selenium 等自動化工具按順序點擊。當然，自己訓練模型也是可行的，但比較麻煩。

對于驗證碼，可以通過OCR來識別圖片，Github上面有很多大神分享的代碼可以用，可以去看看。

簡單的OCR識別驗證碼：

from PIL import Image
import tesserocr
#tesserocr識別圖片的2種方法
img = Image.open("code.jpg")
verify_code1 = tesserocr.image_to_text(img)
#print(verify_code1)
verify_code2 = tesserocr.file_to_text("code.jpg")

6. 代理 IP 池

如果你頻繁使用同一個 IP 訪問某個網站，可能會被網站認為是惡意攻擊，進而 ban 掉你的 IP。這個時候，使用代理 IP 池就是一個很好的方案。

在一些網站服務中，除了對 user-agent 的身份信息進行檢測。

也對客戶端的 ip 地址做了限制。

如果是同一個客戶端訪問此網站服務器的次數過多就會將其識別為爬蟲。

因而，限制其客戶端 ip 的訪問。這樣的限制給我們的爬蟲帶來了麻煩，所以使用代理 ip 在爬蟲中是非常有必要的。

這里我給大家提供一下兩個網站供參考。

66代理：http://www.66ip.cn/6.html
快代理：https://www.kuaidaili.com/free/

7. 請求間隔

兩次請求之間，最好設置一定間隔。理由如下：

請求過于頻繁，遠超出人工頻率，容易被識別出來，請不要給對方服務器造成太大壓力

且間隔的時間不要定死，在一定范圍內波動是個比較合適的選擇。過于機械的間隔時長，也可能會讓網站認為你是爬蟲。

import time
import random
for i in range(1,11):
   time = random.random()*5
   print(f'第{i}次睡了：', time, 's')
'''
第1次睡了： 0.6327309035891232 s
第2次睡了： 0.037961811128097045 s
第3次睡了： 0.7443093721610153 s
第4次睡了： 0.564336149517787 s
第5次睡了： 0.39922345839757245 s
第6次睡了： 0.13724989845026703 s
第7次睡了： 0.7877693301824763 s
第8次睡了： 0.5641490602064826 s
第9次睡了： 0.05517343036931721 s
第10次睡了： 0.3992618299505627 s
'''

8. 字體反爬

還有一種特殊情況，你在瀏覽器頁面上已經看到了你想要的數據，但是當你查看源碼時，根本找不到相關數據或者數據和你看到的不一致。你懷疑這個數據是通過接口異步加載的，但你檢查了請求，過程中并沒有異步請求數據接口。怎么回事？

你可能遇到了字體反爬。即目標網站通過 CSS 樣式、字體映射等方式，完成了對特定數據的隱藏。你無法直接從源碼提取相關數據，但卻不會影響網頁的顯示效果。那么，怎么解決呢？

兩種方法，第一種，破解字體的映射關系，從源碼中提取錯誤的數據，并通過特定的映射關系把它翻譯成正確的數據。第二種就是偷懶的方法了，使用 Selenium 等自動化測試工具渲染頁面，截取數據內容圖片，并通過 OCR 程序識別圖像內容。

9. 正則表達式

對于頁面解析最強大的當然是正則表達式，這個對于不同網站不同的使用者都不一樣，就不用過多的說明，附兩個比較好的網址：

正則表達式入門：

http://www.cnblogs.com/huxi/archive/2010/07/04/1771073.html

正則表達式在線測試：

http://tool.oschina.net/regex/

其次就是解析庫了，常用的有兩個lxml和BeautifulSoup，對于這兩個的使用介紹兩個比較好的網站：

lxml：http://my.oschina.net/jhao104/blog/639448

BeautifulSoup：http://cuiqingcai.com/1319.html

對于這兩個庫，我的評價是，都是HTML/XML的處理庫，Beautifulsoup純python實現，效率低，但是功能實用，

比如能用通過結果搜索獲得某個HTML節點的源碼；lxml C語言編碼，高效，支持Xpath。

10. pprint

這個是在pycharm中查看的來看效果吧

print()打印，不知道你感覺如何，我一臉懵逼。

import requests
url = 'https://www.douyu.com/gapi/rknc/directory/yzRec/1'
resp = requests.get(url).json()
print(resp)

pprint()打印，這種結構看起來如何呢？

from pprint import pprint
import requests
url = 'https://www.douyu.com/gapi/rknc/directory/yzRec/1'
resp = requests.get(url).json()
pprint(resp)

現在除了使用pprint之外，冰淇淋icecream也是很好的選擇

責任編輯：龐桂玉來源： Python技術

爬蟲 Python