[[405061]]

本文轉載自微信公眾號「數倉寶貝庫」，作者趙國生，王健。轉載本文請聯系數倉寶貝庫公眾號。

目前，許多網站采取各種各樣的措施來反爬蟲，其中一個措施便是使用驗證碼。隨著技術的發展，驗證碼的花樣越來越多。驗證碼最初是幾個數字組合的簡單的圖形驗證碼，后來加入了英文字母和混淆曲線。有的網站還可能看到中文字符的驗證碼，這使得識別越發困難。

使用驗證碼可以防止應用或者網站被惡意注冊、攻擊，對于網站、APP而言，大量的無效注冊、重復注冊甚至是惡意攻擊很令人頭痛。使用驗證碼能夠很大程度上減少這些惡意操作。驗證碼變得越來越復雜，爬蟲的工作也變得越發艱難。有時候我們必須通過驗證碼的驗證才能夠訪問頁面(如圖1所示)。

圖1 驗證碼界面

目前主流的 4 種驗證碼為輸入式驗證碼、滑動式驗證碼、宮格式驗證碼和點擊式的圖文驗證，下面我們來分別講解它們的解決思路。

4種驗證碼的解決思路

01 輸入式驗證碼

這種驗證碼主要是通過用戶輸入圖片中的字母、數字、漢字等進行驗證，如圖2所示。

圖2 輸入式驗證碼

解決思路：這是最簡單的一種驗證碼，只要識別出里面的內容，然后填入輸入框中即可。這種識別技術叫OCR，這里推薦使用 Python 的第三方庫 tesserocr。tesserocr 與 pytesseract 是 Python 的一個 OCR 識別庫，但其實是對 Tesseract 做的一層 Python API 封裝，pytesseract 是 Google 的 Tesseract-OCR 引擎包裝器;所以它們的核心是 Tesseract。對于沒有什么背景影響的驗證碼，直接通過這個庫來識別就可以。但是對于有嘈雜的背景的驗證碼，直接識別的識別率會很低，遇到這種驗證碼需要先對圖片進行灰度化，然后再進行二值化，再去識別，這樣識別率會大大提高。

02 滑動式驗證碼

這種是將備選碎片直線滑動到正確的位置，如圖3所示。

圖3 滑動式驗證碼

解決思路：對于這種驗證碼就比較復雜一點，但也是有相應的辦法。我們直接想到的就是模擬人去拖動驗證碼的行為，點擊按鈕，然后看到了缺口的位置，最后把拼圖拖到缺口位置處完成驗證。

第一步：點擊按鈕。當沒有點擊按鈕的時候圖片中的缺口和拼圖是沒有出現的，點擊后才出現，這為我們找到缺口的位置提供了靈感。

第二步：拖到缺口位置。我們知道拼圖應該拖到缺口處，但是這個距離如何用數值來表 示?通過第一步觀察到的現象，我們可以找到缺口的位置。這里我們可以比較兩張圖的像素， 設置一個基準值，如果某個位置的差值超過了基準值，那我們就找到了這兩張圖片不一樣的位置，當然我們是從那塊拼圖的右側開始并且從左到右，找到第一個不一樣的位置時就結束，這時的位置應該是缺口的 left，所以我們使用 selenium 拖到這個位置即可。這里還有個疑問，就 是如何能自動保存這兩張圖?我們可以先找到這個標簽，然后獲取它的 location 和 size，接著 是 top = int(location['y'])、bottom = int(location['y'] + size['height'])、left = int(location['x']) 以及right = int(location['x'] + size['width'])，然后截圖，最后摳圖填入這四個位置就行。具體的使用 可以查看 selenium 文檔，點擊按鈕前摳一張圖，點擊后再摳一張圖。最后拖動時需要模擬人的 行為，先加速然后減速。因為這種驗證碼有行為特征檢測，人是不可能做到一直勻速的，否則 它就判定為是機器在拖動，這樣就無法通過驗證了。

03 宮格驗證碼

如圖4所示的驗證碼，爬蟲難度比較大，每一次出現的都不一樣，就算出現一樣的，其拖動順序也不相同。但是，我們發現不一樣的驗證碼個數是有限的，這里采用模版匹配的方 法，把所有出現的驗證碼保存下來，然后挑出不一樣的驗證碼，按照拖動順序命名。我們從 左到右從上到下，將其分別設為 1、2、3、4。上圖的滑動順序為 4→3→2→1，所以我們命名 4_3_2_1.png。當驗證碼出現的時候，用我們保存的圖片一一枚舉，與出現的這種來比較像素， 方法見“滑動式驗證碼”部分。如果匹配上了，拖動順序就為 4→3→2→1。然后使用 selenium 模擬即可。

圖4 宮格驗證碼

04 點擊式的圖文驗證和圖標選擇

1)圖文驗證：通過文字提醒用戶點擊圖中相同字的位置從而進行驗證。

2)圖標選擇：給出一組圖片，按要求點擊其中一張或多張。借用萬物識別的難度阻擋 機器。這兩種原理相似，只不過一個是給出文字，點擊圖片中的文字，而一個是給出圖片，點 出內容相同的圖片。這兩種都沒有特別好的方法，只能借助第三方識別接口來識別出相同的內 容。推薦一個方法，把驗證碼發過去，會返回相應的點擊坐標，然后再使用 selenium 模擬點擊即可。

OCR驗證碼

圖片

OCR(Optical Character Recognition，光學字符識別)是指電子設備(例如掃描儀或數碼相機)檢查紙上打印的字符，通過檢測暗、亮的模式來確定其形狀，然后用字符識別方法將形狀翻譯成計算機文字的過程，下面介紹使用這種圖像識別技術輸入驗證碼的方法。

驗證碼識別基本步驟：

1)預處理

2)灰度化

3)二值化

4)去噪

5)分割

6)識別

在使用pytesseract之前，必須安裝 Tesseract-OCR，因為pytesserat 依賴于 Tesseract-OCR， 若未安裝則無法使用。首先使用 pytesseract 將彩色的圖像轉化為灰色的圖像。

# 使用路徑導入圖片 
im = Image.open(imgimgName)  
# 使用byte流導入圖片  
# im = Image.open(io.BytesIO(b))  
# 轉化到灰度圖 
imgry = im.convert('L')  
# 保存圖像 
imgry.save('gray-'+imgName) 

灰度化的圖像如圖5所示。

圖5 灰度化圖像

緊接著將所得的圖像二值化，將圖片處理為只有黑白兩色的圖片，利于后面的圖像處理和識別。

# 二值化，采用閾值分割法，threshold為分割點  
Threshold = 140  
Table = [ ] 
For j in range(256):  
If j < threshold:  
Table.append(0)  
Else:  
Table.append(1)  
Out = imgry.point(table,'1')  
Out.save('b'+imgName) 

二值化的圖像如圖 6 所示。

圖6 二值化圖像

最后進行識別，得到的結果如圖7所示。

圖7 識別結果

# 識別  
Text = pytesseract.image_to_string(out)  
Print(“識別結果：" +text) 

實戰案例

目前，很多網站為了防止爬蟲肆意模擬瀏覽器登錄，采用增加驗證碼的方式來攔截爬蟲。驗證碼的形式有多種，最常見的就是圖片驗證碼。

1 基本識別原理概述

1)每一幅圖像在結構上，都是由一個個像素組成的矩陣，每一個像素都為單元格。

2)彩色圖像的像素由三原色(紅、綠、藍)構成 元組，灰度圖像的像素是一個單值，每個像素的值范圍為(0, 255)。

某系統門戶登錄界面中的驗證碼如圖8所示， 現在我們要實現自動的驗證碼識別。

圖8 驗證碼

2 圖像特征

首先，我們仔細觀察一下這個驗證碼圖像，可以發現一些如圖9所示的固定特征。

1)驗證碼中的字符數始終為 6，并且是灰度圖像。

2)字符間的間隔看起來每次都一樣。

3)每個字符都是完全定義的。

4)圖像有許多雜散的黑暗像素，以及穿過圖像的線條作為干擾因素。

圖9 固定特征

3 圖像分析

使用一個工具(binary-image)以二進制形式可視化圖像(0 表示黑色像素，1 表示白色像 素)。圖像尺寸為 45×180，每個字符分配 30 個像素的空間來進行適配，從而使它們的間隔比 較均勻。因此，取得了驗證碼識別路上的第一步。如圖10所示的結果：把圖像裁剪成 6 個不同的部分，每個部分的寬度均為 30 像素。

圖10 二進制可視化圖像

4 字符部分裁剪

圖像裁剪的語法如下：

from PIL import Image  
image = Image.open("filename.png")  
cropped_image = image.crop((left, upper, right, lower) 

比如要裁剪第一個字符：

from PIL import Image  
image = Image.open("captcha.png").convert("L")  
cropped_image = image.crop((0, 0, 30, 45)) 
cropped_image.save("cropped_image.png") 

得到的圖像如圖11所示。

圖11 結果圖像

將其打包到一個循環中，編寫了一個簡單的腳本，從該站點獲取 500 個驗證碼圖像，并將所有裁剪后的字符保存到一個文件夾中。

5 圖像去雜

為了“清理”圖像中的干擾因素(刪除不必要的線和點)，我們可以使用一個很簡單的算法：字符中的所有像素都是純黑色(0)。如果它不是完全黑色的，則將它當成白色的。因此，對于值大于0的每個像素，將給其重新賦值為255。使用 load() 函數將圖像轉換為 45×180 數字矩陣，然后對其進行處理。

pixel_matrix = cropped_image.load()  
for col in range(0, cropped_image.height):  
for row in range(0, cropped_image.width): 
if pixel_matrix[row, col] != 0:  
pixel_matrix[row, col] = 255 
image.save("thresholded_image.png" 

為了清晰起見，將代碼應用于原始圖像。原始圖像如圖12所示。

圖12 原始圖像

矯正后的圖像如圖13所示。

圖13 矯正后的圖像

可以看到，并非完全黑暗的所有像素都被刪除了，比如通過圖像的線。上述方法在圖像處理 中的專業術語叫作閾值處理，當然還有很多其他的處理方法，閾值處理只是最簡單實用的方法。

6 去除圖像中的黑點

圖像中有許多雜散的黑暗像素作為干擾因子。循環遍歷圖像矩陣，如果相鄰像素是白色的，并且與相鄰像素相對的像素也是白色的，而中心像素是黑色的，則設定中心像素為白色。

for column in range(1, image.height - 1)： 
for row in range(1, image.width - 1)： 
if pi xel_matrix[row, column] == 0 and pixel_matrix[row, column - 1] == 255 and 
pixel_matrix[row, column + 1] == 255： 
pixel_matrix[row, column] = 255 
if pi xel_matrix[row, column] == 0 and pixel_matrix[row - 1, column] == 255 and 
pixel_matrix[row + 1, column] == 255： 
pixel_matrix[row, column] = 25 

處理后的結果如圖14所示。

圖14 處理后的結果

經過以上步驟的處理，圖像已經只剩下字符框架了。雖然有些字符已經丟失了一些基礎像 素，但是每個字符的圖像骨架基本上都完備。當然這個是必需的，我們進行這么多處理的主要 目的就是為每個可能的字符都截取生成合適的字符圖。

7 構建字符圖庫

將上述算法裁剪得到的所有字符圖像都存儲于文件夾下。下一個任務是為屬于“ A-Z0-9” 的每個字符找到至少一個樣本圖像(如圖15所示)。這一步就像“訓練”步驟，手動為每個 字符選擇了一個字符圖像并對其更名。

圖15 樣本圖像

8 選擇最優的字符圖

運行其他幾個腳本，以確保每個字符的圖像中都有最佳的圖像，例如，如果有 20 個“ A” 的字符圖像，那么暗色數量最少的圖像顯然是噪聲最少的圖像，因此最適合作為骨架圖像。選擇的原則如下：

1)一個按照字符排序的相似圖像(約束條件：黑色像素數量大小，并且相似度 > = 90%～95%)。

2)一個從每個分組字符獲得的最佳圖像。因此，到目前為止，我們生成了一個像素圖像庫。我們將其轉換為像素矩陣，并將位圖字符圖轉為數字點陣 JSON 文件。

9 識別算法

最后是獲取任何新的驗證碼圖像的算法：使用相同的算法盡量減少新圖像中不必要的干擾因子。對于新驗證碼圖片中的每個字符，強制通過與生成的 JSON 文件的像素矩陣來匹配，基 于相應的黑色像素匹配來計算相似度。如果一個像素是黑色的，其在圖像中的位置恰好是待破 解的驗證碼，并且此像素位于字符庫中的骨架圖像 / 位圖內的相同位置處，則計數會遞增 1。與骨架圖像中黑色像素的數量進行對比，計算匹配百分比，選擇具有最高匹配百分比的字符就是識別結果的字符。

最終結果如圖16所示，若得到的字符為 Z5M3MQ，則驗證碼被成功識別出來了。

 

圖16 識別結果