使用 Python 的 requests 和 Beautiful Soup 來分析網(wǎng)頁
- 學習這個 Python 教程，輕松提取網(wǎng)頁的有關信息。
瀏覽網(wǎng)頁可能占了你一天中的大部分時間。然而，你總是需要手動瀏覽，這很討厭，不是嗎？你必須打開瀏覽器，然后訪問一個網(wǎng)站，單擊按鈕，移動鼠標……相當費時費力。如果能夠通過代碼與互聯(lián)網(wǎng)交互，豈不是更好嗎？
在 Python 的 requests 模塊的幫助下，你可以使用 Python 從互聯(lián)網(wǎng)中獲取數(shù)據(jù)：
import requests
DATA = "https://opensource.com/article/22/5/document-source-code-doxygen-linux"
PAGE = requests.get(DATA)
print(PAGE.text)
在以上代碼示例中，你首先導入了 requests 模塊。接著，你創(chuàng)建了兩個變量：其中一個叫做 DATA，它用來保存你要下載的 URL。在之后的代碼中，你將能夠在每次運行應用程序時提供不同的 URL。不過，就目前而言，最簡單的方法是“硬編碼”一個測試 URL，以達到演示目的。
另一個變量是 PAGE。代碼讀取了存儲在 DATA 中的 URL，然后把它作為參數(shù)傳入 requests.get 函數(shù)，最后用變量 PAGE 來接收函數(shù)的返回值。requests 模塊及其 .get 函數(shù)的功能是：“讀取”一個互聯(lián)網(wǎng)地址（一個 URL）、訪問互聯(lián)網(wǎng)，并下載位于該地址的任何內容。
當然，其中涉及到很多步驟。幸運的是，你不必自己弄清楚，這也正是 Python 模塊存在的原因。最后，你告訴 Python 打印 requests.get 存儲在 PAGE 變量的 .text 字段中的所有內容。
Beautiful Soup
如果你運行上面的示例代碼，你會得到示例 URL 的所有內容，并且，它們會不加選擇地輸出到你的終端里。這是因為在代碼中，你對 requests 收集到的數(shù)據(jù)所做的唯一事情，就是打印它。然而，解析文本才是更加有趣的。
Python 可以通過其最基本的功能來“讀取”文本，但解析文本允許你搜索模式、特定單詞、HTML 標簽等。你可以自己解析 requests 返回的文本，不過，使用專門的模塊會容易得多。針對 HTML 和 XML 文本，我們有 Beautiful Soup 庫。
下面這段代碼完成了同樣的事情，只不過，它使用了 Beautiful Soup 來解析下載的文本。因為 Beautiful Soup 可以識別 HTML 元素，所以你可以使用它的一些內置功能，讓輸出對人眼更友好。
例如，在程序的末尾，你可以使用 Beautiful Soup 的 .prettify 函數(shù)來處理文本（使其更美觀），而不是直接打印原始文本：
from bs4 import BeautifulSoup
import requests
PAGE = requests.get("https://opensource.com/article/22/5/document-source-code-doxygen-linux")
SOUP = BeautifulSoup(PAGE.text, 'html.parser')
# Press the green button in the gutter to run the script.
if __name__ == '__main__':
# do a thing here
print(SOUP.prettify())
通過以上代碼，我們確保了每個打開的 HTML 標簽都輸出在單獨的一行，并帶有適當?shù)目s進，以幫助說明標簽的繼承關系。實際上，Beautiful Soup 能夠通過更多方式來理解 HTML 標簽，而不僅僅是將它打印出來。
你可以選擇打印某個特定標簽，而不是打印整個頁面。例如，嘗試將打印的選擇器從 print(SOUP.prettify()) 更改為：
print(SOUP.p)
這只會打印一個 <p> 標簽。具體來說，它只打印遇到的第一個 <p> 標簽。要打印所有的 <p> 標簽，你需要使用一個循環(huán)。
循環(huán)
使用 Beautiful Soup 的 find_all 函數(shù)，你可以創(chuàng)建一個 for 循環(huán)，從而遍歷 SOUP 變量中包含的整個網(wǎng)頁。除了 <p> 標簽之外，你可能也會對其他標簽感興趣，因此最好將其構建為自定義函數(shù)，由 Python 中的 def 關鍵字（意思是 “定義”define）指定。
def loopit():
for TAG in SOUP.find_all('p'):
print(TAG)
你可以隨意更改臨時變量 TAG 的名字，例如 ITEM 或 i 或任何你喜歡的。每次循環(huán)運行時，TAG 中都會包含 find_all 函數(shù)的搜索結果。在此代碼中，它搜索的是 <p> 標簽。
函數(shù)不會自動執(zhí)行，除非你顯式地調用它。你可以在代碼的末尾調用這個函數(shù)：
# Press the green button in the gutter to run the script.
if __name__ == '__main__':
# do a thing here
loopit()
運行代碼以查看所有的 <p> 標簽和它們的內容。
只獲取內容
你可以通過指定只需要 “字符串string”（它是 “單詞words” 的編程術語）來排除打印標簽。
def loopit():
for TAG in SOUP.find_all('p'):
print(TAG.string)
當然，一旦你有了網(wǎng)頁的文本，你就可以用標準的 Python 字符串庫進一步解析它。例如，你可以使用 len 和 split 函數(shù)獲得單詞個數(shù)：
def loopit():
for TAG in SOUP.find_all('p'):
if TAG.string is not None:
print(len(TAG.string.split()))
這將打印每個段落元素中的字符串個數(shù)，省略那些沒有任何字符串的段落。要獲得字符串總數(shù)，你需要用到變量和一些基本數(shù)學知識：
def loopit():
NUM = 0
for TAG in SOUP.find_all('p'):
if TAG.string is not None:
NUM = NUM + len(TAG.string.split())
print("Grand total is ", NUM)
Python 作業(yè)
你可以使用 Beautiful Soup 和 Python 提取更多信息。以下是有關如何改進你的應用程序的一些想法：
- 接受輸入，這樣你就可以在啟動應用程序時，指定要下載和分析的 URL。
- 統(tǒng)計頁面上圖片（<img> 標簽）的數(shù)量。
- 統(tǒng)計另一個標簽中的圖片（<img> 標簽）的數(shù)量（例如，僅出現(xiàn)在<main> div 中的圖片，或僅出現(xiàn)在</p> 標簽之后的圖片）。
