【51CTO.com快譯】人們有時會錯誤地將 “網絡抓取”和 網絡爬取”這兩個術語作為同義詞使用。盡管它們密切相關，但它們是不同的動作，需要適當描述——至少這樣你就可以知道某個時間點哪一個最適合你的需要，這樣你就能理解它們的區別。

讓我們深入了解這兩個 Web 操作中的本質。

[[436558]]

什么是網頁抓取？

顧名思義，網絡抓取是一種從網絡中提取或清除信息的行為。無論目標數據如何，網頁抓取都可以使用腳本語言和專用抓取工具實現自動化，或者通過復制和粘貼手動完成。當然，手動網頁抓取并不實用。雖然編寫抓取腳本可能會有所幫助，但它可能成本高且技術性強。

然而，使用自動化的無代碼網絡抓取工具可以使一過程變得簡單和快速，而不會造成巨額損失。

為什么要抓取網頁？

隨著每天數百萬條信息被刪除，數據抓取現在已成為互聯網新趨勢的一部分。盡管如此，Statista仍然估計，僅在 2020 年互聯網上生成的數據量就為 64.2 澤字節。該公司預測，到 2025 年這個值將增加 179% 以上。

大型組織和個人已將網絡上可用的數據用于包括但不限于以下目的：預測營銷、股價預測、銷售預測、競爭監控等目的。有了這些應用程序，數據明顯是當今許多企業增長的驅動力。

此外，隨著世界越來越傾向于自動化，數據驅動的機器正在涌現。這些機器雖然精準，但使用機器學習技術獲取數據。機器學習的嚴格規則要求算法隨著時間的推移從大數據中學習模式。因此，在沒有數據的情況下訓練機器可能是不可能的。盡管如此，電子商務網站上的圖像、文本、視頻和產品都是推動人工智能世界發展的寶貴信息。

因此，現有公司、初創企業和個人為何求助于網絡以收集盡可能多的信息并不牽強。這意味著在當今的商業世界中，您擁有的數據越多，就越有可能領先于競爭對手。因此，網頁抓取變得必不可少。

網絡爬蟲是如何工作的？

網絡爬蟲使用超文本傳輸協議 (HTTP) 從使用 GET 方法的網頁請求數據。在大多數情況下，一旦收到來自網頁的有效響應，抓取工具就會從客戶端收集更新的內容。它通過將自身附加到包含易于更新的目標數據的特定 HTML 標簽來實現。

但是，有許多網頁抓取方法。例如，抓取機器人可以進化為直接從另一個網站的數據庫請求數據，從而從提供商的服務器獲取實時更新的內容。這種從數據抓取器向另一個數據庫發出的請求通常要求提供數據的網站提供應用程序編程接口 (API)，該接口使用定義的身份驗證協議將數據抓取器連接到其數據庫。

例如，使用 Python 創建的request.get Web 抓取工具可以使用該方法從源檢索數據或使用專用的 Web 抓取庫，例如BeautifulSoup 從網頁收集呈現的內容。使用 JavaScript 構建的那些通常依賴于fetch 或Axios連接源并從源獲取數據。
獲取數據后，抓取工具通常會將收集到的信息轉儲到專用數據庫、JSON 對象、文本文件或 Excel 文件中。并且由于收集的信息不一致，數據清理通常在抓取之后進行。

網頁抓取方法

無論您是使用第三方自動化工具還是從頭開始編寫代碼，網頁抓取都涉及這些方法中的任何一種或組合：

1. DOM 或標簽解析：DOM 解析涉及網頁的客戶端檢查，以創建顯示所有節點的深入 DOM 樹。因此，可以輕松地從網頁中檢索相關數據。
2. 標簽抓取：在這里，網絡抓取工具針對網頁上的特定標簽并收集其內容。例如，電子商務抓取工具可能會收集所有h2 標簽中的內容，因為它們包含產品名稱和評論。
3. HTTP API 請求：這涉及使用 API 連接到數據源。當目標是從數據庫中檢索更新的內容時，這會很有幫助。
4. 使用語義或元數據注釋：此方法利用稱為元數據的一組數據之間的關系以流行的方式提取信息。例如，您可能決定從網頁中檢索與動物和國家相關的信息。
5. Unix 文本抓取：文本抓取使用標準的 Unix 正則表達式從大量文件或網頁中獲取匹配數據。

什么是網絡爬蟲以及它是如何工作的？

雖然爬蟲或蜘蛛機器人可能會在抓取網站的過程中下載網站的內容，但抓取并不是其最終目標。網絡爬蟲通常會掃描網站上的信息以檢查特定指標。最終它會了解網站的結構及其全部內容。

爬蟲的工作原理是將屬于許多網頁的唯一資源定位器 (URL) 收集到一個爬蟲邊界中。然后它使用站點下載器來檢索內容，包括整個 DOM 結構，以創建瀏覽網頁的副本。然后將這些存儲到數據庫中，在查詢時可以將它們作為相關結果列表進行訪問。

因此，網絡爬蟲是一種編程軟件，它可以連續快速地在互聯網上瀏覽內容，并根據請求組織它們以顯示相關內容。

例如，Googlebot 和 Bingbot 等一些爬蟲會根據多種因素對內容進行排名。一個顯著的排名因素是在網站內容中使用自然出現的關鍵字。您可以將此視為賣家從批發商店收集不同商品，按重要性排列它們，并根據要求提供與買家最相關的商品。爬行機器人通常會分支到它在爬行網站時找到的相關外部鏈接。然后它也會對它們進行爬網和索引。

不過，除了 Googlebot 和 Bingbot 之外，還有許多爬蟲。除了索引之外，他們中的許多人還提供特定的服務。

與網絡爬蟲不同，爬行機器人不斷地在網上沖浪。本質上，它是自動觸發的。然后，當它們在客戶端更新時，它會從許多網站收集實時內容。在網站上移動時，他們識別并選取所有可爬取的鏈接以評估其所有頁面上的腳本、HTML 標簽和元數據，但受某種方式限制的除外。有時，蜘蛛機器人會利用站點地圖來達到相同的目的。然而，帶有站點地圖的網站比沒有站點地圖的網站抓取速度更快。

網絡爬蟲的應用

與網絡抓取不同，網絡抓取有更多應用，從搜索引擎優化 (SEO) 分析到搜索引擎索引、一般性能監控等等。它的部分應用程序還可能包括抓取網頁。

雖然您可能會手動緩慢地抓取網頁，但您無法自己全部抓取，因為它需要更快、更準確的機器人；這就是為什么他們有時稱爬蟲蜘蛛機器人。

例如，在創建并啟動您的網站后，Google 的抓取算法會在幾天內自動抓取它，以在人們搜索時顯示元標記、標題標記和相關內容等語義。

如前所述，根據其目標，蜘蛛機器人可能會抓取您的網站以提取其數據、在搜索引擎中為其編制索引、審核其安全性、將其與競爭對手的內容進行比較或分析其 SEO 合規性。但是，盡管它具有積極的一面，例如網絡抓取工具，但我們無法在幕后掃除可能惡意使用爬蟲的行為。

網絡爬蟲的類型

根據它們的應用程序，爬行機器人有多種形式。以下是不同類型及其作用的列表：

1. 以內容為中心的網絡爬蟲： 這些類型的蜘蛛機器人收集整個網絡的相關內容。最終，它們的工作原理是根據相關網站的內容與搜索詞的相關程度對相關網站的 URL 進行排名。因為它們專注于檢索更多與利基相關的內容，所以內容或主題爬行機器人的優勢在于它們使用的資源更少。
2. 內部爬蟲： 一些組織為特定目的構建內部爬蟲。這些可能包括用于檢查軟件漏洞的蜘蛛機器人。管理它們的責任通常由熟悉組織軟件架構的程序員承擔。
3. 連續網絡爬蟲： 也稱為增量蜘蛛機器人。漸進式爬蟲會在更新時反復瀏覽網站的內容。爬行可以是計劃的或隨機的，這取決于特定的設置。
4. 協同或分布式爬蟲：分布式爬蟲旨在優化使用單個爬蟲時可能不堪重負的繁瑣爬行活動。他們總是朝著同一個目標共同努力。因此，他們有效地分割了爬行工作負載。因此，它們通常比傳統的更快、更有效。
5. 監控機器人： 無論來源是否授權，這些爬蟲都使用獨特的算法來監視競爭對手的內容和流量。即使他們不妨礙他們監控的網站的運行，他們也可能開始將流量從其他網站吸引到機器人的來源中。雖然人們有時會以這種方式使用它們，但它們的積極用途大于缺點。例如，一些組織在內部使用它們來發現其軟件中的潛在漏洞或改進 SEO。
6. 并行蜘蛛機器人： 雖然它們也是分布式的，但并行爬蟲只瀏覽和下載新鮮的內容。然而，如果網站不定期更新或包含舊內容，他們可能會忽略該網站。

網絡爬蟲和網絡抓取之間的主要區別

為了縮小解釋范圍，以下是抓取和爬行之間的顯著差異：

1. 與網絡爬蟲不同，爬蟲不一定需要遵循將數據下載到數據庫的模式。它可能會將其寫入其他文件類型。
2. 網絡爬蟲更通用，可能在其工作流程中包括網絡抓取。
3. 抓取機器人針對特定的網頁和內容，因此它們可能不會一次從多個來源收集數據。
4. 與爬蟲的手動觸發數據收集性質不同，網絡爬蟲定期收集實時內容。
5. 雖然抓取機器人的目的是在提示時獲取數據，但網絡爬蟲遵循特定的算法。如此多的科技公司使用它們來獲得實時的網絡洞察力，而且它也是可調度的。它的用例之一是定期的網絡流量和 SEO 分析。
6. 爬網涉及串行整個網絡下載和基于相關性的后續索引。另一方面，網絡抓取不會索引檢索到的內容。
7. 與功能更廣泛且開發成本更高的爬行機器人不同，構建抓取工具具有成本效益且耗時更少。

網絡爬蟲和網絡抓取之間的主要相似之處

雖然我們一直認為 crawling 和 scaping 在很多方面是不同的，但它們仍然有一些相似之處：

1. 它們都通過發出 HTTP 請求來訪問數據。
2. 它們都是自動化的過程。因此，它們在數據檢索過程中提供了更高的準確性。
3. 網絡上隨處可見的專用工具可用于抓取或抓取網站。
4. 當違反來源的數據保護條款時，它們都可以用于惡意目的。
5. 網絡爬蟲和抓取工具會受到徹底封鎖——通過 IP 壓制或其他方式。
6. 盡管工作流程可能不同，但它們都從 Web 下載數據。

您可以阻止在您的網站上爬蟲和抓取嗎？

當然，您可以加倍努力，擺脫這些機器人。但是，雖然您可能希望阻止爬蟲程序訪問您的內容，但在決定是否應該阻止爬蟲程序時需要小心。與抓取機器人不同，蜘蛛機器人的抓取會影響您網站的增長。例如，阻止在您的所有網頁上爬行可能會損害您的可發現性，因為您最終可能會掩蓋具有流量驅動潛力的頁面。

最好的做法是阻止它們訪問私有目錄，例如管理、注冊和登錄頁面，而不是直接阻止機器人。這可確保搜索引擎不會將這些頁面編入索引以將它們顯示為搜索結果。

雖然我們之前提到過使用 robots.txt，但您可以使用許多其他方法來保護您的網站免受機器人入侵：

1. 您可以使用 CAPTCHA 方法阻止機器人。
2. 您還可以阻止惡意 IP 地址。
3. 監控流量的突然可疑增加。
4. 評估您的流量來源。
5. 打擊已知或特定機器人。
6. 瞄準潛在的惡意機器人。

網絡機器人可以繞過 CORS 和 Robots.txt 嗎？

然而，當涉及不同來源的軟件之間的交叉交互時，互聯網遵循嚴格的規則。因此，如果資源服務器未授權來自另一個域的機器人，Web 瀏覽器會因此通過稱為跨域資源策略 (CORS) 的規則阻止其請求。

因此，如果不使用其 API 或其他方式（如身份驗證令牌）來授權請求，則很難直接從資源數據庫下載數據。此外，當在網站上找到 robots.txt 時，它會明確說明抓取某些頁面的規則。因此，它還可以防止機器人訪問它們。

但是為了避免這種封鎖，一些機器人通過在其請求標頭中包含用戶代理來模仿真實的瀏覽器。最終，CORS 將此類機器人視為瀏覽器，并授予它訪問網站資源的權限。由于robots.txt 只阻止機器人，這種繞過很容易愚弄它并使其規則無能為力。

盡管采取了多項預防措施，但即使是科技巨頭的數據仍然被抓取或抓取。因此，您只能嘗試將控制措施落實到位。

結論

盡管存在差異，但正如您現在所看到的，網絡爬行和抓取是有價值的數據收集技術。因此，由于它們在應用程序中存在一些關鍵差異，因此您必須明確定義您的目標，以了解在特定場景中使用的正確工具。此外，它們是您不想丟棄的重要業務工具。如前所述，無論您是出于某種原因打算抓取網頁還是抓取網頁，都有許多第三方自動化工具可以實現您的目標。所以請隨意利用它們。

【51CTO譯稿，合作站點轉載請注明原文譯者和出處為51CTO.com】