爬蟲入門之后，我們有兩條路能夠走。

一個是持續深化學習，以及關于規劃模式的一些常識，強化Python相關常識，自己著手造輪子，持續為自己的爬蟲增加分布式，多線程等功能擴展。另一條路便是學習一些優秀的結構，先把這些結構用熟，能夠保證能夠敷衍一些根本的爬蟲使命，也就是所謂的解決溫飽問題，然后再深化學習它的源碼等常識，進一步強化。 

就個人而言，前一種辦法其實就是自己著手造輪子，前人其實現已有了一些比較好的結構，能夠直接拿來用，但是為了自己能夠研討得更加深化和對爬蟲有更全面的了解，自己著手去多做。后一種辦法就是直接拿來前人現已寫好的比較優秀的結構，拿來用好，首先保證能夠完結你想要完結的使命，然后自己再深化研討學習。第一種而言，自己探索的多，對爬蟲的常識掌握會比較透徹。第二種，拿他人的來用，自己方便了，但是可能就會沒有了深化研討結構的心情，還有可能思路被束縛。

接觸了幾個爬蟲結構，其中比較好用的是 Scrapy 和PySpider。就個人而言，pyspider上手更簡略，操作更加簡便，因為它增加了 WEB 界面，寫爬蟲迅速，集成了phantomjs，能夠用來抓取js渲染的頁面。Scrapy自定義程度高，比 PySpider更底層一些，適合學習研討，需要學習的相關常識多，不過自己拿來研討分布式和多線程等等是非常合適的。

從爬蟲必要的幾個根本需求來講：

1.抓取

py的urllib不必定去用，但是要學，如果還沒用過的話。

比較好的替代品有requests等第三方更人性化、老練的庫，如果pyer不了解各種庫，那就白學了。

抓取最根本就是拉網頁回來。

如果深化做下去，會發現要面對不同的網頁要求，比如有認證的，不同文件格式、編碼處理，各種奇怪的url合規化處理、重復抓取問題、cookies跟隨問題、多線程多進程抓取、多節點抓取、抓取調度、資源壓縮等一系列問題。

所以第一步就是拉網頁回來，慢慢會發現各種問題待優化。 

2.存儲

抓回來一般會用必定策略存下來，而不是直接剖析，個人覺得更好的架構應該是把剖析和抓取分離，更加松散，每個環節出了問題能夠隔離別的一個環節可能出現的問題，好排查也好更新發布。

那么存文件體系、SQLorNOSQL數據庫、內存數據庫，如何去存就是這個環節的要點。

能夠選擇存文件體系開始，然后以必定規矩命名。

3.剖析

對網頁進行文本剖析，提取鏈接也好，提取正文也好，總歸看的需求，但是必定要做的就是剖析鏈接了。

能夠用認為最快最優的辦法，比如正則表達式。

然后將剖析后的成果應用與其他環節：)

4.展現

要是做了一堆事情，一點展現輸出都沒有，如何展現價值。

所以找到好的展現組件，去show出肌肉也是關鍵。

如果為了做個站去寫爬蟲，抑或要剖析某個東西的數據，都不要忘了這個環節，更好地把成果展現出來給他人感受。 

PySpider是binux做的一個爬蟲架構的開源化完成。主要的功用需求是：

• 抓取、更新調度多站點的特定的頁面
• 需要對頁面進行結構化信息提取
• 靈敏可擴展，安穩可監控

而這也是絕大多數python爬蟲的需求 —— 定向抓取，結構化化解析。但是面對結構懸殊的各種網站，單一的抓取模式并不一定能滿意，靈敏的抓取操控是必須的。為了到達這個目的，單純的配置文件往往不夠靈敏，于是，經過腳本去操控抓取是最后的挑選。

而去重調度，隊列，抓取，異常處理，監控等功用作為結構，提供給抓取腳本，并確保靈敏性。最后加上web的修改調試環境，以及web使命監控，即成為了這套結構。

pyspider的設計基礎是：以python腳本驅動的抓取環模型爬蟲

• 經過python腳本進行結構化信息的提取，follow鏈接調度抓取操控，完成最大的靈敏性
• 經過web化的腳本編寫、調試環境。web展示調度狀態
• 抓取環模型成熟安穩，模塊間彼此獨立，經過音訊隊列銜接，從單進程到多機分布式靈敏拓展

pyspider-arch

pyspider的架構主要分為 scheduler(調度器), fetcher(抓取器), processor(腳本履行)：

• 各個組件間使用音訊隊列銜接，除了scheduler是單點的，fetcher 和 processor 都是能夠多實例分布式部署的。 scheduler 負責整體的調度操控
• 使命由 scheduler 發起調度，fetcher 抓取網頁內容， processor 履行預先編寫的python腳本，輸出結果或產生新的提鏈使命(發往 scheduler)，構成閉環。
• 每個腳本能夠靈敏使用各種python庫對頁面進行解析，使用結構API操控下一步抓取動作，經過設置回調操控解析動作。

Python爬蟲入門學習。現在，Python能夠做大數據的基礎，人工智能的編程言語等，是一門比較熱門的言語。我也寫了很多其他的十分簡單的具體教程，歡迎大家一起來溝通。