Python爬蟲必須掌握的概念—Cookie和Session
Cookie和Session
- 前言cookie 和 session 得由來CookieCookie 屬性Cookie 創(chuàng)建Cookie 分類SessionSession 工作原理創(chuàng)建 Session保存 Session銷毀 Session檢查Session 是否失效總結(jié) Cookie Session相同點：不同點：工作流程：
前言
最近總是有一些初學爬蟲的小伙伴總是搞不懂 Session 和 Cookie 到底是做什么的，為什么爬蟲訪問網(wǎng)頁的時候都用 Session 去訪問，為什么 headers 攜帶 Cookie 就可以以登陸形式進入網(wǎng)頁了，這兩個東西的原理究竟是什么呢?
cookie 和 session 的由來
在Web發(fā)展史中，我們知道瀏覽器與服務(wù)器間采用的是簡單的 http 協(xié)議，而這種協(xié)議是‘無狀態(tài)’的，所以這就導致了服務(wù)器無法知道是誰在瀏覽網(wǎng)頁，但很明顯，一些網(wǎng)頁需要知道用戶的狀態(tài)，例如登陸，購物車等。
所以為了解決這一問題，先后出現(xiàn)了四種技術(shù)，分別是 隱藏表單域 ，URL重寫 ，Cookie ，Session ，當然現(xiàn)階段用的最多的技術(shù)自然是 Cookie 和 Session 了。
Cookie
Cookie 是瀏覽器保存到用戶電腦上面的一個文本，簡單來說就是當一個用戶通過 http 請求訪問到服務(wù)器端的時候，服務(wù)器會將一些字典的鍵值對返回給客戶端瀏覽器，并給這些數(shù)據(jù)加上一些限制條件，在條件符合時這個用戶下次訪問這個服務(wù)器時，數(shù)據(jù)通過請求頭又被完整地給帶回服務(wù)器，服務(wù)器根據(jù)這些信息來判斷不同的用戶。
簡單來說，Cookie 是服務(wù)器傳輸給客戶端并保存到客戶端的一段文本信息， Cookie 是有大小和數(shù)量限制的。
Cookie 屬性
當我們訪問網(wǎng)頁的時候，我們看到網(wǎng)站的請求頭如果攜帶 Cookie 都會含有 Set-Cookie 的屬性，在這里分析一下 Set-Cookie 都包含什么屬性項：
屬性項屬性項介紹Name=VALUE鍵值對，可以設(shè)置保存的鍵值對屬性，這里的NAME不能和其他屬性的名字相同Expires過期時間，這個時間后Cookie便會失效Domain生成Cookie的域名空間Path這個Cookie在系統(tǒng)哪個文件路徑下生成的Secure加密設(shè)置，設(shè)置之后只能在SSH連接環(huán)境下才能回傳這個Cookie屬性
在這里仔細介紹一下 Domain 究竟是做什么的。
現(xiàn)在假設(shè)有兩個域名：
- 域名A：a.qq.com.cn
- 域名B：b.qq.com.cn
顯然域名A和域名B都是qq.com.cn的子域名。
- 如果我們在域名A中的 Cookie 的 domain 設(shè)置為 qq.com.cn ，那么 qq.com.cn 及其子域名都可以獲取這個 Cookie，即域名A和域名B都可以獲取這個 Cookie。
- 如果域名A和域名B同時設(shè)置 Cookie 的 doamin 為 qq.com.cn，那么將出現(xiàn)覆蓋的現(xiàn)象。
- 如果域名A沒有顯式設(shè)置 Cookie 的 domain 方法，那么 domain 就為 a.qq.com.cn，不一樣的是，這時，域名A的子域名將無法獲取這個 Cookie。
Cookie 創(chuàng)建
Set-Cookie: value[; expires=date][; domain=domain][; path=path][; secure]
- Set-Cookie：delPer=0; expires=Thu, 16-Aug-2050 12:15:40 GMT
- Set-Cookie：BDSVRTM=0; path=/
- Set-Cookie：BD_HOME=0; path=/
- Set-Cookie：H_PS_PSSID=1462_21106_26925_22074; path=/; domain=.baidu.com
構(gòu)建http返回字節(jié)流時是將 Header 中所有的項順序?qū)懗觯鴽]有進行任何修改。所以瀏覽器在接收 http 返回的數(shù)據(jù)時是分別解析每一個 Header 項。
Cookie 分類
- 會話級別 Cookie：所謂會話級別 Cookie，就是在瀏覽器關(guān)閉之后 Cookie 就會失效。
- 持久級別 Cookie：保存在硬盤的 Cookie，只要設(shè)置了過期時間就是硬盤級別 Cookie。
現(xiàn)在 Cookie 保存在了客戶端，當我們?nèi)フ埱笠粋€URL時，瀏覽器會根據(jù)這個URL路徑將符合條件的 Cookie 放在請求頭中傳給服務(wù)器。
Session
Cookie 是有大小限制和數(shù)量限制的，并且越來越多的 Cookie 代表客戶端和服務(wù)器的傳輸量增加，可不可以每次傳的時候不傳所有 Cookie 值，而只傳一個唯一ID，通過這個ID直接在服務(wù)器查找用戶信息呢?答案是有的，這就是我們的 Session。
Session 是基于 Cookie 來工作的，同一個客戶端每次訪問服務(wù)器時，只要當瀏覽器在第一次訪問服務(wù)器時，服務(wù)器設(shè)置一個id并保存一些信息(例如登陸就保存用戶信息，視具體情況)，并把這個id通過 Cookie 存到客戶端，客戶端每次和服務(wù)器交互時只傳這個id，就可以實現(xiàn)維持瀏覽器和服務(wù)器的狀態(tài)，而這個ID通常是 NAME 為 JSESSIONID 的一個 Cookie。
現(xiàn)階段一共有四種方法讓 Session 工作：
- 通過URL傳遞SessionID
- 通過Cookie傳遞SessionID
- 通過SSL傳遞SessionID
- 通過隱藏表單傳遞SessionID
Session 工作原理
創(chuàng)建 Session
當客戶端訪問到服務(wù)器，服務(wù)器會為這個客戶端通過 request.getSession() 方法創(chuàng)建一個 Session ，如果當前 SessionID 還沒有對應(yīng)的 HttpSession 對象，就創(chuàng)建一個新的，并添加到 org.apache.catalina.Manager 的 Sessions 容器中保存，這就做到了對狀態(tài)的保持。當然，這個 SessionID 是唯一的
保存 Session
由圖可知，Session 對象已經(jīng)保存在了 Manager 類中，StandardManager 作為實現(xiàn)類，通過 requestedSessionId 從 StandardManager 的 Sessions 集合中取出 StandardSession 對象。
我們來看看 StandardManager 是如何對所有 StandardSession 對象進行生命周期管理
當 Servlet 容器關(guān)閉：StandardManager 將持久化沒過期的 StandardSession 對象(必須調(diào)用 Servlet 容器中的 stop 和 start 命令，不能直接 kill)
當 Servlet 容器重啟時：StandardManager 初始化會重讀這個文件，解析出所有 session 對象。
銷毀 Session
Session 的聲明周期是從創(chuàng)建到超時過期。
也就是說，當 Session 創(chuàng)建后，瀏覽器關(guān)閉，會話級別的 Cookie 被銷毀，如果沒有超過設(shè)定時間，該 SessionID 對應(yīng)的 Session 是沒有被銷毀的。
檢查Session 是否失效
檢查每個 Session 是否失效是在 Tomcat 的一個后臺線程完成的( backgroundProcess() 方法中);除了后臺進程檢驗 Session 是否失效外，調(diào)用 request.getSession() 也會檢查該 Session 是否過期，當然，調(diào)用這種方法如果過期的話又會重新創(chuàng)建一個新的 Session。
總結(jié) Cookie Session
相同點：
- Session 和 Cookie 都是為了讓 http 協(xié)議又狀態(tài)而存在。
- Session 通過 Cookie 工作，Cookie 傳輸?shù)?SessionID 讓 Session 知道這個客戶端到底是誰。
不同點：
- Session 將信息保存到服務(wù)器，Cookie 將信息保存在客戶端。
工作流程：
當瀏覽器第一次訪問服務(wù)器時，服務(wù)器創(chuàng)建 Session 并將 SessionID 通過 Cookie 帶給瀏覽器保存在客戶端，同時服務(wù)器根據(jù)業(yè)務(wù)邏輯保存相應(yīng)的客戶端信息保存在 Session 中;客戶端在訪問時上傳 Cookie ，服務(wù)器得到 Cookie 后獲取里面的 SessionID，來維持狀態(tài)。
