Tomcat是怎樣處理搜索引擎爬蟲請(qǐng)求的?

作者：侯樹成 2018-06-24 08:53:42

每個(gè)置身于互聯(lián)網(wǎng)中的站點(diǎn)，都需要搜索引擎的收錄，以及在適時(shí)在結(jié)果中的展現(xiàn)，從而將信息提供給用戶、讀者。而搜索引擎如何才能收錄我們的站點(diǎn)呢?

這就涉及到一個(gè)「搜索引擎的爬蟲」爬取站點(diǎn)內(nèi)容的過程。只有被搜索引擎爬過并收錄的內(nèi)容才有機(jī)會(huì)在特定query***之后在結(jié)果中展現(xiàn)。

這些搜索引擎內(nèi)容的工具，又被稱為爬蟲、Sprider，Web crawler 等等。我們一方面歡迎其訪問站點(diǎn)以便收錄內(nèi)容，一方面又因其對(duì)于正常服務(wù)的影響頭疼。畢竟 Spider 也是要占用服務(wù)器資源的， Spider 太多太頻繁的資源占用，正常用戶請(qǐng)求處理就會(huì)受到影響。所以一些站點(diǎn)干脆直接為搜索引擎提供了單獨(dú)的服務(wù)供其訪問，其他正常的用戶請(qǐng)求走另外的服務(wù)器。

說到這里需要提一下，對(duì)于是否是 Spider 的請(qǐng)求識(shí)別，是通過HTTP 請(qǐng)求頭中的User-Agent 字段來判斷的，每個(gè)搜索引擎有自己的獨(dú)立標(biāo)識(shí)。而且通過這些內(nèi)容，管理員也可以在訪問日志中了解搜索引擎爬過哪些內(nèi)容。

此外，在對(duì)搜索引擎的「爬取聲明文件」robots.txt中，也會(huì)有類似的User-agent 描述。比如下面是taobao 的robots.txt描述

User-agent:  Baiduspider 
Allow:  /article 
Allow:  /oshtml 
Disallow:  /product/ 
Disallow:  / 
 
User-Agent:  Googlebot 
Allow:  /article 
Allow:  /oshtml 
Allow:  /product 
Allow:  /spu 
Allow:  /dianpu 
Allow:  /oversea 
Allow:  /list 
Disallow:  / 
 
User-agent:  Bingbot 
Allow:  /article 
Allow:  /oshtml 
Allow:  /product 
Allow:  /spu 
Allow:  /dianpu 
Allow:  /oversea 
Allow:  /list 
Disallow:  / 
 
User-Agent:  360Spider 
Allow:  /article 
Allow:  /oshtml 
Disallow:  / 
 
User-Agent:  Yisouspider 
Allow:  /article 
Allow:  /oshtml 
Disallow:  / 
 
User-Agent:  Sogouspider 
Allow:  /article 
Allow:  /oshtml 
Allow:  /product 
Disallow:  / 
 
User-Agent:  Yahoo!  Slurp 
Allow:  /product 
Allow:  /spu 
Allow:  /dianpu 
Allow:  /oversea 
Allow:  /list 
Disallow:  /

我們?cè)賮砜?Tomcat對(duì)于搜索引擎的請(qǐng)求做了什么特殊處理呢?

對(duì)于請(qǐng)求涉及到 Session，我們知道通過 Session，我們?cè)诜?wù)端得以識(shí)別一個(gè)具體的用戶。那 Spider 的大量請(qǐng)求到達(dá)后，如果訪問頻繁同時(shí)請(qǐng)求量大時(shí)，就需要?jiǎng)?chuàng)建巨大量的 Session，需要占用和消耗很多內(nèi)存，這無形中占用了正常用戶處理的資源。

為此， Tomcat 提供了一個(gè) 「Valve」，用于對(duì) Spider 的請(qǐng)求做一些處理。

首先識(shí)別 Spider 請(qǐng)求，對(duì)于 Spider 請(qǐng)求，使其使用相同的 SessionId繼續(xù)后面的請(qǐng)求流程，從而避免創(chuàng)建大量的 Session 數(shù)據(jù)。

這里需要注意，即使Spider顯式的傳了一個(gè) sessionId過來，也會(huì)棄用，而是根據(jù)client Ip 來進(jìn)行判斷，即對(duì)于相同的 Spider 只提供一個(gè)Session。

我們來看代碼：

// If the incoming request has a valid session ID, no action is required 
if (request.getSession(false) == null) { 
 
    // Is this a crawler - check the UA headers 
    Enumeration<String> uaHeaders = request.getHeaders("user-agent"); 
    String uaHeader = null; 
    if (uaHeaders.hasMoreElements()) { 
        uaHeader = uaHeaders.nextElement(); 
    } 
 
    // If more than one UA header - assume not a bot 
    if (uaHeader != null && !uaHeaders.hasMoreElements()) { 
        if (uaPattern.matcher(uaHeader).matches()) { 
            isBot = true; 
            if (log.isDebugEnabled()) { 
                log.debug(request.hashCode() + 
                        ": Bot found. UserAgent=" + uaHeader); 
            } 
        } 
    } 
 
    // If this is a bot, is the session ID known? 
    if (isBot) { 
        clientIp = request.getRemoteAddr(); 
        sessionId = clientIpSessionId.get(clientIp); 
        if (sessionId != null) { 
            request.setRequestedSessionId(sessionId); // 重用session 
        } 
    } 
} 
 
getNext().invoke(request, response); 
 
if (isBot) { 
    if (sessionId == null) { 
        // Has bot just created a session, if so make a note of it 
        HttpSession s = request.getSession(false); 
        if (s != null) { 
            clientIpSessionId.put(clientIp, s.getId()); //針對(duì)Spider生成session 
            sessionIdClientIp.put(s.getId(), clientIp); 
            // #valueUnbound() will be called on session expiration 
            s.setAttribute(this.getClass().getName(), this); 
            s.setMaxInactiveInterval(sessionInactiveInterval); 
 
            if (log.isDebugEnabled()) { 
                log.debug(request.hashCode() + 
                        ": New bot session. SessionID=" + s.getId()); 
            } 
        } 
    } else { 
        if (log.isDebugEnabled()) { 
            log.debug(request.hashCode() + 
                    ": Bot session accessed. SessionID=" + sessionId); 
        } 
    } 
}

判斷Spider 是通過正則

private String crawlerUserAgents = 
    ".*[bB]ot.*|.*Yahoo! Slurp.*|.*Feedfetcher-Google.*"; 
// 初始化Valve的時(shí)候進(jìn)行compile 
uaPattern = Pattern.compile(crawlerUserAgents);

這樣當(dāng) Spider 到達(dá)的時(shí)候就能通過 User-agent識(shí)別出來并進(jìn)行特別處理從而減小受其影響。

這個(gè) Valve的名字是：「CrawlerSessionManagerValve」，好名字一眼就能看出來作用。

其他還有問題么?我們看看，通過ClientIp來判斷進(jìn)行Session共用。

最近 Tomcat 做了個(gè)bug fix，原因是這種通過ClientIp的判斷方式，當(dāng) Valve 配置在Engine下層，給多個(gè)Host 共用時(shí)，只能有一個(gè)Host生效。 fix之后，對(duì)于請(qǐng)求除ClientIp外，還有Host和 Context的限制，這些元素共同組成了 client標(biāo)識(shí)，就能更大程度上共用Session。

修改內(nèi)容如下：

總結(jié)下，該Valve 通過標(biāo)識(shí)識(shí)別出 Spider 請(qǐng)求后，給其分配一個(gè)固定的Session，從而避免大量的Session創(chuàng)建導(dǎo)致我資源占用。

默認(rèn)該Valve未開啟，需要在 server.xml中增加配置開啟。另外我們看上面提供的正則 pattern，和taobao 的robots.txt對(duì)比下，你會(huì)出現(xiàn)并沒有包含國內(nèi)的這些搜索引擎的處理，這個(gè)時(shí)候怎么辦呢?

在配置的時(shí)候傳一下進(jìn)來就OK啦，這是個(gè)public 的屬性

public void setCrawlerUserAgents(String crawlerUserAgents) { 
    this.crawlerUserAgents = crawlerUserAgents; 
    if (crawlerUserAgents == null || crawlerUserAgents.length() == 0) { 
        uaPattern = null; 
    } else { 
        uaPattern = Pattern.compile(crawlerUserAgents); 
    } 
}