2019 年春晚，無數家庭都圍坐在一起邊看春晚邊搶紅包。面對海量流量的沖擊，騰訊、阿里連續宕機 3 年，而這次百度卻挺住了。

今年，百度 App 作為春晚獨家網絡紅包互動平臺，承擔全球觀眾參與互動次數高達 208 億次!百度 App DAU 突破 3 億，內容生態矩陣 DAU 借勢達到 4 億!

這背后，百度技術部門全體員工發揮了極其關鍵的技術。同樣作為技術人員，我將自己看到的高并發技術層面及技術細節整理成這篇文章，為大家分享《高并發下的秒殺》!

運營活動帶來的高并發，對我們來說，并不陌生。比如春晚活動、秒殺，但從技術的角度來說，這對于 Web 系統是一個巨大的考驗。

當一個 Web 系統，在 1 秒鐘內收到數以萬計甚至更多請求時，系統的優化和穩定至關重要。

這次我們會關注秒殺和搶購的技術實現和優化，同時從技術層面揭開，為什么我們總是不容易搶到火車票的原因?

大規模并發帶來的挑戰

在過去的工作中，我曾經面對過 5w 每秒的高并發秒殺功能，在這個過程中，整個 Web 系統遇到了很多的問題和挑戰。

如果 Web 系統不做針對性的優化，會輕而易舉地陷入到異常狀態?，F在我們一起來討論下，優化的思路和方法。

請求接口的合理設計

一個秒殺或者搶購頁面，通常分為 2 個部分，一個是靜態的 HTML 等內容，另一個就是參與秒殺的 Web 后臺請求接口。

通常靜態 HTML 等內容，是通過 CDN 的部署，一般壓力不大，核心瓶頸實際上在后臺請求接口上。

這個后端接口，必須能夠支持高并發請求，同時，非常重要的一點，必須盡可能“快”，在最短的時間里返回用戶的請求結果。

為了實現盡可能快這一點，接口的后端存儲使用內存級別的操作會更好一點。

仍然直接面向 MySQL 之類的存儲是不合適的，如果有這種復雜業務的需求，都建議采用異步寫入。

 

當然，也有一些秒殺和搶購采用“滯后反饋”，就是說秒殺當下不知道結果，一段時間后才可以從頁面中看到用戶是否秒殺成功。

但是，這種屬于“偷懶”行為，同時給用戶的體驗也不好，容易被用戶認為是“暗箱操作”。

高并發的挑戰：一定要“快”

我們通常衡量一個 Web 系統的吞吐率的指標是 QPS(Query Per Second，每秒處理請求數)，解決每秒數萬次的高并發場景，這個指標非常關鍵。

舉個例子，我們假設處理一個業務請求平均響應時間為 100ms，同時，系統內有 20 臺 Apache 的 Web 服務器，配置 Max Clients 為 500 個(表示 Apache 的最大連接數目)。

那么，我們的 Web 系統的理論峰值 QPS 為(理想化的計算方式)：

• 20*500/0.1 = 100000 (10 萬 QPS)

咦?我們的系統似乎很強大，1 秒鐘可以處理完 10 萬的請求，5w/s 的秒殺似乎是“紙老虎”。

實際情況，當然沒有這么理想。在高并發的實際場景下，機器都處于高負載的狀態，在這個時候平均響應時間會被大大增加。

就 Web 服務器而言，Apache 打開了越多的連接進程，CPU 需要處理的上下文切換也越多，額外增加了 CPU 的消耗，然后就直接導致平均響應時間增加。

因此上述的 Max Client 數目，要根據 CPU、內存等硬件因素綜合考慮，絕對不是越多越好。

可以通過 Apache 自帶的 Abench 來測試一下，取一個合適的值。然后，我們選擇內存操作級別的存儲的 Redis，在高并發的狀態下，存儲的響應時間至關重要。

網絡帶寬雖然也是一個因素，不過，這種請求數據包一般比較小，一般很少成為請求的瓶頸。負載均衡成為系統瓶頸的情況比較少，在這里不做討論。

那么問題來了，假設我們的系統，在 5w/s 的高并發狀態下，平均響應時間從 100ms 變為 250ms(實際情況，甚至更多)：

• 20*500/0.25 = 40000 (4 萬 QPS)

于是，我們的系統剩下了 4w 的 QPS，面對 5w 每秒的請求，中間相差了 1w。

然后，這才是真正的惡夢開始。舉個例子，高速路口，1 秒鐘來 5 部車，每秒通過 5 部車，高速路口運作正常。

突然，這個路口 1 秒鐘只能通過 4 部車，車流量仍然依舊，結果必定出現大塞車。(5 條車道忽然變成 4 條車道的感覺)

同理，某一個秒內，20*500 個可用連接進程都在滿負荷工作中，卻仍然有 1 萬個新來請求，沒有連接進程可用，系統陷入到異常狀態也是預期之內。

 

其實在正常的非高并發的業務場景中，也有類似的情況出現，某個業務請求接口出現問題，響應時間極慢，將整個 Web 請求響應時間拉得很長，逐漸將 Web 服務器的可用連接數占滿，其他正常的業務請求，無連接進程可用。

更可怕的問題是，是用戶的行為特點，系統越是不可用，用戶的點擊越頻繁，惡性循環最終導致“雪崩”(其中一臺 Web 機器掛了，導致流量分散到其他正常工作的機器上，再導致正常的機器也掛，然后惡性循環)，將整個 Web 系統拖垮。

重啟與過載保護

如果系統發生“雪崩”，貿然重啟服務，是無法解決問題的。最常見的現象是，啟動起來后，立刻掛掉。

這個時候，最好在入口層將流量拒絕，然后再進行重啟。如果是 Redis/Memcache 這種服務也掛了，重啟的時候需要注意“預熱”，并且很可能需要比較長的時間。

秒殺和搶購的場景，流量往往是超乎我們系統的準備和想象的。這個時候，過載保護是必要的。

如果檢測到系統滿負載狀態，拒絕請求也是一種保護措施。在前端設置過濾是最簡單的方式，但是，這種做法是被用戶“千夫所指”的行為。

更合適的一點是，將過載保護設置在 CGI 入口層，快速將客戶的直接請求返回。

進攻與防守

①同一個賬號，一次性發出多個請求

部分用戶通過瀏覽器的插件或者其他工具，在秒殺開始的時間里，以自己的賬號，一次發送上百甚至更多的請求。實際上，這樣的用戶破壞了秒殺和搶購的公平性。

這種請求在某些沒有做數據安全處理的系統里，也可能造成另外一種破壞，導致某些判斷條件被繞過。

例如一個簡單的領取邏輯，先判斷用戶是否有參與記錄，如果沒有則領取成功，最后寫入到參與記錄中。

這是個非常簡單的邏輯，但是，在高并發的場景下，存在深深的漏洞。多個并發請求通過負載均衡服務器，分配到內網的多臺 Web 服務器。

它們首先向存儲發送查詢請求，然后，在某個請求成功寫入參與記錄的時間差內，其他的請求獲查詢到的結果都是“沒有參與記錄”。這里，就存在邏輯判斷被繞過的風險。

 

應對方案：在程序入口處，一個賬號只允許接受 1 個請求，其他請求過濾。不僅解決了同一個賬號，發送 N 個請求的問題，還保證了后續的邏輯流程的安全。

實現方案：可以通過 Redis 這種內存緩存服務，寫入一個標志位(只允許 1 個請求寫成功，結合 Watch 的樂觀鎖的特性)，成功寫入的則可以繼續參加。

 

或者，自己實現一個服務，將同一個賬號的請求放入一個隊列中，處理完一個，再處理下一個。

②多個賬號，一次性發送多個請求

很多公司的賬號注冊功能，在發展早期幾乎是沒有限制的，很容易就可以注冊很多個賬號。

因此，也導致了出現了一些特殊的工作室，通過編寫自動注冊腳本，積累了一大批“僵尸賬號”，數量龐大，幾萬甚至幾十萬的賬號不等，專門做各種刷的行為(這就是微博中的“僵尸粉“的來源)。

舉個例子，例如微博中有轉發抽獎的活動，如果我們使用幾萬個“僵尸號”去混進去轉發，這樣就可以大大提升我們中獎的概率。

這種賬號，使用在秒殺和搶購里，也是同一個道理。例如，iPhone 官網的搶購，火車票黃牛黨。

 

應對方案：這種場景，可以通過檢測指定機器 IP 請求頻率就可以解決。

如果發現某個 IP 請求頻率很高，可以給它彈出一個驗證碼或者直接禁止它的請求：

• 彈出驗證碼，最核心的追求，就是分辨出真實用戶。因此，大家可能經常發現，網站彈出的驗證碼，有些是“鬼神亂舞”的樣子，有時讓我們根本無法看清。

他們這樣做的原因，其實也是為了讓驗證碼的圖片不被輕易識別，因為強大的“自動腳本”可以通過圖片識別里面的字符，然后讓腳本自動填寫驗證碼。

實際上，有一些非常創新的驗證碼，效果會比較好，例如給你一個簡單問題讓你回答，或者讓你完成某些簡單操作(例如百度貼吧的驗證碼)。

• 直接禁止 IP，實際上是有些粗暴的，因為有些真實用戶的網絡場景恰好是同一出口 IP 的，可能會有“誤傷“。但是這一個做法簡單高效，根據實際場景使用可以獲得很好的效果。

③多個賬號，不同 IP 發送不同請求

所謂道高一尺，魔高一丈。有進攻，就會有防守，永不休止。這些“工作室”，發現你對單機 IP 請求頻率有控制之后，他們也針對這種場景，想出了他們的“新進攻方案”，就是不斷改變 IP。

 

有同學會好奇，這些隨機 IP 服務怎么來的。有一些是某些機構自己占據一批獨立 IP，然后做成一個隨機代理 IP 的服務，有償提供給這些“工作室”使用。

還有一些更為黑暗一點的，就是通過木馬黑掉普通用戶的電腦，這個木馬也不破壞用戶電腦的正常運作，只做一件事情，就是轉發 IP 包，普通用戶的電腦被變成了 IP 代理出口。

通過這種做法，黑客就拿到了大量的獨立 IP，然后搭建為隨機 IP 服務，就是為了掙錢。

應對方案：說實話，這種場景下的請求，和真實用戶的行為，已經基本相同了，想做分辨很困難。

再做進一步的限制很容易“誤傷“真實用戶，這個時候，通常只能通過設置業務門檻高來限制這種請求了，或者通過賬號行為的”數據挖掘“來提前清理掉它們。

僵尸賬號也還是有一些共同特征的，例如賬號很可能屬于同一個號碼段甚至是連號的，活躍度不高，等級低，資料不全等等。

根據這些特點，適當設置參與門檻，例如限制參與秒殺的賬號等級。通過這些業務手段，也是可以過濾掉一些僵尸號。

④火車票的搶購

看到這里，同學們是否明白你為什么搶不到火車票?如果你只是老老實實地去搶票，真的很難。

通過多賬號的方式，火車票的黃牛將很多車票的名額占據，部分強大的黃牛，在處理驗證碼方面，更是“技高一籌“。

高級的黃牛刷票時，在識別驗證碼的時候使用真實的人，中間搭建一個展示驗證碼圖片的中轉軟件服務，真人瀏覽圖片并填寫下真實驗證碼，返回給中轉軟件。

對于這種方式，驗證碼的保護限制作用被廢除了，目前也沒有很好的解決方案。

 

因為火車票是根據身份證實名制的，這里還有一個火車票的轉讓操作方式。

大致的操作方式，是先用買家的身份證開啟一個搶票工具，持續發送請求，黃牛賬號選擇退票，然后黃牛買家成功通過自己的身份證購票成功。

當一列車廂沒有票了的時候，是沒有很多人盯著看的，況且黃牛們的搶票工具也很強大，即使讓我們看見有退票，我們也不一定能搶得過他們。

 

最終，黃牛順利將火車票轉移到買家的身份證下。

解決方案：并沒有很好的解決方案，唯一可以動心思的也許是對賬號數據進行“數據挖掘”。

這些黃牛賬號也是有一些共同特征的，例如經常搶票和退票，節假日異?；钴S等等。將它們分析出來，再做進一步處理和甄別。

高并發下的數據安全

我們知道在多線程寫入同一個文件的時候，會存現“線程安全”的問題(多個線程同時運行同一段代碼，如果每次運行結果和單線程運行的結果是一樣的，結果和預期相同，就是線程安全的)。

如果是 MySQL 數據庫，可以使用它自帶的鎖機制很好的解決問題，但是，在大規模并發的場景中，是不推薦使用 MySQL 的。

秒殺和搶購的場景中，還有另外一個問題，就是“超發”，如果在這方面控制不慎，會產生發送過多的情況。

我們也曾經聽說過，某些電商搞搶購活動，買家成功拍下后，商家卻不承認訂單有效，拒絕發貨。

這里的問題，也許并不一定是商家奸詐，而是系統技術層面存在超發風險導致的。

超發的原因

假設某個搶購場景中，我們一共只有 100 個商品，在最后一刻，我們已經消耗了 99 個商品，僅剩最后一個。

這個時候，系統發來多個并發請求，這批請求讀取到的商品余量都是 99 個，然后都通過了這一個余量判斷，最終導致超發。(同文章前面說的場景)

 

在上面的這個圖中，就導致了并發用戶 B 也“搶購成功”，多讓一個人獲得了商品。這種場景，在高并發的情況下非常容易出現。

悲觀鎖思路

解決線程安全的思路很多，可以從“悲觀鎖”的方向開始討論。

悲觀鎖，也就是在修改數據的時候，采用鎖定狀態，排斥外部請求的修改。遇到加鎖的狀態，就必須等待。

 

雖然上述的方案的確解決了線程安全的問題，但是，別忘記，我們的場景是“高并發”。

也就是說，會有很多這樣的修改請求，每個請求都需要等待“鎖”，某些線程可能永遠都沒有機會搶到這個“鎖”，這種請求就會死在那里。

同時，這種請求會很多，瞬間增大系統的平均響應時間，結果是可用連接數被耗盡，系統陷入異常。

FIFO 隊列思路

那好，那么我們稍微修改一下上面的場景，我們直接將請求放入隊列中的，采用 FIFO(First Input First Output，先進先出)，這樣的話，我們就不會導致某些請求永遠獲取不到鎖。

看到這里，是不是有點強行將多線程變成單線程的感覺呢?

 

然后，我們現在解決了鎖的問題，全部請求采用“先進先出”的隊列方式來處理。

那么新的問題來了，高并發的場景下，因為請求很多，很可能一瞬間將隊列內存“撐爆”，然后系統又陷入到了異常狀態。

或者設計一個極大的內存隊列，也是一種方案，但是，系統處理完一個隊列內請求的速度根本無法和瘋狂涌入隊列中的數目相比。

也就是說，隊列內的請求會越積累越多，最終 Web 系統平均響應時候還是會大幅下降，系統還是陷入異常。

樂觀鎖思路

這個時候，我們就可以討論一下“樂觀鎖”的思路了。樂觀鎖，是相對于“悲觀鎖”采用更為寬松的加鎖機制，大都是采用帶版本號(Version)更新。

實現就是，這個數據所有請求都有資格去修改，但會獲得一個該數據的版本號，只有版本號符合的才能更新成功，其他的返回搶購失敗。

這樣的話，我們就不需要考慮隊列的問題，不過，它會增大 CPU 的計算開銷。但是，綜合來說，這是一個比較好的解決方案。

 

有很多軟件和服務都采用“樂觀鎖”功能的支持，例如 Redis 中的 Watch 就是其中之一。通過這個實現，我們保證了數據的安全。

小結

互聯網正在高速發展，使用互聯網服務的用戶越多，高并發的場景也變得越來越多。

電商秒殺和搶購，是兩個比較典型的互聯網高并發場景。雖然我們解決問題的具體技術方案可能千差萬別，但是遇到的挑戰卻是相似的，因此解決問題的思路也異曲同工。