零停機(jī)！一次驚心動(dòng)魄的10億金融數(shù)據(jù)遷移實(shí)戰(zhàn)

作者：Himanshu Singour 2025-11-10 07:29:30

我們不僅僅是遷移了十億條記錄，我們認(rèn)識(shí)到，數(shù)據(jù)遷移不是數(shù)據(jù)庫(kù)問(wèn)題，而是系統(tǒng)設(shè)計(jì)問(wèn)題。你不會(huì)一次性遷移十億行數(shù)據(jù)。你會(huì)一次遷移一個(gè)安全批次，一次遷移一個(gè) WAL 條目，一次遷移一個(gè)校驗(yàn)和。

有些項(xiàng)目，你一輩子都忘不了。

圖片

對(duì)我來(lái)說(shuō)，就是那個(gè)夜晚（其實(shí)連續(xù)了很多個(gè)夜晚），我們把超過(guò)10億條記錄從舊數(shù)據(jù)庫(kù)遷移到新數(shù)據(jù)庫(kù)……

全程沒(méi)有一秒鐘的停機(jī)。

我們遷移的是關(guān)鍵金融數(shù)據(jù)——支付、訂單、賬本。一旦出錯(cuò)，客戶(hù)會(huì)虧錢(qián)，儀表板會(huì)崩潰，信任會(huì)在一夜之間蒸發(fā)。

我們通過(guò)研究數(shù)據(jù)庫(kù)內(nèi)部原理、艱難權(quán)衡以及每個(gè)決策背后的人性壓力，以最痛苦的方式學(xué)會(huì)了系統(tǒng)設(shè)計(jì)。

我們?yōu)槭裁幢仨氝@么做

舊數(shù)據(jù)庫(kù)一直兢兢業(yè)業(yè)地為我們服務(wù)著，但規(guī)模擴(kuò)大改變了一切。

以前只需幾毫秒就能完成的查詢(xún)，現(xiàn)在卻要耗費(fèi)幾秒鐘
批處理任務(wù)（比如結(jié)算）有時(shí)候要跑好幾個(gè)小時(shí)
我們已經(jīng)做了垂直擴(kuò)展（更強(qiáng)的硬件），也做了水平擴(kuò)展（只讀副本），但還是不夠
模式僵化，每一個(gè)新功能都像做外科手術(shù)

數(shù)據(jù)庫(kù)記錄數(shù)量突破10億，不堪重負(fù)。業(yè)務(wù)不斷增長(zhǎng)，停機(jī)時(shí)間是不可接受的。我們別無(wú)選擇：遷移。

但，這么大的數(shù)據(jù)量，怎么做到不停機(jī)遷移？

第一步：批量遷移舊數(shù)據(jù)

我們從“冷數(shù)據(jù)”入手，也就是那些不再更新的舊交易數(shù)據(jù)。

數(shù)據(jù)庫(kù)內(nèi)部發(fā)生了什么？

如果你嘗試導(dǎo)出十億行數(shù)據(jù)，數(shù)據(jù)庫(kù)會(huì)占用巨大的緩沖區(qū)，可能會(huì)溢出到磁盤(pán)，然后崩潰
每向新數(shù)據(jù)庫(kù)中插入一行數(shù)據(jù)都會(huì)更新索引，這會(huì)減慢整個(gè)數(shù)據(jù)庫(kù)的運(yùn)行速度
外鍵約束意味著每次插入數(shù)據(jù)都必須檢查其他表

我們?cè)趺醋龅模?/p>

將表格拆分成按主鍵范圍分塊（例如，ID 1–5M、5M–10M）
加載期間禁用二級(jí)索引和約束
并行運(yùn)行多個(gè)工作進(jìn)程
每個(gè)數(shù)據(jù)塊處理完畢后，我們運(yùn)行了校驗(yàn)和確保數(shù)據(jù)完全匹配

這辦法不花哨，但管用。

教訓(xùn)：超大遷移，別想著“一把梭”。要分塊 + 并行 + 冪等。

第二步：雙寫(xiě)，接住實(shí)時(shí)流量

復(fù)制舊數(shù)據(jù)很容易，真正的挑戰(zhàn)在于如何應(yīng)對(duì)不斷增長(zhǎng)的新流量。

試想一下：在我們復(fù)制舊數(shù)據(jù)的同時(shí)，每秒仍有數(shù)千筆新的付款信息涌入。如果我們不記錄這些信息，新的數(shù)據(jù)庫(kù)就會(huì)始終滯后。

我們?cè)趺醋龅模?/p>

修改了應(yīng)用程序，使其能夠進(jìn)行雙重寫(xiě)入：每次插入新數(shù)據(jù)都會(huì)同時(shí)寫(xiě)入舊數(shù)據(jù)庫(kù)和新數(shù)據(jù)庫(kù)。
如果新的數(shù)據(jù)庫(kù)寫(xiě)入失敗，則該事件會(huì)被推送到Kafka 重試隊(duì)列中。
消費(fèi)者反復(fù)嘗試，直到成功為止。
我們通過(guò)給寫(xiě)入操作添加唯一ID標(biāo)簽，使寫(xiě)入操作具有冪等性。（因此，即使重試兩次，也不會(huì)重復(fù)寫(xiě)入同一行。

為什么可行：

在PostgreSQL/MySQL這類(lèi)關(guān)系庫(kù)，每次插入先寫(xiě)WAL（預(yù)寫(xiě)日志）。我們利用了這一原理，確保至少在一個(gè)地方寫(xiě)入成功，并不斷重試，直到兩個(gè)數(shù)據(jù)庫(kù)的結(jié)果一致為止。

教訓(xùn)：雙寫(xiě) =低成本分布式事務(wù)。重試隊(duì)列能救你于部分失敗。