今天我們要分享的是關(guān)于Paimon的小文件治理。

在Paimon的流式數(shù)據(jù)湖倉架構(gòu)中，小文件問題是影響系統(tǒng)穩(wěn)定性和查詢性能的關(guān)鍵挑戰(zhàn)。

小文件的產(chǎn)生不僅會加重底層分布式文件系統(tǒng)（如HDFS）的元數(shù)據(jù)管理負擔(dān)，導(dǎo)致NameNode壓力過大，還會顯著降低數(shù)據(jù)查詢效率。

那么有哪些有效手段可以解決Paimon小文件問題？我們逐一分析。

一、參數(shù)調(diào)優(yōu)

參數(shù)調(diào)優(yōu)主要包含F(xiàn)link、Paimon，平衡寫入性能、數(shù)據(jù)延遲和文件管理開銷。

1.1 Flink作業(yè)參數(shù)優(yōu)化

1.1.1 調(diào)整Checkpoint間隔

Checkpoint間隔是影響Paimon小文件數(shù)量的最關(guān)鍵參數(shù)之一。每次觸發(fā)Checkpoint時，Paimon的Writer會強制將其內(nèi)存中的WriteBuffer數(shù)據(jù)刷寫到分布式文件系統(tǒng)上，從而生成新的數(shù)據(jù)文件。

圖片

但是增大Checkpoint間隔會增加數(shù)據(jù)可見性的延遲時間，需要根據(jù)業(yè)務(wù)對數(shù)據(jù)實時性的要求平衡。

1.1.2 設(shè)置最大并發(fā)檢查點數(shù)

分布式環(huán)境中，F(xiàn)link作業(yè)的Checkpoint過程可能會出現(xiàn)"長尾"現(xiàn)象。通過設(shè)置execution.checkpointing.max-concurrent-checkpoints參數(shù)，可以控制同時處于進行中的Checkpoint最大數(shù)量，來緩解Checkpoint長尾問題。

1.1.3 調(diào)整Sink并發(fā)度

Paimon的Sink并發(fā)度（sink.parallelism）也是一個可以直接影響小文件生成和寫入性能的關(guān)鍵參數(shù)。

Paimon表的數(shù)據(jù)在物理上是按照分桶（Bucket）進行組織的，每個Bucket對應(yīng)一個獨立的寫入通道。因此，Paimon Sink的并發(fā)度建議與表的Bucket數(shù)量保持一致，確保每個Sink子任務(wù)（Subtask）可以獨立地處理一個Bucket的數(shù)據(jù)，避免數(shù)據(jù)在Sink節(jié)點之間進行重分布（Shuffle），從而提高寫入效率。

但是，增加并發(fā)度意味著需要更多的TaskManager資源（CPU、內(nèi)存），同時也可能導(dǎo)致生成更多的小文件。因為每個Sink子任務(wù)都會有自己的WriteBuffer，并發(fā)度越高，總的WriteBuffer數(shù)量就越多，在Checkpoint觸發(fā)時，可能會同時刷寫更多的小文件。因此需要綜合考慮數(shù)據(jù)量、數(shù)據(jù)分布、集群資源和目標文件大小等多個因素，通過實驗和監(jiān)控找到一個最優(yōu)的配置。

1.2 Paimon表參數(shù)優(yōu)化

除了Flink作業(yè)層面的參數(shù)調(diào)優(yōu)，Paimon本身也提供了一系列表參數(shù)，來控制數(shù)據(jù)的寫入、存儲和合并。

我們重點介紹幾個關(guān)鍵的Paimon表參數(shù)：

• 目標文件大小（target-file-size）
• 寫緩沖區(qū)大小、溢出策略（write-buffer-size, write-buffer-spillable）
• 桶數(shù)量（bucket）

1.2.1 設(shè)置目標文件大小

target-file-size定義了Compaction過程期望生成的最終數(shù)據(jù)文件的大小。Paimon的Compaction機制會不斷地把多個小文件合并成一個更大的文件，減少文件數(shù)量，提升查詢性能。

這個參數(shù)直接決定了Paimon表中穩(wěn)定數(shù)據(jù)文件的大小，是控制小文件數(shù)量的關(guān)鍵。

圖片

1.2.2 調(diào)整寫緩沖區(qū)大小與溢出策略

Paimon Writer在將數(shù)據(jù)寫入磁盤之前，會先把數(shù)據(jù)緩存在內(nèi)存中的一個排序緩沖區(qū)（WriteBuffer）里。緩沖區(qū)的大小由參數(shù)write-buffer-size控制，默認值為128MB。當(dāng)WriteBuffer被數(shù)據(jù)填滿時，它會被排序并刷寫到磁盤，形成一個L0層的小文件。

write-buffer-size直接決定了單個L0文件的最小期望大小。增大write-buffer-size，可以把更多的數(shù)據(jù)在內(nèi)存中進行累積和排序，從而在每次刷寫時生成體積更大的L0文件，從源頭上減少小文件的數(shù)量。

Paimon還提供了一個重要的參數(shù):write-buffer-spillable。當(dāng)將此參數(shù)設(shè)置為true時，如果WriteBuffer被填滿，Paimon會先將數(shù)據(jù)溢出（spill）到本地磁盤上的一個臨時文件中，因此強烈建議生產(chǎn)環(huán)境開啟。

1.2.3 優(yōu)化桶（Bucket）數(shù)量

Paimon表的數(shù)據(jù)在物理上是按照分區(qū)（Partition）和分桶（Bucket）進行組織的。

每個分區(qū)下的數(shù)據(jù)會被進一步劃分為多個Bucket，每個Bucket對應(yīng)一個單獨的LSM-Tree結(jié)構(gòu)和寫入通道。

Bucket的數(shù)量直接決定了表的并發(fā)寫入能力和文件的組織方式。合理設(shè)置Bucket數(shù)量是治理小文件問題的關(guān)鍵一環(huán)。

我們有一個經(jīng)驗性的結(jié)論，單個Bucket的數(shù)據(jù)量維持在1GB左右。

1.3 異步化小文件合并

推薦生產(chǎn)環(huán)境開啟異步Compaction。

二、運維監(jiān)控

此外，寫入Paimon的監(jiān)控項可以參考：

圖片