譯者 | 布加迪
審校 | 重樓
我們這個數字世界充滿了數據，但實現數據的全部價值可能很困難。如果你是數據工程的新手，可能會對需要學習和理解的種種工具和概念感到有點不知所措。原因在于，從大數據到數據科學，每個有效的數據驅動決策過程都需要設計強大且可擴展的數據管道。
構建數據管道是你應該學習的一項非常重要的技能。數據管道就是將數據從一個位置傳輸到另一個位置的一系列過程，常常在此過程中改變數據。我相信你一定聽說過ETL這個術語，它代表提取、轉換和加載。
可以這么想：數據管道類似工廠裝配線。原材料（數據）從一端進來，經過幾個加工（處理）步驟，然后作為成品（處理過的數據）從另一端出來。
典型的數據管道包括以下幾個階段：
1. 數據攝取：即從各種來源（包括數據庫、API和文件系統）收集數據的過程。該步驟負責最初的數據收集，可以實時或批量收集。
2. 數據處理：即對數據進行修改、清理和分組，為分析做準備。該步驟可能包括數據豐富、規范及其他類型的數據操作。
3. 數據存儲：即將處理后的數據存儲在數據倉庫、數據湖或其他存儲系統中。所使用的存儲系統類型會影響數據的搜索和檢查方式。
4. 數據交付：即向最終用戶或系統提供用于分析、報告或進一步處理的數據。該步驟通常需要開發數據可視化工具或連接業務智能工具。
隨著組織規模和數據復雜性的增加，可擴展數據管道變得更必不可少。構建不力的管道可能會導致性能問題，比如系統崩潰、緩慢的處理速率和延長的停機時間。因此，收入來源會下降，影響消費者滿意度。
可擴展數據管道對于企業跟上業務需求的增長速度至關重要。沒有它們，企業將無力處理客戶或應用程序每天生成的大量數據。據Gartner的一項研究顯示，糟糕的數據質量平均每年給企業造成1500萬美元的損失，導致數字化計劃遭破壞、競爭地位被削弱以及客戶不信任。
這就是為什么我們在本文中將介紹如何構建可擴展數據管道的五個技巧。我們將先討論一些常見的可擴展性問題，最后重點介紹用于構建可擴展數據管道的一些工具和技術。
圖1. 北美數據管道市場規模2019年至2030年（單位：10億美元）
由于金融、醫療保健和零售等行業的采用增加，預計從2023年到2030年，全球數據管道市場將以22.4%的年復合增長率增長。北美目前是市場的領導者，亞太區預計將迎來最快的增長，部分原因是低延遲網絡基礎設施領域獲得投入，比如諾基亞與澳大利亞Optus的合作項目。
不妨看一個真實的場景。
真實場景
不妨考慮一個真實場景：一家正在快速增長的電子商務公司。隨著客戶群擴大，該公司從網站互動、購買歷史記錄、客戶評論和庫存量收集的數據量也隨之增加。最初，其數據管道被設計用于處理適度的交易量，但隨著銷售額在旺季飆升，問題開始出現。
比如在黑色星期五這樣的重大銷售活動期間，該公司的數據管道力不從心。大量涌入的數據使系統不堪重負，導致實時處理訂單和更新庫存出現延遲。這可能導致沮喪的客戶收到不準確的庫存信息或遇到訂單確認延遲，從而影響銷售額和客戶滿意度。
為了應對這些挑戰，該公司需要擴展數據管道。它可以從實施一套更靈活的架構入手，該架構可以動態調整以適應不同的數據負載。比如說，使用基于云的服務便于它在熱銷活動期間分配更多的資源，在較平淡的期間縮減資源，確保它可以處理數據峰值而不會出現問題。
此外，該公司可以集成流數據處理框架來實時分析進入的數據。這意味著它可以即時監控銷售趨勢和庫存量，從而能夠更快地根據數據做出決策。通過增強數據管道的可擴展性，該公司不僅提高了運營效率，還提高了客戶信任度和留住率。
數據管道中的常見可擴展性問題
數據管道中的可擴展性問題可能會很快變得混亂，尤其是當數據量和復雜性增加時。以下是一些最常見的挑戰：
1. 數據處理方面的瓶頸
隨著數據負載增加，管道可能難以實時處理所有數據。如果管道的某一部分（比如轉換或豐富步驟）很緩慢，可能會阻礙其他所有步驟，造成波及整個系統的延遲。這就像一家繁忙的咖啡店里慢吞吞的咖啡師；如果某一步卡住了，其他步驟有多快都不重要。
2. 存儲和檢索速度
由于大量數據流入，存儲系統可能難以跟上，從而導致數據檢索和處理時間變慢。傳統數據庫可能無法有效擴展，在訪問數據進行分析或報告時導致延遲。數據倉庫和云存儲解決方案是更具可擴展性的選擇，但它們須認真加以管理，以免遇到性能瓶頸。
3. 處理數據峰值
許多數據管道在流量突然激增時會崩潰。比如說，零售公司在節日銷售或產品發布期間可能會遇到大量數據。如果沒有自動擴展功能，管道可能不堪重負，導致數據丟失或延遲，最終影響公司實時響應需求的能力。
4. 數據質量和一致性
當管道擴展時，跨數據源維護數據質量可能成為一大挑戰。在快速從不同來源提取數據時，經常會出現不一致和丟失數據的情況。這些問題不僅減慢處理速度，還會導致獲得的洞察力不準確，從而誤導決策者。
5. 資源爭用
隨著管道擴大，相互競爭的流程（比如同時運行的多個ETL作業）可能會爭奪相同的資源，從而降低彼此的速度。這可能導致不可預測的性能，其中某些作業被延遲，或者數據被無序處理。
然而，非常仔細的規劃和準備加上可靠的執行可以解決這些可擴展性問題。下面介紹的技巧可發幫助你構建可擴展的數據管道。
構建可擴展數據管道的技巧
構建可擴展的數據管道需要時間和精力才能入手，旨在創建一個隨著組織需求而增長的系統，又不錯過任何機會。隨著公司不斷擴張，這么做絕對是值得的。以下是確保數據管道可擴展的五個關鍵的實用技巧：
1. 選擇正確的架構
說到可擴展性，架構就是一切。精心選擇的架構可以處理增加的數據負載或處理需求，而不陷入困境或需要進行重大改動。這通常意味著考慮分布式系統，這種系統允許你在需求增加時，通過向架構中添加更多的節點進行橫向擴展。
基于云的解決方案在這方面很出色，特別是在高流量期間，提供了基于使用模式快速擴展或縮減基礎設施的靈活性。關鍵是要有一套不僅現在穩健，而且適應性足夠強的架構，以支持新的數據源和更高的處理需求。
2. 實施智能數據管理
可靠的數據管理策略是任何可擴展管道的支柱。先定義你在處理什么，又需要達到什么目標。如果你專注于分析結構化數據以獲取商業智能，傳統的數據倉庫可能是最佳選擇。但如果你在處理大量的非結構化數據，比如社交媒體流或物聯網傳感器數據，數據湖可能是更好的選擇。
數據湖允許你以原始形式存儲數據，這對于各種格式的非結構化數據非常理想。這種無需不斷重新格式化就能處理結構化數據和非結構化數據的靈活性有助于確保管道的效率和適應性。
3. 充分利用并行處理
數據處理可能會變得工作量很大，尤其在處理大量數據時。為了便于管理，不妨考慮并行處理。把任務分解成可以同時運行的小塊。比如說，如果你的管道處理TB級的數據，將其分成不同處理系統可以同時處理的部分。這加快了整體處理速度，使你的管道更具彈性，因為任務不必排隊等待處理。許多大數據框架（比如Apache Spark）在設計時就考慮了并行處理，這使得它們對于可擴展的管道大有價值。
4. 優化數據處理
即使有了可靠的架構，優化也是保持系統平穩運行的關鍵。先減少不必要的數據轉換，因為每個轉換都需要時間和資源。如果你重復處理相同的數據，考慮緩存結果，以避免冗余工作。使用更快的算法和盡量減少數據移動也有幫助——每次數據移動都會產生瓶頸。這對增量更新也大有助益。不是從頭開始重新計算一切，僅僅處理新的數據或更改的數據。這不僅減輕了系統的壓力，還使處理時間更易于預測。
5. 優先考慮實時處理和適應性
可擴展性不僅僅旨在處理更多的數據，還旨在滿足未來的需求，并在需要時為實時處理留出空間。如果你的團隊依靠數據做出快速、明智的決策，就要爭取構建可以支持實時處理或近實時更新的管道。
這可能意味著添置數據流技術或支持快速數據攝取和處理的框架。此外，確保你的管道設計有更改的空間：新的數據源、更新的業務需求或不斷涌現的分析需求不應該每次都需要從頭開始。
構建可擴展數據管道的工具和技術
下面是一些用于構建可擴展數據管道的主要工具和技術。每個都提供了獨特的功能和可擴展選項，因此選擇通常依賴特定的管道需求、青睞的編程語言以及現有的技術基礎設施。
- Apache Kafka：用于構建實時數據管道和應用程序的分布式流平臺。Kafka具有高度可擴展性，旨在處理大量的動態數據。
相關鏈接：https://kafka.apache.org/
- Apache Spark：用于大規模數據處理的強大分析引擎。Spark通過分布式并行處理支持批處理和實時處理，使其成為可擴展數據管道的理想選擇。
相關鏈接：https://spark.apache.org/
- Airflow：由Apache開發的開源工作流管理工具，便于你自動化和調度復雜的數據工作流。Airflow具有可擴展性，并支持DAG（有向無環圖），因而非常適合編排可擴展的管道。
相關鏈接：https://airflow.apache.org/
- dbt（數據構建工具）：dbt是一個數據轉換工具，允許數據工程師處理復雜的轉換工作流。它可以很好地與數據倉庫一起工作，并憑借版本控制和易于協作支持可擴展轉換。
- Snowflake：一款數據倉庫解決方案，內置了處理大規模分析和數據工程的功能。Snowflake的云原生架構支持高效的擴展和管道集成。
相關鏈接：https://www.snowflake.com/
- Databricks：一款基于Apache Spark的統一分析平臺。Databricks為大規模數據工程而設計，它借助面向數據科學和工程的協作特性使用戶很容易構建和管理可擴展的數據管道。
結論
如果關注架構、數據管理、并行處理和深入優化，你就可以建立一個可擴展、高效、為未來做好準備的數據管道。
記住，可擴展性的目的不僅僅是容納更大的數據量，而是增強快速響應不斷變化的業務需求和利用實時洞察力的能力。從選擇的架構到實施的數據處理技術，你所做的每個決定都會影響管道的性能和適應性。
所以，無論你是剛開始構建管道還是想要完善現有的管道，都要記住這些技巧。擁抱挑戰，將你的數據管道變成推動貴公司向前發展的潛在動力。
原文標題：5 Tips for Building Scalable Data Pipelines，作者：Shittu Olumide
