【51CTO.com快譯】在過去10年，隨著大多數企業開始接受數字化變革，數據科學家和數據工程師有著不同的職業發展，并且顯然都有各自特定的服務范圍。企業在業務運營中不斷生成數據。而每個事件都是企業功能的快照，例如收入、損失、第三方合作伙伴關系以及收到的貨物等。但如果不探索和分析數據，就不會獲得任何見解。數據工程的目的是幫助處理這一過程并使其對數據擁有者可用。本文將探討數據工程的定義、數據工程師的技能、工作和職責，以及數據工程的未來發展。
數據工程是什么?
在數據世界中，數據科學家對他們所接觸的信息或數據進行比較。大多數企業將其信息或數據存儲在各種各樣的數據集和數據格式中。這就是數據工程發揮重要作用的地方。簡單地說，數據工程就是由數據工程師來組織和設計數據。他們構建數據管道來更改和組織信息并使其有用。數據工程與數據科學同樣重要。然而，數據工程需要認識到如何獲得激勵形式的數據，例如從A點移動到B點而不受污染的數據。
“數據工程”這個名字代表了這樣一項工作，它不再使用傳統的ETL(抽取、轉換、加載)設備，而是建立了自己的工具來處理不斷擴大的信息或數據量。隨著大數據的發展，數據工程開始描繪一種以數據為主的工程：數據框架、數據倉庫、數據挖掘等等。
數據工程師技能和工具
在知道什么是數據工程之后，再了解一下數據工程師的技能和工具。
在數據工程中，數據工程師使用特定工具來處理數據。但處理每個框架都存在明顯的困難。他們應該考慮信息展示、存放、確認和編碼的方式。這些群體同樣應該理解獲取和控制數據的最有效方法。數據工程考慮從開始到結束測量“數據管道”，每個管道都有一個或多個來源。而在管道內部，數據可能會經歷幾個階段的變化、批準、改進、縮減。數據工程師使用不同類型的工具制作這些管道，例如：
- ELT工具：ETL是在框架之間移動數據的高級分類。這些工具從廣泛的進步中訪問信息，然后應用規則來“更改”和清除數據，以便為分析做好準備。
- Python：Python是一種通用的編程語言。由于其可用性和用于獲取數據集和容量提升的廣泛庫，它已成為執行ETL任務的知名工具。可以使用Python而不是ETL設備進行ETL工作。許多數據工程師使用Python而不是ETL設備，因為它更具適應性，并且對于這些任務更令人印象深刻。
- Apache Hadoop和Spark：Apache Spark和Hadoop可以處理多臺電腦中的大量數據集。它們使應用多臺電腦協作處理數據的工作變得更簡單。當信息量太大以至于無法考慮將其放在單臺電腦上時，擴大容量就顯得尤為重要。如今，Spark和Hadoop不像Python那樣簡單易用，而且不可否認的是更多的人了解和使用Python。
- SQL和NoSQL：SQL和NoSQL是執行數據工程應用程序的基本工具。它們以處理大量正在進行的非結構化和多態數據而聞名。當信息源和目標是類似類型的數據集時，SQL就特別有用。
- HDFS：HDFS在數據工程中用于在準備期間存儲數據。HDFS是一個特定的框架，可以存儲基本無限的數據度量，使它們有助于數據科學工作。
- Amazon S3：Amazon S3是一種類似于HDFS的工具。它還用于存儲大量數據，并使它們可供數據科學家使用。
以上已經提到了“數據工程師”這個術語，人們一定在想：“數據工程師是做什么的?”
數據工程師做什么的?
數據科學家的能力取決于他們可以訪問的數據。數據通常以多種格式存儲，例如數據庫和文本文件。數據工程師將數據轉換成數據科學家可以使用的格式，并為此構建管道。數據工程師和數據科學家一樣重要，但他們并不那么顯眼，因為他們離最終產品更遠。數據工程師需要了解如何開展工作，以及在不篡改的情況下將數據從A點移動到B點的工程技能。
數據工程師將處理數據以便對其進行分析。他們分析數據集并開發算法以使原始數據對企業更有用。數據工程師需要具備許多技術技能，包括對SQL數據庫和多種編程語言的深刻理解。但是數據工程師還必須學習如何與不同部門進行溝通，以便他們能夠從大數據集了解企業領導者的需求。
數據工程師通常需要了解企業或客戶的目標，以構建更容易訪問原始數據的算法。對于處理大型復雜數據集的企業來說，在處理數據時必須使業務目標保持一致。
(1)數據工程師是否會編寫代碼?
眾所周知，只需具備開發人員的強大技能即可擔任數據工程師這個工作角色。數據工程師需要編寫腳本和一些代碼。像數據科學家一樣，數據工程師也需要編寫代碼。他們具有高度的分析能力，并對數據可視化感興趣。當數據工程師使用數據管道時，他們需要編寫代碼。因此，編寫代碼是成為數據工程師的一項重要技能。
(2)數據工程師的職責
數據工程師與數據分析師、數據科學家、業務領導者和系統架構師合作，了解他們的具體要求。數據工程師的職責包括：
- 收集所需的數據：在開始對數據庫進行任何工作之前，數據工程師需要從正確的來源收集數據。在采用一些數據集標準之后，數據工程師存儲升級后的數據。
- 創建數據模型：數據工程師利用數據收集的綁定數據模型來分離記錄的知識點。此外，他們還建立了預測模型，在預測模型中，他們采用預期策略和卓越的經驗了解未來發展。
- 確保數據的安全性和組織性：使用統一的安全控制(如LDAP)、對數據進行編碼并調查對數據的歸納。
- 處理數據：使用針對數據的特定用途進行更新的明顯改進，例如，社交信息集合、NoSQL信息集合、Hadoop、Amazon S3或Azure博客。
- 為明確的先決條件處理數據：使用從不同來源輸入數據的工具，更改和升級數據，匯總數據并將數據存儲在限額系統中。
數據工程的未來發展
隨著技術的飛速發展，數據工程領域正在經歷一場徹底的變革。當前數據工程的發展受到物聯網(IoT)、無服務器計算、混合云、人工智能和機器學習(ML)的影響。
大數據的廣泛應用導致數據工程師的誕生。然而，數據工程在過去八年發生了巨大的變化，這要歸功于數據科學工具的快速自動化。
現代業務分析平臺配備了全自動或半自動化工具，可以收集、準備和清理數據以供數據科學家研究。如今，數據科學家不需要像以前那樣依賴數據工程師來處理信息管道。
隨著從面向批處理的數據移動和處理轉向實時數據移動和處理，實時數據管道和實時數據處理系統已經發生了重大轉變。
數據倉庫在處理數據集市、數據湖或簡單數據集方面具有極大的靈活性，最近變得非常流行。數據工程的新趨勢闡明了數據集流創新如何建立高度可擴展的實時業務分析。
隨著未來事物信息設計的創新轉變，以下領域將會：
- 批量到實時：變更數據捕獲系統正在迅速取代批量ETL，使數據庫流成為現實。傳統的ETL功能現在正在實時發生。數據源和數據倉庫之間的連接性增加，這也意味著通過數據工程實現的高級工具進行自動分析。
- 數據科學功能的自動化。
- 跨越內部部署和云計算環境的混合數據架構。
最近數據工程技術的另一個重大轉變是“按原樣”查看數據，而不是擔心數據的存儲方式和位置。
數據工程vs.數據科學
數據工程和數據科學是相輔相成的，而數據工程師將確保數據科學家能夠可靠地查看信息。
數據科學是一個廣泛而有更多技能的研究領域，其中包括數學、統計學、計算機科學、信息科學和商業領域的數據。它的核心是通過利用邏輯工具、策略、方法和計算從龐大的數據集中分離重要的示例和知識點。數據科學的中心部分科學融合了大數據和機器學習等技術。
此外，他們還使用諸如R、Python和SAS之類的工具來有效地檢查數據。他們期望數據可以隨時使用并在一個地方組合。他們使用圖表、圖表和表示設備來傳達他們的經驗。
數據工程師使用SQL和Python等工具為數據科學家準備好數據。數據工程師與數據科學家開展合作，以了解他們對任務的特定要求。他們構建數據管道，以獲取和更改檢查所需的數據。這些數據管道應該是為執行和堅定不移的質量而設計的，這需要對編程最佳實踐有扎實的理解。而在網絡上有許多可用資源，他們應該為處理大量數據集和請求服務等級協議(SLA)的執行和適應性制定計劃。
結語
數據工程與管理規模和熟練程度密切相關。因此，數據工程師應該經常更新他們的能力和技能，以促進利用數據分析框架的方式。由于收集的信息十分廣泛，可以看到數據工程師與數據庫管理員、數據科學家和數據架構師共同努力。
如今對于數據工程師的需求正在迅速增長。如果應聘者在構建和調整巨大范圍信息框架中具有獨到的見解，那么數據工程師可能是最適合他的職業。
原文標題：What Is Data Engineering? Skills and Tools Required，作者：Billy Peterson
【51CTO譯稿，合作站點轉載請注明原文譯者和出處為51CTO.com】
