大數據是未來的職業。我還要說更多：開發人員的數據工程技能是迫切需要的。在2003年之前，我們每兩天創建的數據量達到今天的PB級。Gartner分析師將云服務和網絡安全列為2021年的主要技術趨勢之一。

這種趨勢很容易解釋。需要安全地存儲和處理大量的大數據數組，以獲得有用的信息。當公司轉移到遠程工作時，這些需求變得更加明顯。電子商務，醫療保健，教育科技-所有這些行業都想了解有關其在線消費者的所有信息。盡管數據僅存儲在服務器上，但完全沒有意義。

[[383568]]

我有數據嗎？
干凈，結構，融合-這些是數據工程的基本操作。專業人士應該知道如何合并從多個來源收集的不同格式的數據。我從事Python編程已經三年了，其中我已經沉浸在大數據領域兩年了。從個人經驗中，我意識到，對于日常工作，您需要能夠做更多的事情。

基本上，數據工程師是四個角色的組合：

軟件工程師。 編寫代碼，測試并對其進行優化。在我看來，數據工程最簡單的途徑就是軟件工程。該專家知道如何安排計算機和程序。他/她熟悉高質量軟件的開發和數據庫的工作。

大數據開發人員。了解數據處理的原理，使用各種工具對其進行轉換。他根據客戶的請求或業務流程準備數據模型的描述。

數據庫管理員。建立存儲體系結構放在他的肩膀上。知道如何以最佳方式存儲數據并對其執行基本操作。

云工程師。 如今的數據量如此之大，以至于將其存儲在服務器上太昂貴或根本不可能-它根本不適合那里。云解決方案為您服務。這位工程師了解什么是云解決方案，它們的結構和特定功能是什么，它們如何彼此交互以及如何設置云服務。

從任何這些位置，您都可以切換到數據工程。

數據工程師，數據科學家或數據分析師：誰是最酷的？
這三位專家是由數據驅動的。每個人都有自己的責任。例如，數據工程師收到同事的請求以查找相關數據，以發現新功能的有效性。工程師從不同的來源（服務器，應用程序或云）中提取特定的數據，對其進行簡化，處理并將其加載到正確的存儲中。從那里，Data Analyst接受它-分析信息并將其轉換為客戶可以理解的格式。這可以是報告，信息圖，演示文稿。專家會看到找到的指標之間的聯系，并進行比較。當您需要預測患者狀況或市場動態時，需要數據科學家。讓我們以一個示例說明所有角色如何在項目中進行協作。

想象一下一個定期的社交網絡來學習外語。人們會發現筆友并練習英語，德語，中文等。數以百萬計的日常用戶會留下數字痕跡：他們通過個人郵件登錄，購買高級帳戶，下載應用程序并通過視頻撥打電話。每次點擊都會被注冊并發送到服務器。該公司希望跟蹤該平臺的有效性和盈利能力。數據工程師如何提供幫助？就個人而言，他不能。但是與數據科學家和數據分析師等同事一起，他發現的數據變成了有用的信息-統計信息，圖表和預測。

這并不是說其中一些更有用，做更多的工作或更好地應對責任。他們的任務范圍實際上可能有所不同，并取決于客戶端設置的任務。唯一的是，數據工程師似乎正在“影子”中工作。如果您善于交際，并且知道如何與客戶溝通，則值得研究分析師或數據科學家的專業。當然，這取決于您。

無論如何，沒有工程師，團隊將很難處理原始數據。他們與他一起從存儲中獲取干凈，優化的數據。他們要做的就是計算統計數據，發現趨勢并預測結果。三人一組在一起工作比單獨完成所有工作要有效得多。

處理數據：數據工程師做什么？
有不同的數據源。工程師的任務是從中獲取信息，統一來自不同來源的數據，進行處理，并根據要求進行簡化和多樣化。我們將以結構化查詢語言編寫的查詢發送到數據庫。SQL是使用最廣泛的數據操作語言。因此，許多工具使用已經熟悉的語法。例如，Apache Hive或Impala。

要更改數據，您需要特殊的框架。Apache Spark，Apache Flink和Hadoop MapReduce允許您執行以下類型的轉換：

• 數據清理
• 刪除重復項
• 轉換數據類型（字符串到數字或日期）
• 過濾
• 數據聯接
• 數據推導

一些框架僅適用于處理流數據。其他僅用于已長時間存儲在服務上的數據。有些可以同時做。假設我們需要刪除不必要的記錄并填寫缺少的值。這通常是通過準備好的腳本來完成的。并非所有的框架都有能力以工程師想要的語言編寫腳本。

通常，Python，Java和Scala編程語言用于轉換數據。Hadoop，HDFS，Apache Cassandra，HBase和Apache Hive是用Java構建的。在Scala，Apache Kafka和Apache Spark上。在Python中，Pandas / NumPy。Dask +包裝器適用于用其他語言（PyFlink，PySpark，Python Hadoop API）編寫的框架。

要構建所有內容，有兩種方法：ETL和ELT。如果我們處理的數據量很小或使用來自不同客戶端的現成數據的數據庫，則使用ETL更為方便。如果有很多混合信息，ELT會做得更好。在這種情況下，我們首先將數據加載到存儲中，在單獨的服務器上進行轉換，然后在必要時將其拉出。

最終數據進入數據倉庫或數據庫。我們通過包含在外部服務API中的SQL請求或自定義腳本來設置投放。接下來是數據分析師和數據科學家。它們基于數據形成有用的信息。第一個創建報告，圖形并在數據中找到模式，第二個使用機器學習方法進行預測。

數據工程技能：有什么用？
您肯定有工作要做。數據量只會增加。您將需要清潔它們，對其進行整理，分析。了解數據工程的基礎知識至少對以下目的有用。

查找和整理數據
有關用戶配置文件，購買，應用程序在不同設備上的點擊次數的信息，所有這些信息均由工程師收集并按內容分組。如果一家公司正在為明年制定計劃，并且想知道業務的預期增長，那么數據科學家和分析師將加入工程師團隊。根據工程師收集的信息，他們找出了哪些利基市場以及銷售下降的原因，最受歡迎的產品或功能。

提高數據傳輸速度
提高 向目標系統或目標用戶的數據傳遞速度。速度取決于框架，方法和服務的選擇。例如，Hadoop MapReduce比Spark更具成本效益，但處理速度較慢。如果我們有流數據，則可以即時處理它，而不是將其保存到磁盤并稍后進行處理，將更加方便快捷。

降低倉儲成本
在80年代，1 GB的HDD空間價格為500,000美元，而現在僅為0.025美元。從那時起，數據量增長了數百倍，硬盤驅動器無法處理它們。將信息存儲在云上更加方便和安全。太字節級的服務每月將花費數十至數百美元。專家可以為客戶選擇最有利可圖的服務和資費計劃。

大數據是二十一世紀的“燃料”
如果我們拋棄所有數據，人類的發展將接近18世紀的水平。就像我們的祖先一樣，我們仍然烤面包，使用公共和個人交通工具，醫治人們。使用大數據可以讓您賣出更多面包，優化出行，并加快科學發現和其他發現。

無論您是一家歷史悠久的大公司，還是一家繁榮但規模小的創業公司，它對每個人處理數據都是有用的。對于普通用戶，這沒有任何意義，但是對于企業而言，這非常重要。例如，當銷售下降時，從存儲中提取必要的信息并找出原因就足夠了。借助數據及其處理能力，我們可以獲得新的知識。任何行業都只能從中受益。