過年期間，小芯努力學習了一些數(shù)據(jù)科學技能，作為數(shù)據(jù)領域的人，最終總會閱讀并了解很多很多東西。

數(shù)據(jù)科學對小芯來說，是一種力量，能使企業(yè)和利益相關者做出明智的決策，并用數(shù)據(jù)解決問題。

如今，不是每個技術專家都對其他技能充滿熱情，但都會對自己工作領域的技能充滿熱情。數(shù)據(jù)科學家也是如此。新的一年，隨著新技術趨勢和更重大挑戰(zhàn)出現(xiàn)，技術基礎必須夯實。

下面是小芯整理出來的最新鮮的2020年數(shù)據(jù)科學家所需的10大技能，排序不分先后!

[[314731]]

1. 數(shù)據(jù)庫管理

對筆者來說，數(shù)據(jù)科學家是不一樣的存在，他們需要掌握所有知識，包括數(shù)學、統(tǒng)計、編程、數(shù)據(jù)管理、可視化，以及定義非“完整堆棧”。

正如筆者前面提到的，80%的工作在于準備數(shù)據(jù)，以便能在項目環(huán)境中對數(shù)據(jù)進行處理。需要處理大量數(shù)據(jù)時，數(shù)據(jù)科學家要知道管理這些數(shù)據(jù)是非常重要的。

數(shù)據(jù)庫管理本質(zhì)上由一組可以編輯、索引和操作數(shù)據(jù)庫的程序組成。數(shù)據(jù)庫管理系統(tǒng)接受來自應用程序的數(shù)據(jù)請求，并指示操作系統(tǒng)提供所需的特定數(shù)據(jù)。在大型系統(tǒng)中，數(shù)據(jù)庫管理系統(tǒng)幫助用戶在任何給定的時間點存儲和檢索數(shù)據(jù)。

數(shù)據(jù)庫管理能為數(shù)據(jù)科學帶來什么?

• 定義、檢索和管理數(shù)據(jù)庫中的數(shù)據(jù)
• 操縱數(shù)據(jù)本身、數(shù)據(jù)格式、字段名、記錄結構和文件結構
• 定義寫入、驗證和測試數(shù)據(jù)的規(guī)則
• 在數(shù)據(jù)庫的記錄層操作
• 支持多用戶環(huán)境并行訪問及操作數(shù)據(jù)

一些流行的數(shù)據(jù)庫管理系統(tǒng)包括：MySQL、SQL服務器、Oracle、IBM DB2、PostgreSQL和NoSQL數(shù)據(jù)庫(Mongo數(shù)據(jù)庫、Couch數(shù)據(jù)庫、Dynamo數(shù)據(jù)庫、H庫、Neo4j、Cassandra、Redis)

2. 機器學習/深度學習

如果你工作的公司管理并操作大量數(shù)據(jù)，并且決策過程是以數(shù)據(jù)為中心的，那么你可能需要掌握機器學習這一技能。機器學習是數(shù)據(jù)科學生態(tài)系統(tǒng)的一個子集，就像統(tǒng)計學或概率一樣，它有助于數(shù)據(jù)建模和獲得結果。

面向數(shù)據(jù)科學的機器學習包括對機器學習至關重要的算法;KNN最近鄰算法，隨機森林，樸素貝葉斯，回歸模型，PyTorch、TensorFlow和Keras在數(shù)據(jù)科學機器學習中的也都很有用。

機器學習能為數(shù)據(jù)科學帶來什么?

• 欺詐監(jiān)測和風險管理
• 醫(yī)療保健(蓬勃發(fā)展的數(shù)據(jù)科學領域之一!遺傳學、基因組學、圖像分析)
• 航線規(guī)劃
• 垃圾郵件自動過濾
• 面部和語音識別系統(tǒng)
• 改進的交互式語音響應(IVR)
• 全面的語言和文檔識別和翻譯

3. 數(shù)據(jù)可視化

數(shù)據(jù)可視化實際上意味著什么?對筆者來說，它是數(shù)據(jù)中發(fā)現(xiàn)的圖形表示。可視化可以有效地溝通，并引導用戶探索得出結論。

筆者是數(shù)據(jù)可視化的核心人物。可視化使筆者可以從數(shù)據(jù)中構思出故事，并創(chuàng)建全面的展示。數(shù)據(jù)可視化是更重要的技能之一，因為它不僅僅反映最終的結果，還能理解并學習數(shù)據(jù)及數(shù)據(jù)的脆弱性。

把事物形象地描繪出來總是好的;真正的價值已經(jīng)確立和理解了。創(chuàng)建可視化時，肯定會得到有意義的信息，令人驚訝的是，這些信息竟然可以影響系統(tǒng)。

直方圖、條形圖、餅圖、散點圖、折線圖、時間序列圖、關系圖、熱圖、地理圖、三維圖以及一長串可用于數(shù)據(jù)的可視化列表。如需更詳細的列表，請訪問此處。

數(shù)據(jù)可視化能為數(shù)據(jù)科學帶來什么?

• 為強大的觀點繪制數(shù)據(jù)
• 確定未知變量之間的關系
• 可視化需要關注或需要改進的領域
• 確定影響客戶行為的因素
• 了解將哪些產(chǎn)品放在哪里
• 顯示來自新聞、關系、網(wǎng)站、社交媒體的趨勢
• 可視化信息量
• 客戶報告、員工績效、季度銷售映射
• 針對用戶群體設計營銷策略

一些流行的數(shù)據(jù)可視化工具包括：Tableau、PowerBI、QlikView、谷歌分析(用于網(wǎng)絡)、微軟Excel、Plotly、融合圖表、SAS

4. 多元微積分&線性代數(shù)

大多數(shù)機器學習，無一例外都是數(shù)據(jù)科學模型，都是由幾個預測因子或未知變量構成的。多元微積分知識對建立機器學習模型有重要意義。以下是一些在數(shù)據(jù)科學工作中常見的數(shù)學話題：

• 導數(shù)和梯度
• 階躍函數(shù)、S型函數(shù)、邏輯函數(shù)、ReLU函數(shù)
• 成本函數(shù)(最重要)
• 函數(shù)繪制
• 函數(shù)的最小值和最大值
• 標量、向量、矩陣和張量函數(shù)

5. 微軟Excel表

眾所周知，微軟的電子表格可能是處理數(shù)據(jù)最好用并且最流行的工具之一。還可能會聽到，“嘿，你收到老板發(fā)來的Excel表了嗎?”等一下，本文不是在討論數(shù)據(jù)科學的技能嗎?Excel?筆者總認為一定有什么簡單的方法來管理數(shù)據(jù)。隨著用Excel進行數(shù)據(jù)管理的經(jīng)驗積累，筆者意識到，Excel是:

• 2D數(shù)據(jù)的最佳編輯
• 對高級數(shù)據(jù)進行分析的基礎平臺
• 在Python中實現(xiàn)與運行中Excel表的實時連接
• 讓你可以在任何時候做任何你想做的事，并保存你喜歡的版本
• 使數(shù)據(jù)操作相對簡單

如今，大多數(shù)非技術人員經(jīng)常使用Excel表替代數(shù)據(jù)庫。這可能是一個錯誤的用法，因為Excel表在某種程度上缺乏版本控制、準確性、可再現(xiàn)性或可維護性。然而，Excel所能做的也令人驚訝!

Excel能為數(shù)據(jù)科學帶來什么?

• 命名并創(chuàng)建范圍
• 過濾、排序、合并、修剪數(shù)據(jù)
• 創(chuàng)建透視表和圖表
• Visual Basic for Applications (VBA)[如果你還不知道這是什么的話，谷歌一下。這是微軟的超能力，在這里三言兩語說不清楚。VBA是Excel的編程語言，使你可以運行循環(huán)、宏，if..else語句]
• 清除數(shù)據(jù)：刪除重復值，在絕對、混合和相對之間更改引用
• 在數(shù)千條記錄中查找所需數(shù)據(jù)

6. DevOps

頂級數(shù)據(jù)公司" src="http://p3.pstatp.com/large/pgc-image/de8671c26d984a89867aa8868167ac2d" _fcksavedurl="http://p3.pstatp.com/large/pgc-image/de8671c26d984a89867aa8868167ac2d" width="640" height="314">

筆者一直聽說并相信數(shù)據(jù)科學是為懂數(shù)學、統(tǒng)計學、算法和數(shù)據(jù)管理的人而設的。不久前，筆者遇到了一個在核心開發(fā)方面有超過6年經(jīng)驗的人，他正在探索數(shù)據(jù)科學領域的職業(yè)轉變。筆者出于好奇心研究了DevOps是否以及如何成為數(shù)據(jù)科學的一部分。雖然筆者對DevOps知之甚少(實際上，是什么都不知道)，但有一點是肯定的：DevOps對數(shù)據(jù)科學越來越重要。

DevOps是一套將軟件開發(fā)和信息技術操作相結合的方法，旨在縮短開發(fā)生命周期并提供高質(zhì)量軟件的不間斷交付。

DevOps團隊與開發(fā)團隊密切合作，有效地管理應用程序的生命周期。數(shù)據(jù)轉換要求數(shù)據(jù)科學團隊與DevOps密切合作。DevOps團隊預計將使用高可用性的Apache Hadoop、Apache Kafka、Apache Spark和Apache Airflow集群來處理數(shù)據(jù)提取和轉換。

DevOps 會為數(shù)據(jù)科學帶來什么?

• 提供、配置、擴展和管理數(shù)據(jù)集群
• 通過持續(xù)集成、部署和監(jiān)控數(shù)據(jù)來管理信息基礎架構
• 創(chuàng)建腳本，自動為各種環(huán)境調(diào)配和配置基礎。

7. 概率&統(tǒng)計

數(shù)據(jù)科學是關于如何使用資本過程、算法或系統(tǒng)從數(shù)據(jù)中提取信息、見解等，以做出明智的決策。在這種情況下，做出推論、估計或預測就構成了數(shù)據(jù)科學的重要部分。

在統(tǒng)計方法的幫助下，概率有助于為進一步分析作出預估。統(tǒng)計學主要依賴于概率論。簡而言之，概率與統(tǒng)計兩者相互交織。

概率和統(tǒng)計能為數(shù)據(jù)科學帶來什么?

• 探索并了解更多的數(shù)據(jù)信息
• 確定兩個變量之間可能存在的潛在關系或依賴關系
• 預測未來趨勢或基于之前的數(shù)據(jù)趨勢來預測趨勢
• 確定數(shù)據(jù)的模式或動機
• 發(fā)現(xiàn)數(shù)據(jù)中的異常

尤其是對于數(shù)據(jù)驅(qū)動型公司來說，利益相關者依賴數(shù)據(jù)進行決策和設計/評估數(shù)據(jù)模型，概率和統(tǒng)計是數(shù)據(jù)科學不可或缺的部分。

8. 編程、軟件包和軟件

當然!數(shù)據(jù)科學本質(zhì)上是關于編程的。數(shù)據(jù)科學領域的編程技能匯集了能夠?qū)⒃紨?shù)據(jù)轉化為可操作見解的所有基本技能。雖然對編程的語言選擇沒有具體規(guī)則，但Python和R是最受歡迎的。

對于編程語言的偏好或平臺選擇，筆者并不執(zhí)著。數(shù)據(jù)科學家只是選擇一種編程語言來解決手頭的問題。然而，Python似乎已經(jīng)成了數(shù)據(jù)科學的通用語言。

這里有一個編程語言列表和一些可供數(shù)據(jù)科學選擇的軟件包，順序不分先后：

• Python
• R
• SQL
• Java
• Julia
• Scala
• MATLAB
• TensorFlow (非常適合Python中的數(shù)據(jù)科學)

并且，本文不是在寫能用數(shù)據(jù)科學的編程技能做什么

下文全都是關于編碼的。如果沒有編碼經(jīng)驗或不熟悉編碼知識，數(shù)據(jù)科學將會很困難。因此，筆者總喜歡先溫習Python技能，閱讀項目相關文獻，然后才開始構建代碼。

9. 數(shù)據(jù)爭論

通常，企業(yè)需要或接收的數(shù)據(jù)還并不適合用于建模。因此，非常有必要理解并掌握如何處理不完美的數(shù)據(jù)。

數(shù)據(jù)爭論是為做進一步分析準備數(shù)據(jù)的過程;將原始數(shù)據(jù)從一種形式轉換和映射到另一種形式，為深入了解數(shù)據(jù)做準備。對于數(shù)據(jù)爭論，基本上就是獲取數(shù)據(jù)，合并相關字段，然后清理數(shù)據(jù)。

數(shù)據(jù)爭論能為數(shù)據(jù)科學帶來什么?

• 通過從多個渠道收集數(shù)據(jù)，揭示數(shù)據(jù)中的深層智能
• 及時、準確地描述企業(yè)和數(shù)據(jù)分析師手中可操作數(shù)據(jù)
• 減少處理時間、響應時間以及收集、組織不規(guī)則數(shù)據(jù)所花費的時間
• 使數(shù)據(jù)科學家能夠更加關注數(shù)據(jù)分析，而不是數(shù)據(jù)清理部分
• 領導數(shù)據(jù)驅(qū)動的決策過程，朝著準確數(shù)據(jù)支持的方向發(fā)展

10. 云計算

數(shù)據(jù)科學的實踐通常包括使用云計算產(chǎn)品和服務來幫助數(shù)據(jù)專業(yè)人員訪問管理和處理數(shù)據(jù)所需的資源。[customerthink.com]數(shù)據(jù)科學家的日常通常包括分析和可視化存儲在云中的數(shù)據(jù)。

你可能已經(jīng)了解到數(shù)據(jù)科學和云計算是相輔相成的，這通常是因為云計算幫助數(shù)據(jù)科學家使用諸如AWS、Azure、谷歌云等平臺，通過這些平臺能夠訪問數(shù)據(jù)庫、框架、編程語言和操作工具。

熟悉數(shù)據(jù)科學包括與大量數(shù)據(jù)的交互這一事實，鑒于工具和平臺的規(guī)模和可用性，理解云計算的概念對數(shù)據(jù)科學家來說不僅是一項相關技能，也是一項關鍵技能。

云計算能為數(shù)據(jù)科學帶來什么?

• 數(shù)據(jù)采集
• 解析、管理、爭論、轉換、分析和數(shù)據(jù)殺毒
• 數(shù)據(jù)挖掘[探索性數(shù)據(jù)分析(EDA)，匯總統(tǒng)計，…
• 驗證和測試預測模型、推薦系統(tǒng)和諸如此類的模型
• 調(diào)整數(shù)據(jù)變量并優(yōu)化模型性能

一些流行的數(shù)據(jù)科學云平臺包括亞馬遜網(wǎng)絡服務、WindowsAzure、谷歌云或IBM云。筆者有時還讀到，有人在嘗試阿里巴巴云，這聽起來很有趣。

你具備以上技能嗎?