如今，為了滿足企業的主要需求，大數據工具正在迅速得到應用。在大數據技術作為概念和業務戰略出現的十年中，涌現了執行各種任務和流程的數千種工具。而推出這些工具的提供商都承諾可以為企業節省時間和成本，并發現能夠讓企業獲利的商業洞察力。顯然，大數據分析工具的市場正在不斷增長。

[[226263]]

許多大數據分析工具最初像大數據軟件框架Hadoop一樣都是開源項目，但商業實體迅速涌現，為開源產品提供了新工具或商業的支持和開發。

而在這些工具中選擇是一個挑戰，特別是許多大數據工具只具有單一用途，而企業需要使用大數據完成許多不同的任務，因此企業的分析工具箱會變得過于充實。根據這個行業領域的專家顧問的建議，以下列出一系列主要的大數據分析工具，并列出三個主​​要類別。

如上所述，大數據工具都傾向于單一使用類別，并且有多種使用大數據的方式。所以可以按類別分類，然后分析每個分析工具。

大數據工具：數據存儲和管理

大數據都是從數據存儲開始。這意味著從大數據框架Hadoop開始。它是由Apache Foundation開發的開源軟件框架，用在計算機集群上分布式存儲非常大的數據集。

顯然，存儲對于大數據所需的大量信息至關重要。但更重要的是，需要有一種方式來將所有這些數據集中到某種形成/管理結構中，以產生洞察力。因此，大數據存儲和管理是真正的基礎，而沒有這樣的分析平臺是行不通的。在某些情況下，這些解決方案包括員工培訓。

而這個領域的主要的大數據工具有：

1. Cloudera

基本上，Hadoop增加了一些額外的服務，企業將需要這些服務，因為大數據并不是一個簡單的練習。 Cloudera的服務團隊不僅可以幫助企業構建大數據集群，還可以幫助培訓員工更好地訪問數據。

2. MongoDB

MongoDB是最流行的大數據數據庫，因為它適用于管理大數據經常出現的非結構化數據或頻繁更改的數據。

3. Talend

作為一家提供廣泛解決方案的公司，Talend的產品是圍繞集成平臺構建的，該平臺結合了大數據、云計算、應用程序，以及實時數據集成、數據準備和主數據管理。

Talend大數據集成包括數據質量和治理功能。

大數據工具：數據清理

在企業真正處理大量數據以獲取洞察信息之前，先需要對其進行清理、轉換并將其轉變為可遠程檢索的內容。大數據集往往是非結構化和無組織的，因此需要進行某種清理或轉換。

在這個時代，數據的清理變得更加必要，因為數據可以來自任何地方：移動網絡、物聯網、社交媒體。并不是所有這些數據都容易被“清理”，以產生其見解，因此一個良好的數據清理工具可以改變所有的差異。事實上，在未來的幾年中，將有效清理的數據視為是一種可接受的大數據系統與真正出色的數據系統之間的競爭優勢。

4. OpenRefine

OpenRefine是一款易于使用的開源工具，通過刪除重復項、空白字段和​​其他錯誤來清理凌亂的數據。它是開源的軟件，但它有一個可以提供幫助的大型社區。

5. DataCleaner

與OpenRefine類似，DataCleaner將半結構化數據集轉換為數據可視化工具可讀取的干凈可讀的數據集。該公司還提供數據倉庫和數據管理服務。

6. Microsoft Excel

人們可以從各種數據源導入數據。Excel對手動數據輸入和復制/粘貼操作特別有用。它可以消除重復、查找、替換，拼寫檢查以及用于轉換數據的許多公式。但它很快陷入困境，并不適用于大數據集。

大數據工具：數據挖掘

一旦數據被清理并準備好進行檢查，就可以通過數據挖掘開始搜索過程。這就是企業進行實際發現、決策和預測的過程。

數據挖掘在很多方面都是大數據流程的真正核心。數據挖掘解決方案通常非常復雜，但力求提供一個令人關注和用戶友好的用戶界面，這說起來容易做起來難。數據挖掘工具面臨的另一個挑戰是：它們的確需要工作人員開發查詢，所以數據挖掘工具的能力并不比使用它的專業人員強。

7. RapidMiner

RapidMiner是一款易于使用的預測分析工具，具有非常用戶友好的可視化界面，這意味著企業無需編寫代碼，即可運行分析產品。

8. IBM SPSS Modeler

IBM SPSS Modeler是一套適用于企業級的高級分析的產品，用于數據挖掘。而IBM的服務和咨詢無疑是首屈一指的。

9. Teradata

Teradata為數據倉庫、大數據和分析以及市場營銷應用提供端到端解決方案。這一切意味著企業的業務可以真正成為一個數據驅動的業務，并提供商業服務、咨詢、培訓和支持。

像許多當前的大數據工具一樣，RapidMiner解決方案也包含云計算解決方案

大數據工具：數據可視化

數據可視化是企業的數據以可讀的格式顯示的方式。這是企業查看圖表和圖形以及將數據放入透視圖中的方法。

數據的可視化與科學一樣，是一種藝術形式。而大數據公司將擁有越來越多的數據科學家和高級管理人員，很重要的一點是可以為員工提供更加廣泛的可視化服務。銷售代表、IT支持、中層管理等這些團隊中的每一個成員都需要理解它，因此重點在于可用性。但是，易于閱讀的可視化有時與深度特征集的讀取不一致，這成為了數據可視化工具的一個主要挑戰。

10. Tableau

作為這一領域的領導者之一，其數據可視化工具專注于商業智能，無需編程即可創建各種地圖、圖表、圖形等等。Tableau總共有五款產品，其中有一個名為Tableau Public的免費版本供潛在客戶試用。

11. Silk

Silk是一種簡單版本的Tableau，Silk可讓企業將數據可視化為地圖和圖表，而無需任何編程。它甚至會嘗試在第一次加載時自動將數據可視化。它還使得在線發布結果變得容易。

12. Chartio

Chartio使用自己的可視化查詢語言，只需點擊幾下即可創建功能強大的儀表板，而無需了解SQL或其他建模語言。與其他不同的是，企業直接連接到數據庫，因此不需要數據倉庫。

13. IBM Watson Analytics

IBM Watson Analytics是機器學習(ML)和人工智能(AI)的結合，可幫助提供智能數據科學助理，為業務分析師和數據科學家提供廣泛的數據科學技能集的用戶指南。

三層大數據工具

普華永道移動數據和分析計劃首席技術官Ritesh Ramesh說，就精密程度和市場戰略而言，大數據工具分解為三層。

• 第一層：也是最大的一層，是一系列開源工具。每家公司都以這種方式開始，像Cloudera和Hortonworks。除了基本的基礎設施。服務器和存儲之外，價值非常小。大多數云計算廠商已經將這一層實現商品化。
• 第二層：這是大多數這些供應商已經意識到需要增加他們的市場份額的地方，他們必須在開放源代碼工具之上構建一些專有應用程序，從而與其他供應商區分開。例如，Cloudera公司構建了一些類似于Hadoop內核中的數據科學平臺。
• 第三層：這些是垂​​直專用的應用程序。這些公司大多與普華永道、Cognizant或埃森哲等系統集成商合作。這就是真正的價值所在，而且這也是大數據工具制造商非常有效的競爭策略。

Ramesh說，除了基本功能之外，還有三個工具需求領域。首先是數據處理工具。他說，“數據學習工具是客戶進行數據質量和性能分析的工具包中的重要工具，可處理5000萬行數據，以發現洞察力。”

他說，行業領先的供應商還包括Trifacta，Paxata和Talend公司。

第二大類應用程序是治理的應用程序，例如企業如何擁有元數據定義。“很多人都為此而努力。人們將大量垃圾轉儲到數據湖中。市場上沒有多少工具可以在數據湖中有效地工作。由于大部分這項工作都是由IT人員完成的，他們更有興趣將數據輸入到數據湖中，而不是將治理結構置于其周圍。”Ramesh說。

這個行業領域的頂級供應商：Waterline Data，Tamr的數據編目工具和Collibra。

經常出現的第三類需求是安全性的應用程序。Ramesh說，“人們希望單一產品具有所有安全訪問層、列、行和對象。他們希望支持差異數據對象的用戶訪問和安全性的產品。”

這個行業領域的主要供應商是Wandisco公司和FireEye公司。