成千上萬的大數據工具，哪家強？
譯文【51CTO.com快譯】外面有成千上萬的大數據工具。它們都承諾可以為你節省時間和資金，并幫助發掘之前從來見過的業務洞察力。雖然確實如此，可是面對那么多的選擇，想理清這么多的工具談何容易。
哪一種工具適合你的技能組合?哪一種工具適合你的項目?
為了替你節省一點時間，并幫助你首次選對工具，我們列出了我們青睞的幾款數據工具，涉及數據提取、存儲、清理、挖掘、可視化、分析和整合等領域。
數據存儲和管理
如果你準備處理大數據，就要考慮該如何存儲大數據。大數據得到“大”這個名號，一方面在于，大數據太龐大了，傳統系統處理不了。一家優秀的數據存儲提供商應該可以為你提供一套基礎設施，除了用來存儲和查詢數據外，你還可以在上面運行其他所有分析工具。
Hadoop
Hadoop這個名稱已成為了大數據的代名詞。它是一種開源軟件框架，用于在計算機集群上分布式存儲非常龐大的數據集。這一切意味著你可以擴大或縮小數據規模，沒必要為硬件故障而擔心。Hadoop為任何一種數據提供了海量存儲空間、強大的處理能力以及處理幾乎無限制的并發任務或作業這一功能。
Hadoop并不適合數據初學者。想真正發揮其功能，你其實需要知道Java。這可能需要一番投入，但是Hadoop無疑值得你付出努力――因為其他許多公司和技術運行在它的基礎上或者與它整合起來。
入門：Cloudera提供了一些出色的Hadoop培訓課程(http://www.cloudera.com/training/library/tutorials.html)。
Cloudera
說到Cloudera，它其實是Hadoop的一個品牌名，上面添加了一些額外服務。它可以幫助貴公司構建一個企業數據樞紐，讓貴企業的人員可以更方便地訪問所存儲的數據。
雖然確實有開源組件，但Cloudera主要還是一款企業解決方案，幫助公司管理Hadoop生態系統。實際上，它可以替你處理管理Hadoop的大量繁重工作。它還提供了一定級別的數據安全性，如果你要存儲任何敏感數據或私人數據，這至關重要。
入門：Cloudera開有一大批網上研討會(http://www.cloudera.com/resources.html)，介紹各種各樣的用法。
MongoDB
MongoDB是新穎的現代數據庫方法，可謂是后起之秀。它好比是關系數據庫的替代技術。它適用于管理經常變化的數據或者非結構化或半結構化數據。
常見的使用場合包括：為移動應用程序、產品目錄、實時個性化、內容管理以及跨多個系統提供單一視圖的應用程序存儲數據。MongoDB同樣不適合數據新手。與任何數據庫一樣，你確實需要了解如何使用一種編程語言來查詢它。
入門：MongoDB設有自己的“大學”(https://university.mongodb.com)，你可以學習如何使用其服務，甚至可以獲得認證。
Talend
Talend是另一家出色的開源公司，它提供許多數據產品。我們在這里主要介紹其主數據管理(MDM)產品，該產品將實時數據、應用程序和流程整合與嵌入式數據質量及監管結合起來。
由于是開源產品，Talend完全免費，因而是個不錯的選擇，無論貴公司處于哪個發展階段。而且，它讓你沒必要構建和維護自己的數據管理系統――這是一項非常復雜而困難的任務。
入門：Talend提供了一套不錯的入門教程(https://www.talendforge.org/tutorials/tutorial.php?idTuto=60)。
開始入門
如果你對大數據完全一無所知，數據庫可能不是最適合入手的方面。它們比較復雜，確實需要具備一定的編程知識才能上手(這不像下面提到的其他許多工具)。
然而，如果你確實想要從事或處理大數據，那知道數據庫的基本知識、聊起數據庫頭頭是道必不可少。General Assembly網站開設的這門課程(https://generalassemb.ly/education/big-data-demystified-hadoop-and-nosql-for-beginners)是個不錯的起點。你可以全面了解推動大數據的技術，包括數據庫和存儲發展史、關系數據庫和文檔數據庫的區別、大數據的挑戰以及必不可少的工具，還有Hadoop簡要介紹。
數據清理
在你真正挖掘數據、獲取洞察力之前，需要清理數據。盡管創建一個整潔、結構清晰的數據集總是好做法，但有時這并非始終行得通。數據集可能形狀和大小不一(有些好的，有些不太好!)，尤其是你從網上獲取數據時。下列公司可以幫助你完善和重組數據，處理成實用的數據集。
OpenRefine
OpenRefine(以前叫GoogleRefine)是一種開源工具，專門用于清理凌亂的數據。你可以輕松快速地瀏覽龐大的數據集，即便數據有點非結構化。
就數據軟件而言，OpenRefine很易于使用。不過，熟悉數據清理原則肯定有所幫助。OpenRefine好就好在，它有一個龐大社區，擁有眾多貢獻者，這意味著這款軟件在不斷變得完善。要是遇到了難題，你可以向社區提問。可以查看其Github代碼庫(https://github.com/OpenRefine/OpenRefine)，你還能在這里找到OpenRefine維基。
入門：主頁(http://openrefine.org)上有一些教程視頻，還有一本OpenRefine圖書。
DataCleaner
DataCleaner認識到數據處理是一項冗長乏味的任務。數據可視化工具只能讀取結構條理化、“干凈”的數據集。DataCleaner可以替你干臟活，將凌亂的半結構化數據集轉換成干凈的、可讀取的數據集，那樣所有可視化公司都能讀取。
DataCleaner還提供數據倉庫和數據管理服務。該公司提供30天免費試用服務，之后按月收費。你可以在這里(http://datacleaner.org/editions)找到關于其服務方案的更多信息。
入門：DataCleaner提供一整套說明文檔和視頻(http://datacleaner.org/docs)。針對商業方案，它還提供面對面培訓或網絡研討會培訓。
數據挖掘
別將數據挖掘與后面介紹的數據提取混為一談，數據挖掘是指發現數據庫里面的洞察力，而不是從網頁提取數據、然后放入到數據庫。數據挖掘旨在對你手頭的數據進行預測和決策。
RapidMiner
RapidMiner擁有一大批客戶，包括貝寶、德勤、電子港灣和思科等，這是一款用于預測分析的出色工具。它功能強大、易于使用，還有一個優秀的開源社區。通過API，你甚至可以將自己的專用算法整合到RapidMiner中。
圖形化界面(讓人想到Yahoo! Pipes)意味著，你不需要知道如何編程或不需要有博士學位，就可以使用其四款分析產品(https://rapidminer.com/products/#)中的任何一款。
入門：訪問說明文檔、論壇和支持社區(https://rapidminer.com/support/)，即可了解如何入門。
IBM SPSS Modeler
IBM SPSS Modeler提供了一整套專門用于數據挖掘的解決方案。這包括文檔分析、實體分析、決策管理和優化。其五款產品提供了一系列高級算法和技巧，包括文檔分析、實體分析、決策管理和優化。
SPSS Modeler是一款功能強大的解決方案，很適合滿足大公司的需要。它可以在幾乎任何類型的數據庫上運行，你可以將它與其他IBM SPSS產品整合起來，比如SPSS協作及部署服務和SPSS Analytic服務器。
入門：IBM的支持說明文檔(https://www-947.ibm.com/support/entry/portal/support?lnk=msdTS-supo-usen)是超一流的。
甲骨文數據挖掘
數據挖掘領域的另一大巨頭是甲骨文。作為其高級分析數據庫(Advanced Analytics Database)選件的一部分，甲骨文數據挖掘讓用戶可以發掘洞察力、進行預測并利用甲骨文數據。你可以構建模型來發現客戶行為、鎖定最佳客戶并開發配置文件。
甲骨文數據挖掘GUI讓數據分析員、業務分析員和數據科學家能夠使用一種相當優雅的拖放式解決方案，在數據庫里面處理數據。它還能創建SQL和PL/SQL腳本，用于整個企業里面的自動化、調度和部署。
入門：其支持頁面(https://www.oracle.com/support/index.html)提供了你可能需要的所有資源。
Teradata
Teradata認識到這個事實：雖然大數據很出色，但如果你其實不知道如何分析和使用大數據，它就毫無價值。設想一下：擁有成千上萬個數據點，卻沒有查詢這些數據點的技能。這時候，Teradata應運而生。它為數據倉庫、大數據、分析及營銷等應用提供了端到端解決方案和服務。這一切意味著，你可以真正成為一家數據驅動型公司。
Teradata還提供一整套服務，包括實施、業務咨詢、培訓和支持。
入門：不妨看一下其支持說明文檔(http://www.teradata.com/about-us/?ICID=Awit&LangType=1033&LangSelect=true)。
FramedData
如果你著眼于某一種類型的數據挖掘，有一批初創公司專門幫助公司利用數據解答難題。如果你擔心用戶流失，我們推薦FramedData，這家初創公司可以分析你的數據分析結果，告訴你哪些客戶即將拋棄你的產品。
它是一款完全托管的解決方案，這意味著你沒必要做任何事，只需等待洞察力呈現在面前。
入門：如果你有興趣，可以請求演示版(https://app.framed.io/0.1.0/login)。
Kaggle
如果你被數據挖掘問題困擾，或者想解決世界上最棘手的問題，不妨關注Kaggle(https://www.kaggle.com)。Kaggle是世界上最龐大的數據科學社區。許多公司和研究人員發布數據，來自世界各地的統計人員和數據挖掘人員競相制作最佳模型。
數據分析
數據挖掘旨在細查數據、尋找之前未發現的模式，數據分析則是對該數據進行分解，評估那些模式的影響。分析是指提出特定的問題，找到數據中的答案。你甚至可以提些關于將來會發生什么方面的問題!
Qubole
Qubole可針對存儲在AWS、谷歌或Azure云上的數據，簡化、加快和擴展大數據分析工作負載。它消除了管理基礎設施方面的麻煩。一旦IT策略實施到位，眾多數據分析員就可以隨意地協作“點擊查詢”，享用Hive、Spark、Presto及其他眾多數據處理引擎的功能。
Qubole是一款企業級解決方案。它提供免費試用服務，你可以在此頁面(https://www.qubole.com/features/)注冊使用。該軟件的靈活性確實讓它有別于其余解決方案，它還是所有平臺中最易于訪問的。
入門：可在資源頁面(https://www.qubole.com/resources/)上進一步了解Qubole。
BigML
BigML試圖簡化機器學習。它提供一項功能強大的機器學習服務，擁有易于使用的界面，以便你導入數據，并從中進行預測。你甚至可以使用其模型用于預測分析。
如果你想從BigML獲得最大的好處，深入了解模型無疑大有幫助，但并非必要條件。它有一款免費版工具，讓你可以創建16MB以下的任務，還提供按需付費方案和虛擬私有云，可以滿足企業級需求。
入門：你可以在這四個簡短視頻(https://bigml.com/how_it_works)中觀看BigML是如何工作的。
Statwing
Statwing將數據分析帶到了新的水平，提供從漂亮視圖到復雜分析的各種功能。它很易于使用，實際上在5分鐘內就可以上手。
雖然不是免費使用，但價格方案相當優惠。基本套餐是每月50美元，你可以隨時取消。這讓你可以使用無限制的數據庫(最多50MB)。還有其他的企業方案，讓你能夠上傳更龐大的數據集。
入門：主頁(https://www.statwing.com)上有許多很棒的教程視頻。
數據可視化
數據可視化公司讓你的數據栩栩如生。對任何數據科學家來說，挑戰一方面在于，將來自數據的洞察力傳達給貴公司的其余人員。對你的大多數同事來說，MySQL數據庫和電子表格不管用。可視化是傳達復雜數據洞察力的一種好方法。最棒的是，它們大多根本不需要編程!
Tableau
Tableau是一款數據可視化工具，主要側重于商業智能。你可以創建圖形、條形圖、散點圖及更多視圖，不需要編程。它最近發布了一款Web連接件，讓你可以連接到數據庫或API，因而讓你能夠通過可視化呈現活動數據。
Tableau有五款產品，支持和功能程度不一。如果你是可視化方面的新手，我們推薦Tableau Public(https://public.tableau.com/s/)，這是其可視化工具的免費版。探究一番該工具，你應該會了解想要購買另外的哪款Tableau產品。
入門：Tableau有許多功能，所以在購買之前絕對有必要看一看教程(http://www.tableau.com/learn/training)。
Silk
Silk是一款比Tableau簡單得多的數據可視化和分析工具。它讓你只要點擊幾下鼠標，即可創建交互式地圖和圖形，因而為你的數據賦予活力。Silk還讓你可以與眾多人協作處理可視化。
與本文介紹的許多可視化公司一樣，Silk不需要你是編程高手。如果你是數據可視化方面的新手，可以從它入手，因為其最佳功能試圖自動可視化數據，你沒必要做事情。
入門：Silk在官方網站上有數量極多的教程(https://www.silk.co/help)。
CartoDB
CartoDB是一款數據可視化工具，專門用來繪制圖形。它讓你易于可視化位置數據，不需要任何編程。CartoDB可以管理眾多的數據文件和類型，甚至還有供你搗鼓的示例數據集(https://cartodb.com/data#/data-library)，以便逐漸了解。
如果你有位置數據，CartoDB絕對值得關注。它也許不是用起來最容易的系統，但一旦你掌握了用法，它功能異常強大。它提供了企業軟件包，支持項目協作和受控制的訪問。
入門：它有一個龐大的說明文檔庫(http://docs.cartodb.com)，可以幫助你成為圖形方面的專家。
Chartio
Chartio讓你可以在瀏覽器里面合并數據源、執行查詢。只要點擊幾下，你就可以創建強大的儀表板。Chartio的可視化查詢語言讓任何人都能從任何地方獲取數據，沒必要知道SQL或其他復雜的模型語言。它還讓你可以調度安排PDF報告，那樣你可以導出儀表板，并以PDF文件的格式通過郵件發給你想發送的任何人。
Chartio的另一個優點是，它常常不需要數據倉庫。這意味著，可以更迅速地搭建并運行起來;實施成本會更低、更易于預測。
入門：可以看看Chartio教程(https://support.chartio.com)，即可上手。
Plot.ly
如果你想制作圖形，Plot.ly是不二的選擇。這個使用方便的平臺讓你可以制作效果出眾的2D和3D圖形(你確實需要眼見為實!)。同樣根本不需要編程知識。
免費版讓你可以創建專有圖形和無限制的公共圖形，你還可以升級到企業軟件包，制作無限制的專有和公共圖形，另外還有這個選項：Vector導出和保存自定義主題。
入門：你可以在Plotly的全面教程(http://help.plot.ly)中找到入門所需的各個資源。
Datawrapper
我們介紹的最后一款可視化工具是Datawrapper。它是一款開源工具，可在幾分鐘內創建嵌入式圖形。由于是開源，它會不斷完善，因為任何人都可以為它貢獻代碼。它有一個出色的圖形庫，你可以看看別人用Datawrapper能制作出什么樣的圖形。
類似這部分介紹的其他許多公司，它既有免費工具，也有收費工具，提供這一收費選項：預先安裝、定制的Datawrapper軟件包。
入門：查看出色的教程(http://docs.datawrapper.de/tutorial/)，即可入門。
數據整合
數據整合平臺如同每個程序之間的粘合劑。如果你想把使用Import.io提取的數據與推特整合起來，或者想在Facebook上自動共享之前用Tableau或Silk制作的可視化圖形，那么下列整合服務正是你所需要的工具。
Blockspring
Blockspring是一種獨特的程序，其獨特之處在于，它可以利用Excel和Google Sheets等熟悉平臺中的IFTTT和Zapier等服務的所有功能。你可以連接到一整批第三方程序，只要編寫一個Google Sheet公式。你可以從電子表格發布推特消息，查看你的關注者在關注誰，并且連接到AWS、Import.io 和Tableau等。
Blockspring可免費使用，但也有企業軟件包，讓你可以創建和共享專有功能、添加自定義標記以便搜索和發現，并且為你的整個企業同時設置API令牌。
入門：Blockspring有一些很詳細的幫助說明文檔(http://docs.datawrapper.de/tutorial/)，幫助你盡快上手。
Pentaho
Pentaho提供大數據整合功能，不需要編程知識。使用一個簡單的拖放式用戶界面，你就可以整合許多工具，基本上不需要編程。它還提供嵌入式分析和業務分析服務。
Pentaho是一款企業解決方案。你可以要求免費試用其數據整合產品，到期后需要付費。
入門：你可以查看幫助說明文檔(https://support.pentaho.com/hc/en-us)，更深入地了解它是如何工作的。
數據語言
在你的數據職業生涯中，有時一款工具根本無濟于事。雖然如今的工具變得功能更強大、更易于使用，但有時自行編程來得更好。即便你不是程序員，了解這些語言工作原理方面的基本知識還是讓你更清楚地知道許多這些工具是如何工作的、如何才能最有效地使用它們。
R
R是一種面向統計計算和圖形的語言。如果上述數據挖掘和統計軟件無法處理你想處理的任務，學習R是出路。實際上，如果你打算成為數據科學家，那就需要熟悉R。
它可以在Linux、Windows和MacOS上運行，你可以在此頁面(https://www.r-project.org)下載R。有一個龐大的社區，如今許多統計人員使用R，它的人氣一直在飆升。
入門：一旦下載完畢，你可以查看說明文檔(https://cran.r-project.org/manuals.html)。
Python
在數據社區人氣越來越旺的另一種語言就是Python。該語言于80年代問世，以《蒙提派森之飛行馬戲團》(Monty Python’s Flying Circus)命名，它一向躋身于全球最受歡迎的十大編程語言榜單。如果數據收集工具未能獲得所需的數據，許多新聞記者使用Python編寫自定義抓取器。人們喜歡它，是由于它與英語很相似。它使用“if”和“in”之類的單詞，這意味著腳本閱讀起來很輕松。它提供了為不同類型的任務設計的一系列廣泛的庫(https://pypi.python.org/pypi)。
入門：訪問主頁(https://www.python.org)，即可進一步了解Python。
RegEx
RegEx(正則表達式)是一套可處理和更改數據的字符。它主要用于將模式與字符串匹配，或字符串匹配。在Import.io，你可以在提取數據的同時使用RegEx，刪除字符串的一部分，或者保留字符串的某些部分。
處理數據提取工作時，它是一種很有用的工具，因為你在提取數據可以獲得所需的那部分數據，這意味著你沒必要依賴上述那些數據處理公司!
入門：網上有許多關于RegEx的很棒的教程(http://www.regexr.com)。
XPath
XPath是一種查詢語言，用于從XML文檔選擇某些節點。RegEx處理和更改數據標記，而XPath會提取準備用于RegEx的原始數據。
XPath最常用于數據提取。每當你點擊某個數據，Import.io實際上自動創建XPath――你根本看不到它們!還可以插入你自己的XPath，從下拉式菜單獲取數據以及網頁上標簽頁里面的數據。簡而言之，XPath是個路徑，它為網頁HTML的某個部分指明了方向。
入門：最佳的XPath教程是w3schools教程(http://www.regexr.com)。
數據收集
在你存儲、分析或可視化數據之前，你得收集一些數據。數據提取就是拿來結構化數據(比如網頁)，然后將它轉換成結構化表。一旦你有了結構化數據，就能以各種方式來處理，使用我們提到的這些工具，找到洞察力。
Import.io
Import.io是用于提取數據的頭號工具。使用很簡單的點擊式用戶界面，我們拿來網頁后，可以轉換成易于使用的電子表格，然后可以分析、可視化和使用該電子表格，做出數據驅動的決策。
除了托管一款免費使用的工具外，Import.io還是數據提供商。我們為每個客戶定制了數據集。隨后，這些數據定期更新，這意味著貴公司始終獲得的是最新數據。
入門：查看我們的知識庫(http://support.import.io/knowledgebase)，即可了解如何使用該工具，或者聯系我們的數據專家，為貴公司獲得一款定制的數據解決方案。
原文標題：All the best big data tools and how to use them
【51CTO譯稿，合作站點轉載請注明原文譯者和出處為51CTO.com】
