當今IT開發(fā)人員面對的***挑戰(zhàn)就是復雜性，硬件越來越復雜，OS越來越復雜，編程語言和API越來越復雜，我們構建的應用也越來越復雜。根據(jù)外媒的一項調(diào)查報告，中軟卓越專家列出了Java程序員在過去12個月內(nèi)一直使用的一些工具或框架，或許會對你有意義。

先來看看大數(shù)據(jù)的概念。根據(jù)維基百科，大數(shù)據(jù)是龐大或復雜的數(shù)據(jù)集的廣義術語，因此傳統(tǒng)的數(shù)據(jù)處理程序不足以支持如此龐大的體量。

在許多情況下，使用SQL數(shù)據(jù)庫存儲/檢索數(shù)據(jù)都是很好的選擇。而現(xiàn)如今的很多情況下，它都不再能滿足我們的目的，這一切都取決于用例的變化。

現(xiàn)在來討論一些不同的非SQL存儲/處理數(shù)據(jù)工具，例如，NoSQL數(shù)據(jù)庫，全文搜索引擎，實時流式處理，圖形數(shù)據(jù)庫等。

1、MongoDB——***的，跨平臺的，面向文檔的數(shù)據(jù)庫。

MongoDB是一個基于分布式文件存儲的數(shù)據(jù)庫，使用C++語言編寫。旨在為Web應用提供可擴展的高性能數(shù)據(jù)存儲解決方案。應用性能高低依賴于數(shù)據(jù)庫性能，MongoDB則是非關系數(shù)據(jù)庫中功能最豐富，最像關系數(shù)據(jù)庫的，隨著MongDB 3.4版本發(fā)布，其應用場景適用能力得到了進一步拓展。

MongoDB的核心優(yōu)勢就是靈活的文檔模型、高可用復制集、可擴展分片集群。你可以試著從幾大方面了解MongoDB，如實時監(jiān)控MongoDB工具、內(nèi)存使用量和頁面錯誤、連接數(shù)、數(shù)據(jù)庫操作、復制集等。

2、Elasticsearch ——為云構建的分布式RESTful搜索引擎。

ElasticSearch是基于Lucene的搜索服務器。它提供了分布式多用戶能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java開發(fā)的，并作為Apache許可條款下的開放源碼發(fā)布，是比較流行的企業(yè)級搜索引擎。

ElasticSearch不僅是一個全文本搜索引擎，還是一個分布式實時文檔存儲，其中每個field均是被索引的數(shù)據(jù)且可被搜索;也是一個帶實時分析功能的分布式搜索引擎，并且能夠擴展至數(shù)以百計的服務器存儲及處理PB級的數(shù)據(jù)。ElasticSearch在底層利用Lucene完成其索引功能，因此其許多基本概念源于Lucene。

3、Cassandra——開源分布式數(shù)據(jù)庫管理系統(tǒng)，最初是由Facebook開發(fā)的，旨在處理許多商品服務器上的大量數(shù)據(jù)，提供高可用性，沒有單點故障。

Apache Cassandra是一套開源分布式NoSQL數(shù)據(jù)庫系統(tǒng)。集Google BigTable的數(shù)據(jù)模型與Amazon Dynamo的完全分布式架構于一身。于2008開源，此后，由于Cassandra良好的可擴展性，被Digg、Twitter等Web 2.0網(wǎng)站所采納，成為了一種流行的分布式結構化數(shù)據(jù)存儲方案。

因Cassandra是用Java編寫的，所以理論上在具有JDK6及以上版本的機器中都可以運行，官方測試的JDK還有OpenJDK 及Sun的JDK。 Cassandra的操作命令，類似于我們平時操作的關系數(shù)據(jù)庫，對于熟悉MySQL的朋友來說，操作會很容易上手。

4、Redis ——開源(BSD許可)內(nèi)存數(shù)據(jù)結構存儲，用作數(shù)據(jù)庫，緩存和消息代理。 Redis是一個開源的使用ANSI C語言編寫的、支持網(wǎng)絡、可基于內(nèi)存亦可持久化的日志型、Key-Value數(shù)據(jù)庫，并提供多種語言的API。Redis 有三個主要使其有別于其它很多競爭對手的特點：Redis是完全在內(nèi)存中保存數(shù)據(jù)的數(shù)據(jù)庫，使用磁盤只是為了持久性目的; Redis相比許多鍵值數(shù)據(jù)存儲系統(tǒng)有相對豐富的數(shù)據(jù)類型; Redis可以將數(shù)據(jù)復制到任意數(shù)

5、Hazelcast ——基于Java的開源內(nèi)存數(shù)據(jù)網(wǎng)格。

Hazelcast 是一種內(nèi)存數(shù)據(jù)網(wǎng)格 in-memory data grid，提供Java程序員關鍵任務交易和萬億級內(nèi)存應用。雖然Hazelcast沒有所謂的“Master”，但是仍然有一個Leader節(jié)點(the oldest member)，這個概念與ZooKeeper中的Leader類似，但是實現(xiàn)原理卻完全不同。同時，Hazelcast中的數(shù)據(jù)是分布式的，每一個member持有部分數(shù)據(jù)和相應的backup數(shù)據(jù)，這點也與ZooKeeper不同。

Hazelcast的應用便捷性深受開發(fā)者喜歡，但如果要投入使用，還需要慎重考慮。

6、EHCache——廣泛使用的開源Java分布式緩存。主要面向通用緩存、Java EE和輕量級容器。

EhCache 是一個純Java的進程內(nèi)緩存框架，具有快速、精干等特點，是hibernate中默認的CacheProvider。主要特性有：快速簡單，具有多種緩存策略;緩存數(shù)據(jù)有兩級，內(nèi)存和磁盤，因此無需擔心容量問題;緩存數(shù)據(jù)會在虛擬機重啟的過程中寫入磁盤;可以通過RMI、可插入API等方式進行分布式緩存;具有緩存和緩存管理器的偵聽接口;支持多緩存管理器實例，以及一個實例的多個緩存區(qū)域;提供Hibernate的緩存實現(xiàn)。

7、Hadoop ——用Java編寫的開源軟件框架，用于分布式存儲，并對非常大的數(shù)據(jù)用戶可以在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序。充分利用集群進行高速運算和存儲。Hadoop實現(xiàn)了一個分布式文件系統(tǒng)(Hadoop Distributed File System)，簡稱HDFS。Hadoop的框架最核心的設計就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲，MapReduce則為海量的數(shù)據(jù)提供了計算。

8、Solr ——開源企業(yè)搜索平臺，用Java編寫，來自Apache Lucene項目。

Solr是一個獨立的企業(yè)級搜索應用服務器，它對外提供類似于Web-service的API接口。用戶可以通過http請求，向搜索引擎服務器提交一定格式的XML文件，生成索引;也可以通過Http Get操作提出查找請求，并得到XML格式的返回結果。

與ElasticSearch一樣，同樣是基于Lucene，但它對其進行了擴展，提供了比Lucene更為豐富的查詢語言，同時實現(xiàn)了可配置、可擴展并對查詢性能進行了優(yōu)化。

9、Spark ——Apache Software Foundation中最活躍的項目，是一個開源集群計算框架。

Spark 是一種與 Hadoop 相似的開源集群計算環(huán)境，但是兩者之間還存在一些不同之處，這些不同之處使 Spark 在某些工作負載方面表現(xiàn)得更加優(yōu)越，換句話說，Spark 啟用了內(nèi)存分布數(shù)據(jù)集，除了能夠提供交互式查詢外，它還可以優(yōu)化迭代工作負載。

Spark 是在 Scala 語言中實現(xiàn)的，它將 Scala 用作其應用程序框架。與 Hadoop 不同，Spark 和 Scala 能夠緊密集成，其中的 Scala 可以像操作本地集合對象一樣輕松地

10、Memcached ——通用分布式內(nèi)存緩存系統(tǒng)。

Memcached是一套分布式快取系統(tǒng)，當初是Danga Interactive為了LiveJournal所發(fā)展的，但被許多軟件(如MediaWiki)所使用。Memcached作為高速運行的分布式緩存服務器，具有以下的特點：協(xié)議簡單，基于libevent的事件處理，內(nèi)置內(nèi)存存儲方式。