Java程式設計師一直使用的一些大數據工具，不容錯過！
目前，程式設計人員面對的最大挑戰就是複雜性，硬體越來越複雜，OS越來越複雜，程式語言和API越來越複雜，我們構建的應用也越來越複雜。以下是列出的Java程式設計師一直使用的一些大數據工具，或許會對你有意義。
1、MongoDB——最受歡迎的，跨平臺的，面向文件的數據庫。
MongoDB是一個基於分佈式檔案儲存的數據庫，使用C++語言編寫。旨在爲Web應用提供可延伸的高效能數據儲存解決方案。應用效能高低依賴於數據庫效能，MongoDB則是非關係數據庫中功能最豐富，最像關係數據庫的，隨着MongDB 3.4版本發佈，其應用場景適用能力得到了進一步拓展。
MongoDB的核心優勢就是靈活的文件模型、高可用複製集、可延伸分片叢集。你可以試着從幾大方面瞭解MongoDB，如實時監控MongoDB工具、記憶體使用量和頁面錯誤、連線數、數據庫操作、複製集等。
2、Elasticsearch ——爲雲構建的分佈式RESTful搜尋引擎。
ElasticSearch是基於Lucene的搜尋伺服器。它提供了分佈式多使用者能力的全文搜尋引擎，基於RESTful web介面。Elasticsearch是用Java開發的，並作爲Apache許可條款下的開放原始碼發佈，是比較流行的企業級搜尋引擎。
ElasticSearch不僅是一個全文字搜尋引擎，還是一個分佈式實時文件儲存，其中每個field均是被索引的數據且可被搜尋;也是一個帶實時分析功能的分佈式搜尋引擎，並且能夠擴充套件至數以百計的伺服器儲存及處理PB級的數據。ElasticSearch在底層利用Lucene完成其索引功能，因此其許多基本概念源於Lucene。
3、Cassandra——開源分佈式數據庫管理系統
最初是由Facebook開發的，旨在處理許多商品伺服器上的大量數據，提供高可用性，沒有單點故障。
Apache Cassandra是一套開源分佈式NoSQL數據庫系統。集Google BigTable的數據模型與Amazon Dynamo的完全分佈式架構於一身。於2008開源，此後，由於Cassandra良好的可延伸性，被Digg、Twitter等Web 2.0網站所採納，成爲了一種流行的分佈式結構化數據儲存方案。
因Cassandra是用Java編寫的，所以理論上在具有JDK6及以上版本的機器中都可以執行，官方測試的JDK還有OpenJDK 及Sun的JDK。 Cassandra的操作命令，類似於我們平時操作的關係數據庫，對於熟悉MySQL的朋友來說，操作會很容易上手。
4、Redis ——開源(BSD許可)記憶體數據結構儲存，用作數據庫，快取和訊息代理。
Redis是一個開源的使用ANSI C語言編寫的、支援網路、可基於記憶體亦可持久化的日誌型、Key-Value數據庫，並提供多種語言的API。Redis 有三個主要使其有別於其它很多競爭對手的特點：Redis是完全在記憶體中儲存數據的數據庫，使用磁碟只是爲了永續性目的; Redis相比許多鍵值數據儲存系統有相對豐富的數據型別; Redis可以將數據複製到任意數量的從伺服器中。
5、Hazelcast ——基於Java的開源記憶體數據網格。
Hazelcast 是一種記憶體數據網格 in-memory data grid，提供Java程式設計師關鍵任務交易和萬億級記憶體應用。雖然Hazelcast沒有所謂的「Master」，但是仍然有一個Leader節點(the oldest member)，這個概念與ZooKeeper中的Leader類似，但是實現原理卻完全不同。同時，Hazelcast中的數據是分佈式的，每一個member持有部分數據和相應的backup數據，這點也與ZooKeeper不同。
Hazelcast的應用便捷性深受開發者喜歡，但如果要投入使用，還需要慎重考慮。
6、EHCache——廣泛使用的開源Java分佈式快取。
主要面向通用快取、Java EE和輕量級容器。
EhCache 是一個純Java的進程內快取框架，具有快速、精幹等特點，是Hibernate中預設的CacheProvider。主要特性有：快速簡單，具有多種快取策略;快取數據有兩級，記憶體和磁碟，因此無需擔心容量問題;快取數據會在虛擬機器重新啓動的過程中寫入磁碟;可以通過RMI、可插入API等方式進行分佈式快取;具有快取和快取管理器的偵聽介面;支援多快取管理器範例，以及一個範例的多個快取區域;提供Hibernate的快取實現。
7、Hadoop ——用Java編寫的開源軟體框架，用於分佈式儲存，並對非常大的數據集進行分佈式處理。
使用者可以在不瞭解分佈式底層細節的情況下，開發分佈式程式。充分利用叢集進行高速運算和儲存。Hadoop實現了一個分佈式檔案系統(Hadoop Distributed File System)，簡稱HDFS。Hadoop的框架最核心的設計就是：HDFS和MapReduce。HDFS爲海量的數據提供了儲存，MapReduce則爲海量的數據提供了計算。
8、Solr ——開源企業搜尋平臺，用Java編寫，來自Apache Lucene專案。
Solr是一個獨立的企業級搜尋應用伺服器，它對外提供類似於Web-service的API介面。使用者可以通過http請求，向搜尋引擎伺服器提交一定格式的XML檔案，生成索引;也可以通過Http Get操作提出查詢請求，並得到XML格式的返回結果。
與ElasticSearch一樣，同樣是基於Lucene，但它對其進行了擴充套件，提供了比Lucene更爲豐富的查詢語言，同時實現了可設定、可延伸並對查詢效能進行了優化。
9、Spark ——Apache Software Foundation中最活躍的專案，是一個開源叢集計算框架。
Spark 是一種與 Hadoop 相似的開源叢集計算環境，但是兩者之間還存在一些不同之處，這些不同之處使 Spark 在某些工作負載方面表現得更加優越，換句話說，Spark 啓用了記憶體分佈數據集，除了能夠提供互動式查詢外，它還可以優化迭代工作負載。
Spark 是在 Scala 語言中實現的，它將 Scala 用作其應用程式框架。與 Hadoop 不同，Spark 和 Scala 能夠緊密整合，其中的 Scala 可以像操作本地集合物件一樣輕鬆地操作分佈式數據集。
10、Memcached ——通用分佈式記憶體快取系統。
Memcached是一套分佈式快取系統，當初是Danga Interactive爲了LiveJournal所發展的，但被許多軟體(如MediaWiki)所使用。Memcached作爲高速執行的分佈式快取伺服器，具有以下的特點：協定簡單，基於libevent的事件處理，內建記憶體儲存方式。
11、Apache Hive ——在Hadoop之上提供類似SQL的層。
Hive是一個基於Hadoop的數據倉庫平臺。通過hive，可以方便地進行ETL工作。hive定義了一個類似於SQL的查詢語言，能夠將使用者編寫的SQL轉化爲相應的Mapreduce程式基於Hadoop執行。目前，已經發布了Apache Hive 2.1.1 版本。
12、Apache Kafka ——最初是由LinkedIn開發的高吞吐量，分佈式訂閱訊息系統。
Apache Kafka是一個開源訊息系統專案，由Scala寫成。該專案的目標是爲處理實時數據提供一個統一、高通量、低等待的平臺。Kafka維護按類區分的訊息，稱爲主題(topic)。生產者(producer)向kafka的主題發佈訊息，消費者(consumer)向主題註冊，並且接收發布到這些主題的訊息。kafka以一個擁有一臺或多臺伺服器的叢集執行着，每一臺伺服器稱爲broker。
13、Akka ——用於在JVM上構建高併發，分佈式和彈性訊息驅動應用程式的工具包。
Akka 是一個用 Scala 編寫的庫，用於簡化編寫容錯的、高可伸縮性的 Java 和 Scala 的 Actor 模型應用。它已經成功運用在電信行業，系統幾乎不會宕機。
14、HBase ——開放原始碼，非關係型，分佈式數據庫，採用Google的BigTable建模，用Java編寫，並在HDFS上執行。
與FUJITSU Cliq等商用大數據產品不同，HBase是Google Bigtable的開源實現，類似Google Bigtable利用GFS作爲其檔案儲存系統，HBase利用Hadoop HDFS作爲其檔案儲存系統;Google執行MapReduce來處理Bigtable中的海量數據，HBase同樣利用Hadoop MapReduce來處理HBase中的海量數據;Google Bigtable利用 Chubby作爲協同服務，HBase利用Zookeeper作爲對應。
15、Neo4j ——在Java中實現的開源圖形數據庫。
Neo4j是一個高效能的NOSQL圖形數據庫，它將結構化數據儲存在網路上而不是表中。它是一個嵌入式的、基於磁碟的、具備完全事務特性的Java持久化引擎。
16、CouchBase ——開源分佈式的NoSQL面向文件數據庫，針對互動式應用程式進行了優化。
如果以前沒有NoSQL的使用經驗，那麼理解couchbase的時候關鍵有兩點：延後寫入和鬆散儲存。該產品基於Apache CouchDB，並整合了GeoCouch(一個基於Erlang、緊密整合的地理空間索引系統，可支援LBS應用)。
17、Apache Storm——開源分佈式實時計算系統。
Apache Storm 是一個能近實時地在數據之上執行使用者程式碼片段的流式數據處理框架。它實際上是一系列連在一起的管道。通常用於簡單的分析任務 ，諸如計算，以及清洗，使其常規化，並且準備攝入用於長期儲存的數據。
18、CouchDB——開源的面向文件的NoSQL數據庫，使用JSON儲存數據。
CouchDB 是一個開源的面向文件的數據庫管理系統，可以通過 RESTful JavaScript Object Notation (JSON) API 存取。CouchDB落實到最底層的數據結構就是兩類B+Tree 。
19、Oracle Coherence——記憶體數據網格解決方案，通過提供對常用數據的快速存取，使企業能夠可預測地擴充套件關鍵任務應用程式。
簡單來說，Coherence僅支援Java，.NET和C++ API三個版本，這三個都是物件導向的語言，這也說明Coherence和應用開發的親和性。
20、Titan——可延伸的圖形數據庫，優化用於儲存和查詢包含分佈在多機叢集上的數百億個頂點和邊的圖形。
支援不同的分佈式儲存層：Cassandra 1.1和HBase 0.92。原生實現 Blueprints graph API，Gremlin graph traversal language，Frames graph-to-object mapper，Rexster graph server。
21、Amazon DynamoDB——快速，靈活的全面管理NoSQL的數據庫服務，適用於任何規模的要求一致性，單位毫秒延遲的應用程式。
Amazon DynamoDB 是一種完全託管的 NoSQL 數據庫服務，提供快速而可預測的效能，能夠實現無縫擴充套件。
22、Amazon Kinesis——AWS上的實時流式傳輸數據平臺。
Web 應用程式、移動裝置、可穿戴裝置、行業感測器和許多軟體應用程式和服務都可能生成大量的流數據(有時達到每小時數 TB)，需要對其進行連續地收集、儲存和處理。Amazon Kinesis 就是針對這種需求產生的。
23、Datomic——完全事務，雲就緒，分佈式數據庫，用Clojure編寫。
Datomic 是一個靈活的、基於時間因子的數據庫，支援聯合查詢，具有彈性的可延伸性以及支援ACID事務性。Datomic 提供高可用的、分佈式儲存服務。
以上就是列舉的Java開發人員使用的一些大數據工具。你現在正在使用的有幾個呢？Java開發語言已經有十幾年的高速發展的過程，在此期間各種各樣的工具層出不窮。我們並不能一一掌握，只能說是在實際應用中儘可能的掌握更多的工具，提高自己的工作效率。
Java前景好，薪資高，但是學起來並不容易。想成爲一名符合企業需求的Java工程師，評論回覆 回復：Java，即可免費領取最新全套Java學習資料+原始碼+專案+筆記，助力大家學好Java。
希望所有的學員們，都能早日明確自己的目標，計劃好未來的路線！種一棵樹最好的時間是十年前，其次是現在！