大數(shù)據(jù)工具是什么?顧名思義，大數(shù)據(jù)工具就是用戶大數(shù)據(jù)工作的工具統(tǒng)稱(chēng)，比如從事大數(shù)據(jù)開(kāi)發(fā)工作會(huì)用到j(luò)ava、hadoop、spark、storm、es等，而從事大數(shù)據(jù)可視化工作需要很多的數(shù)據(jù)可視化工具，比如echarts、samrtbi、tableau、D3.js等，大數(shù)據(jù)工作人員利用這些工具來(lái)進(jìn)行日常的大數(shù)據(jù)工作。

下面我們來(lái)介紹一些大數(shù)據(jù)工作中用到的工具。

1. Hivemall

Hivemall結(jié)合了面向Hive的多種機(jī)器學(xué)習(xí)算法。它包括諸多高度擴(kuò)展性算法，可用于數(shù)據(jù)分類(lèi)、遞歸、推薦、k最近鄰、異常檢測(cè)和特征哈希。

支持的操作系統(tǒng)：與操作系統(tǒng)無(wú)關(guān)。

Hivemall官網(wǎng)鏈接：https://github.com/myui/hivemall

2. Mahout

Mahout 是 Apache Software Foundation(ASF) 旗下的一個(gè)開(kāi)源項(xiàng)目，提供一些可擴(kuò)展的機(jī)器學(xué)習(xí)領(lǐng)域經(jīng)典算法的實(shí)現(xiàn)，旨在幫助開(kāi)發(fā)人員更加方便快捷地創(chuàng)建智能應(yīng)用程序。Mahout包含許多實(shí)現(xiàn)，包括聚類(lèi)、分類(lèi)、推薦過(guò)濾、頻繁子項(xiàng)挖掘。此外，通過(guò)使用 Apache Hadoop 庫(kù)，Mahout 可以有效地?cái)U(kuò)展到云中。

Mahout官網(wǎng)地址：http://mahout.apache.org/

3. MapReduce

MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運(yùn)算。概念"Map(映射)"和"Reduce(歸約)"，是它們的主要思想，都是從函數(shù)式編程語(yǔ)言里借來(lái)的，還有從矢量編程語(yǔ)言里借來(lái)的特性。它極大地方便了編程人員在不會(huì)分布式并行編程的情況下，將自己的程序運(yùn)行在分布式系統(tǒng)上。

MapReduce相關(guān)文檔：http://hadoop.apache.org/docs/r1.2.1/mapred_tutorial.html

4. Oozie

Oozie是一種Java Web應(yīng)用程序，它運(yùn)行在Java servlet容器——即Tomcat——中，并使用數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)以下內(nèi)容：

● 工作流定義

● 當(dāng)前運(yùn)行的工作流實(shí)例，包括實(shí)例的狀態(tài)和變量

Oozie官網(wǎng)地址：http://oozie.apache.org/

5. Pig

Pig是一種數(shù)據(jù)流語(yǔ)言和運(yùn)行環(huán)境，用于檢索非常大的數(shù)據(jù)集。為大型數(shù)據(jù)集的處理提供了一個(gè)更高層次的抽象。Pig包括兩部分：一是用于描述數(shù)據(jù)流的語(yǔ)言，稱(chēng)為Pig Latin;二是用于運(yùn)行Pig Latin程序的執(zhí)行環(huán)境。

Pig官網(wǎng)地址：http://pig.apache.org/

6. Sqoop

Sqoop(發(fā)音：skup)是一款開(kāi)源的工具，主要用于在Hadoop(Hive)與傳統(tǒng)的數(shù)據(jù)庫(kù)(mysql、postgresql...)間進(jìn)行數(shù)據(jù)的傳遞，可以將一個(gè)關(guān)系型數(shù)據(jù)庫(kù)(例如 ： MySQL ,Oracle ,Postgres等)中的數(shù)據(jù)導(dǎo)進(jìn)到Hadoop的HDFS中，也可以將HDFS的數(shù)據(jù)導(dǎo)進(jìn)到關(guān)系型數(shù)據(jù)庫(kù)中。

Sqoop官網(wǎng)地址：http://sqoop.apache.org/

Sqoop相關(guān)文檔：http://sqoop.apache.org/docs/1.4.5/index.html

7. Spark

Spark 是一種與 Hadoop 相似的開(kāi)源集群計(jì)算環(huán)境，但是兩者之間還存在一些不同之處，這些有用的不同之處使 Spark 在某些工作負(fù)載方面表現(xiàn)得更加優(yōu)越，換句話說(shuō)，Spark 啟用了內(nèi)存分布數(shù)據(jù)集，除了能夠提供交互式查詢外，它還可以優(yōu)化迭代工作負(fù)載。

Spark官網(wǎng)地址：http://spark.apache.org/

8. Tez

Tez建立在Apache Hadoop YARN的基礎(chǔ)上，這是“一種應(yīng)用程序框架，允許為任務(wù)構(gòu)建一種復(fù)雜的有向無(wú)環(huán)圖，以便處理數(shù)據(jù)。”它讓Hive和Pig可以簡(jiǎn)化復(fù)雜的任務(wù)，而這些任務(wù)原本需要多個(gè)步驟才能完成。

支持的操作系統(tǒng)：Windows、Linux和OS X。

Tez官網(wǎng)鏈接：http://tez.apache.org

9. Zookeeper

ZooKeeper是一個(gè)分布式的，開(kāi)放源碼的分布式應(yīng)用程序協(xié)調(diào)服務(wù)，是Google的Chubby一個(gè)開(kāi)源的實(shí)現(xiàn)，是Hadoop和Hbase的重要組件。它是一個(gè)為分布式應(yīng)用提供一致性服務(wù)的軟件，提供的功能包括：配置維護(hù)、域名服務(wù)、分布式同步、組服務(wù)等。

Zookeeper官網(wǎng)：http://zookeeper.apache.org/

10.finndy+

finndy+是一個(gè)分布式的云采集工具，在全球有2000+高匿分布式節(jié)點(diǎn)，機(jī)器學(xué)習(xí)防屏蔽算法，自定義腳本引擎，首創(chuàng)單步調(diào)模式，一鍵API輸出。同時(shí)擁有海量免費(fèi)采集規(guī)則和交易市場(chǎng)。