大數(shù)據(jù)時代，你在干什么?大家都知道數(shù)據(jù)本身并沒有什么價值，由于分析方法的存在，使得海量的數(shù)據(jù)變得如同一座永遠開采不完的礦，是金礦還是銀礦，得看你怎么分析和怎么利用了，和小編一起來了解一下怎么學習大數(shù)據(jù)吧。以下是小編為你整理的學大數(shù)據(jù)必須學什么 ?

【了解自身學習大數(shù)據(jù)的目的】每個人都有自己的想法，學習大數(shù)據(jù)的目的是什么，是學會分析，還是學會管理呢。 ?

【制定學習大數(shù)據(jù)的計劃】，在學習的過程中，沒有計劃，估計是達不到理想的彼岸的。一個好的計劃是詳細合理的，是張弛有度的。 ?

【三人必有我?guī)煛肯蛩藢W習，在現(xiàn)代社會里，大數(shù)據(jù)的思維，每個人都會擁有，只有不斷向他人學習，才能更好的提高之間，多問為什么，根究5個w原則去做吧。

【互聯(lián)網(wǎng)很強大】利用網(wǎng)絡資源去學習，網(wǎng)絡時代，各種網(wǎng)絡視頻教學平臺都有資料、信息，只有跟上時代節(jié)奏，才不會落伍。 ?

【樂于操作、沉得下來】如果你學習大數(shù)據(jù)沉不下來，建議你別學，因為這需要很大的耐心，去處理、分析、解決大量的數(shù)據(jù)，需要不斷去思考，沉得下來，才能進步。 ?

【學好數(shù)學及建?！繑?shù)學來源于生活，數(shù)據(jù)也是來源于生活，計算機以邏輯說話，數(shù)學乃邏輯的先祖，學好數(shù)學，懂得原理，學會建立相關模型是非常有必要的。 ?

大數(shù)據(jù)的學習基礎 ?

你可以先從Python看起，Python結構簡單思路，這主要是建立你的編程思想。初學者學Python，不但入門容易，而且將來深入下去，可以編寫那些非常非常復雜的程序。網(wǎng)上有很多免費的視頻隨便一搜就出來了! ?

當你有了一定基礎之后可以學習下C語言或者JAVA語言這兩種語言都是很優(yōu)秀的。雖然跟你要說的大數(shù)據(jù)差的很遠但是底層的一些東西和一些思想還是要懂一些的 ?

學到這里就可以學習一些架構知識了。我們就以JAVA為例，很多語言都是相通的所以不必糾結語言，我們就以JAVA為例。下面是我認為比較好的一些學習路線。 ?

能把上述東西學好，你毫無疑問已經(jīng)初入門檻小有成就了，這時候你就可以學習一下爬蟲和數(shù)據(jù)庫高級應用之類的課程了。這時候就好比黎明前的黑暗有好多人就在這里放棄了，不過也有部分人認為很輕松，個人覺得一部分是天賦另一部分就是努力了。 ?

接下來就可以學習算法、加密、數(shù)據(jù)挖掘等等一系列高級課程了。不管哪種語言都有它存在的必然，存在即真理，所以一定盡可能多學幾門語言當你真正學好一種語言的時候學另一種語言很快的。還有如果有精力可以學習一下匯編語言熟悉一下底層知識，為你將來更上一層樓打下基礎。 ?

不管你怎么學習知識總是無窮的，而且也是相互聯(lián)系的，當你學會一方面東西學習與它相近的東西有事半功倍的效果，所以與其說是大數(shù)據(jù)入門不如說是這一個行業(yè)的入門。加油學習吧 ?

初級MapReduce ?

這是你成為Hadoop開發(fā)人員的基礎課程。 ?

MapReduce提供了以下的主要功能: ?

1)數(shù)據(jù)劃分和計算任務調度: ?

2)數(shù)據(jù)/代碼互定位: ?

3)系統(tǒng)優(yōu)化: ?

4)出錯檢測和恢復: ?

這種編程模型主要用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運算。 ?

1、如何理解map、reduce計算模型 ?

2、剖析偽分布式下MapReduce作業(yè)的執(zhí)行過程 ?

3、Yarn模型

?

4、序列化 ?

5、MapReduce的類型與格式 ?

6、MapReduce開發(fā)環(huán)境搭建 ?

7、MapReduce應用開發(fā) ?

8、熟悉MapReduce算法原理 ?

Zookeeper ?

這是個萬金油，安裝Hadoop的HA的時候就會用到它，以后的Hbase也會用到它。它一般用來存放一些相互協(xié)作的信息，這些信息比較小一般不會超過1M，都是使用它的軟件對它有依賴，對于我們個人來講只需要把它安裝正確，讓它正常的run起來就可以了。 ?

Mysql：我們學習完大數(shù)據(jù)的處理了，接下來學習學習小數(shù)據(jù)的處理工具mysql數(shù)據(jù)庫，因為一會裝hive的時候要用到，mysql需要掌握到什么層度那?你能在Linux上把它安裝好，運行起來，會配置簡單的權限，修改root的密碼，創(chuàng)建數(shù)據(jù)庫。這里主要的是學習SQL的語法，因為hive的語法和這個非常相似。 ?

Sqoop：這個是用于把Mysql里的數(shù)據(jù)導入到Hadoop里的。當然你也可以不用這個，直接把Mysql數(shù)據(jù)表導出成文件再放到HDFS上也是一樣的，當然生產(chǎn)環(huán)境中使用要注意Mysql的壓力。 ?

Hive：這個東西對于會SQL語法的來說就是神器，它能讓你處理大數(shù)據(jù)變的很簡單，不會再費勁的編寫MapReduce程序。有的人說Pig那?它和Pig差不多掌握一個就可以了。 ?

Oozie：既然學會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者MapReduce、Spark腳本，還能檢查你的程序是否執(zhí)行正確，出錯了給你發(fā)報警并能幫你重試程序，最重要的是還能幫你配置任務的依賴關系。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。 ?

Hbase：這是Hadoop生態(tài)體系中的NOSQL數(shù)據(jù)庫，他的數(shù)據(jù)是按照key和value的形式存儲的并且key是*的，所以它能用來做數(shù)據(jù)的排重，它與MYSQL相比能存儲的數(shù)據(jù)量大很多。所以他常被用于大數(shù)據(jù)處理完成之后的存儲目的地。 ?

Kafka：這是個比較好用的隊列工具，隊列是干嗎的?排隊買票你知道不?數(shù)據(jù)多了同樣也需要排隊處理，這樣與你協(xié)作的其它同學不會叫起來，你干嗎給我這么多的數(shù)據(jù)(比如好幾百G的文件)我怎么處理得過來，你別怪他因為他不是搞大數(shù)據(jù)的，你可以跟他講我把數(shù)據(jù)放在隊列里你使用的時候一個個拿，這樣他就不在抱怨了馬上灰流流的去優(yōu)化他的程序去了，因為處理不過來就是他的事情。而不是你給的問題。當然我們也可以利用這個工具來做線上實時數(shù)據(jù)的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對數(shù)據(jù)進行簡單處理，并寫到各種數(shù)據(jù)接受方(比如Kafka)的。 ?

Spark：它是用來彌補基于MapReduce處理數(shù)據(jù)速度上的缺點，它的特點是把數(shù)據(jù)裝載到內存中計算而不是去讀慢的要死進化還特別慢的硬盤。特別適合做迭代運算，所以算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。 ?