大數(shù)據(jù)時代，你在干什么?大家都知道數(shù)據(jù)本身并沒有什么價值，由于分析方法的存在，使得海量的數(shù)據(jù)變得如同一座永遠(yuǎn)開采不完的礦，是金礦還是銀礦，得看你怎么分析和怎么利用了，和小編一起來了解一下怎么學(xué)習(xí)大數(shù)據(jù)吧。以下是小編為你整理的學(xué)大數(shù)據(jù)必須學(xué)什么 ?

【了解自身學(xué)習(xí)大數(shù)據(jù)的目的】每個人都有自己的想法，學(xué)習(xí)大數(shù)據(jù)的目的是什么，是學(xué)會分析，還是學(xué)會管理呢。 ?

【制定學(xué)習(xí)大數(shù)據(jù)的計劃】，在學(xué)習(xí)的過程中，沒有計劃，估計是達(dá)不到理想的彼岸的。一個好的計劃是詳細(xì)合理的，是張弛有度的。 ?

【三人必有我?guī)煛肯蛩藢W(xué)習(xí)，在現(xiàn)代社會里，大數(shù)據(jù)的思維，每個人都會擁有，只有不斷向他人學(xué)習(xí)，才能更好的提高之間，多問為什么，根究5個w原則去做吧。

【互聯(lián)網(wǎng)很強(qiáng)大】利用網(wǎng)絡(luò)資源去學(xué)習(xí)，網(wǎng)絡(luò)時代，各種網(wǎng)絡(luò)視頻教學(xué)平臺都有資料、信息，只有跟上時代節(jié)奏，才不會落伍。 ?

【樂于操作、沉得下來】如果你學(xué)習(xí)大數(shù)據(jù)沉不下來，建議你別學(xué)，因為這需要很大的耐心，去處理、分析、解決大量的數(shù)據(jù)，需要不斷去思考，沉得下來，才能進(jìn)步。 ?

【學(xué)好數(shù)學(xué)及建?！繑?shù)學(xué)來源于生活，數(shù)據(jù)也是來源于生活，計算機(jī)以邏輯說話，數(shù)學(xué)乃邏輯的先祖，學(xué)好數(shù)學(xué)，懂得原理，學(xué)會建立相關(guān)模型是非常有必要的。 ?

大數(shù)據(jù)的學(xué)習(xí)基礎(chǔ) ?

你可以先從Python看起，Python結(jié)構(gòu)簡單思路，這主要是建立你的編程思想。初學(xué)者學(xué)Python，不但入門容易，而且將來深入下去，可以編寫那些非常非常復(fù)雜的程序。網(wǎng)上有很多免費(fèi)的視頻隨便一搜就出來了! ?

當(dāng)你有了一定基礎(chǔ)之后可以學(xué)習(xí)下C語言或者JAVA語言這兩種語言都是很優(yōu)秀的。雖然跟你要說的大數(shù)據(jù)差的很遠(yuǎn)但是底層的一些東西和一些思想還是要懂一些的 ?

學(xué)到這里就可以學(xué)習(xí)一些架構(gòu)知識了。我們就以JAVA為例，很多語言都是相通的所以不必糾結(jié)語言，我們就以JAVA為例。下面是我認(rèn)為比較好的一些學(xué)習(xí)路線。 ?

能把上述東西學(xué)好，你毫無疑問已經(jīng)初入門檻小有成就了，這時候你就可以學(xué)習(xí)一下爬蟲和數(shù)據(jù)庫高級應(yīng)用之類的課程了。這時候就好比黎明前的黑暗有好多人就在這里放棄了，不過也有部分人認(rèn)為很輕松，個人覺得一部分是天賦另一部分就是努力了。 ?

接下來就可以學(xué)習(xí)算法、加密、數(shù)據(jù)挖掘等等一系列高級課程了。不管哪種語言都有它存在的必然，存在即真理，所以一定盡可能多學(xué)幾門語言當(dāng)你真正學(xué)好一種語言的時候?qū)W另一種語言很快的。還有如果有精力可以學(xué)習(xí)一下匯編語言熟悉一下底層知識，為你將來更上一層樓打下基礎(chǔ)。 ?

不管你怎么學(xué)習(xí)知識總是無窮的，而且也是相互聯(lián)系的，當(dāng)你學(xué)會一方面東西學(xué)習(xí)與它相近的東西有事半功倍的效果，所以與其說是大數(shù)據(jù)入門不如說是這一個行業(yè)的入門。加油學(xué)習(xí)吧 ?

初級MapReduce ?

這是你成為Hadoop開發(fā)人員的基礎(chǔ)課程。 ?

MapReduce提供了以下的主要功能: ?

1)數(shù)據(jù)劃分和計算任務(wù)調(diào)度: ?

2)數(shù)據(jù)/代碼互定位: ?

3)系統(tǒng)優(yōu)化: ?

4)出錯檢測和恢復(fù): ?

這種編程模型主要用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運(yùn)算。 ?

1、如何理解map、reduce計算模型 ?

2、剖析偽分布式下MapReduce作業(yè)的執(zhí)行過程 ?

3、Yarn模型

?

4、序列化 ?

5、MapReduce的類型與格式 ?

6、MapReduce開發(fā)環(huán)境搭建 ?

7、MapReduce應(yīng)用開發(fā) ?

8、熟悉MapReduce算法原理 ?

Zookeeper ?

這是個萬金油，安裝Hadoop的HA的時候就會用到它，以后的Hbase也會用到它。它一般用來存放一些相互協(xié)作的信息，這些信息比較小一般不會超過1M，都是使用它的軟件對它有依賴，對于我們個人來講只需要把它安裝正確，讓它正常的run起來就可以了。 ?

Mysql：我們學(xué)習(xí)完大數(shù)據(jù)的處理了，接下來學(xué)習(xí)學(xué)習(xí)小數(shù)據(jù)的處理工具mysql數(shù)據(jù)庫，因為一會裝hive的時候要用到，mysql需要掌握到什么層度那?你能在Linux上把它安裝好，運(yùn)行起來，會配置簡單的權(quán)限，修改root的密碼，創(chuàng)建數(shù)據(jù)庫。這里主要的是學(xué)習(xí)SQL的語法，因為hive的語法和這個非常相似。 ?

Sqoop：這個是用于把Mysql里的數(shù)據(jù)導(dǎo)入到Hadoop里的。當(dāng)然你也可以不用這個，直接把Mysql數(shù)據(jù)表導(dǎo)出成文件再放到HDFS上也是一樣的，當(dāng)然生產(chǎn)環(huán)境中使用要注意Mysql的壓力。 ?

Hive：這個東西對于會SQL語法的來說就是神器，它能讓你處理大數(shù)據(jù)變的很簡單，不會再費(fèi)勁的編寫MapReduce程序。有的人說Pig那?它和Pig差不多掌握一個就可以了。 ?

Oozie：既然學(xué)會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者M(jìn)apReduce、Spark腳本，還能檢查你的程序是否執(zhí)行正確，出錯了給你發(fā)報警并能幫你重試程序，最重要的是還能幫你配置任務(wù)的依賴關(guān)系。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。 ?

Hbase：這是Hadoop生態(tài)體系中的NOSQL數(shù)據(jù)庫，他的數(shù)據(jù)是按照key和value的形式存儲的并且key是*的，所以它能用來做數(shù)據(jù)的排重，它與MYSQL相比能存儲的數(shù)據(jù)量大很多。所以他常被用于大數(shù)據(jù)處理完成之后的存儲目的地。 ?

Kafka：這是個比較好用的隊列工具，隊列是干嗎的?排隊買票你知道不?數(shù)據(jù)多了同樣也需要排隊處理，這樣與你協(xié)作的其它同學(xué)不會叫起來，你干嗎給我這么多的數(shù)據(jù)(比如好幾百G的文件)我怎么處理得過來，你別怪他因為他不是搞大數(shù)據(jù)的，你可以跟他講我把數(shù)據(jù)放在隊列里你使用的時候一個個拿，這樣他就不在抱怨了馬上灰流流的去優(yōu)化他的程序去了，因為處理不過來就是他的事情。而不是你給的問題。當(dāng)然我們也可以利用這個工具來做線上實時數(shù)據(jù)的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對數(shù)據(jù)進(jìn)行簡單處理，并寫到各種數(shù)據(jù)接受方(比如Kafka)的。 ?

Spark：它是用來彌補(bǔ)基于MapReduce處理數(shù)據(jù)速度上的缺點，它的特點是把數(shù)據(jù)裝載到內(nèi)存中計算而不是去讀慢的要死進(jìn)化還特別慢的硬盤。特別適合做迭代運(yùn)算，所以算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。 ?