1、Java編程技術
Java編程技術是大數(shù)據(jù)學習的基礎,主流的大數(shù)據(jù)開源框架,其編程都離不開Java。
2、Linux命令
大數(shù)據(jù)開發(fā)通常是在Linux環(huán)境下進行的,Linux基礎操作命令以及Shell編程,也是大數(shù)據(jù)學習的重要組成部分。
3、大數(shù)據(jù)相關框架和組件
常用的大數(shù)據(jù)開發(fā)框架有:Hadoop、Spark、Storm、Flink等,開發(fā)框架搭建應用架構前需要先弄明白其原理和應用場景,這是基本的要求。
Hadoop,已幾乎與大數(shù)據(jù)劃上了等號,超過20個生態(tài)圈組件,共同完成面向高度擴展的分布式計算。
Spark,作為MapReduce之外的一種選擇,后來居上,成為MapReduce的替代者,受到行業(yè)主流的歡迎。
Storm,提供了實時處理大數(shù)據(jù)的功能(不像Hadoop只提供批任務處理)。其用戶包括推特、WebMD、阿里巴巴、Yelp、雅虎日本、Spotify等頭部企業(yè)。
Flink,流式處理系統(tǒng),新興熱門框架,尤其受到阿里青睞,近幾年在國內(nèi)的發(fā)展很好。