虛擬機(jī)安裝hadoop詳細(xì)步驟(OpenStack和Hadoop的區(qū)別是什么)
OpenStack和Hadoop的區(qū)別是什么?
openstack是一個(gè)開源的云計(jì)算框架,而Hadoop是一個(gè)開源的大數(shù)據(jù)框架,二者的各有側(cè)重。雖說云計(jì)算和大數(shù)據(jù)有一些連在一起的部分,但主要內(nèi)容還是有區(qū)別的,云計(jì)算是在云平臺(tái)上可以提供存儲(chǔ)和計(jì)算資源,而以Hadoop為模型的大數(shù)據(jù)是提供了一種分布式的存儲(chǔ)(HDFS)和計(jì)算模型(Map/Reduce),這個(gè)可以自己可以使用多臺(tái)計(jì)算機(jī)搭建中Hadoop平臺(tái),也可以在一臺(tái)計(jì)算機(jī)上通過虛擬機(jī)堆建Hadoop平臺(tái),甚至于這個(gè)可以在云平臺(tái)上堆建Hadoop平臺(tái)。
學(xué)習(xí)大數(shù)據(jù)Hadoop需要哪些基礎(chǔ)?
Hadoop是目前被廣泛的建議使用的大數(shù)據(jù)平臺(tái),Hadoop平臺(tái)要注意有HadoopCommon、HDFS、Hadoop Yarn、HadoopMapReduce和HadoopOzone。
Hadoop平臺(tái)目前被行業(yè)不使用二十年,有比較完備的生態(tài)和大量的應(yīng)用案例,同樣的Hadoop對(duì)硬件的要求比較低,非常比較適合初學(xué)者如何自學(xué)。目前很多商用大數(shù)據(jù)平臺(tái)確實(shí)是基于條件Hadoop構(gòu)建的,所以Hadoop是大數(shù)據(jù)開發(fā)的一個(gè)最重要內(nèi)容。
學(xué)習(xí)Hadoop開發(fā)必須有三個(gè)基礎(chǔ)知識(shí),下面并且共有可以介紹:
第一:Linux操作系統(tǒng)知識(shí)。通常情況下,Hadoop平臺(tái)是構(gòu)建在Linux系統(tǒng)之上的,所以我怎么學(xué)習(xí)Hadoop必須要自學(xué)Linux操作系統(tǒng)的使用。目前也很流行的Linux操作系統(tǒng)以及CentOS和Ubuntu,這兩個(gè)Linux系列操作系統(tǒng)有越來越廣泛的應(yīng)用場景。去學(xué)習(xí)Linux根本不急切,通常情況下可以在虛擬機(jī)上能完成,很多初學(xué)者都是在虛擬機(jī)上堆建一個(gè)偽分布式集群,后再完成Hadoop實(shí)驗(yàn)。
第二:編程語言。目前在Hadoop平臺(tái)下多常規(guī)Java和Python來成功程序的匯編語言,導(dǎo)致Hadoop本身是按結(jié)構(gòu)Java語言編寫的,因?yàn)樵贖adoop平臺(tái)下采用Java語言是比較方便些的選擇,Hadoop的官方demo一般說來又是采用Java語言利用的。Python語言的原因比較比較簡單,同樣Python有十分豐富的庫也可以建議使用,因?yàn)槟壳笆褂肞ython能完成Hadoop平臺(tái)的開發(fā)都是一個(gè)比較比較較常見的選擇。同時(shí),在Spark平臺(tái)下Scala也有廣泛的的應(yīng)用。
第三:算法。大數(shù)據(jù)的核心是數(shù)據(jù)價(jià)值化的過程,而算法設(shè)計(jì)則是數(shù)據(jù)價(jià)值化的基礎(chǔ)。所以,大數(shù)據(jù)平臺(tái)的開發(fā)離不開算法,要想學(xué)習(xí)Hadoop開發(fā)一定得有另一個(gè)功底扎實(shí)的算法基礎(chǔ)。
Hadoop平臺(tái)自身有非常十分豐富的開發(fā)組件,所以才去學(xué)習(xí)Hadoop的過程我還是都很艱辛的旅程的,的原因大數(shù)據(jù)開發(fā)有較強(qiáng)的場景特征,所以建議生克制化具體詳細(xì)的場景來能完成Hadoop平臺(tái)的學(xué)習(xí)。
大數(shù)據(jù)是我的主要研究方向之一,目前我也在帶大數(shù)據(jù)方向的研究生,我會(huì)先后在頭條寫一些關(guān)於大數(shù)據(jù)方面的文章,很有興趣朋友可以關(guān)注我,完全相信是有會(huì)收獲不小。
如果有大數(shù)據(jù)方面的問題,也可以咨詢一我。
謝謝了!
本站部分文章來自網(wǎng)絡(luò)或用戶投稿。涉及到的言論觀點(diǎn)不代表本站立場。閱讀前請查看【免責(zé)聲明】發(fā)布者:方應(yīng),如若本篇文章侵犯了原著者的合法權(quán)益,可聯(lián)系我們進(jìn)行處理。本文鏈接:http://www.gdyuanyu.cn/tougao/74136.html