HadoopHBase實現配置簡單的單機環境
在學習Hadoop的過程中，你可能會遇到HadoopHBase單機環境簡單配置問題，本節就和大家分享一下HadoopHBase單機環境簡單配置的方法，希望通過本節的介紹大家能夠掌握其方法。
HadoopHBase單機環境簡單配置教程
Hadoop是Apache的一個項目,它是一個實現了MapReduce計算模型的可以運用于大型集群并行計算的分布式并行計算編程框架,當然分布式計算離不開分布式存儲,Hadoop框架包含了分布式存儲系統HDFS(HadoopDistributedFileSystem),其存儲和數據結構很類似Google的GFS.
HBase是Hadoop的子項目,它是基于HadoopHDFS分布存儲系統的一個GoogleBigTable開源實現(最近看了BigTable的Paper,很受鼓舞和啟發),它在存儲數據結構上并非關系型,而是疏松分布式的,持久并按多維排序并索引的map型,下次我把介紹BigTable和HBase的文章轉載過來.
GoogleBigTable的paper:http://labs.google.com/papers/bigtable-osdi06.pdf
在初接觸HadoopHbase的時候,大多數技術人員只希望通過簡單的方法初步搭起框架環境,但我找了好多安裝手冊都是上來就部署集群分布環境(盡管做Hadoop就是為了這個目的),搭建集群環境的時候要設置ssh協議訪問權限,要生成訪問公鑰,并且slaves配置上的小錯誤也會導致整個部署問題重重,所以我在部署成功后記錄下最簡單運行的standalone模式的安裝配置過程,希望初學者在需要的時候能找到這個小小的guide,以后有時間我會再把集群配置的方法寫出來.
開始:
1.在Apache/Hadoop項目的網站(hadoop.apache.org/)下載hadoophbase發行包,此處兩個發行包的大版本號一定要一致,譬如都是0.18版本:hadoop-0.18.2.tar.gzhbase-0.18.1.tar.gz
2.使用root身份登錄目標服務器系統(Suse10Linux)
首先安裝java虛擬機,這個比較簡單,隨便找個綠色的解壓就可以了,在這個例子里面我使用IBMWAS6.1附帶的jdk,它的home目錄是/opt/IBM/WebSphere/AppServer/java,我們只需要配置系統的環境變量就可以了.
編輯全局環境變量文件/etc/profile,在文件后面添加
exportJAVA_HOME=/opt/IBM/WebSphere/AppServer/java
exportPATH=$JAVA_HOME:$PATH
保存profile文件后使用$source/etc/profile命令重新加載profile,然后隨便在一個目錄下面運行$java-version查看javahome環境變量和path變量是否被正確加載.
另外到/etc/hosts文件中查看主機映射是否存在,例如127.0.0.1localhost或者什么其他的名字,在這里默認配置本機為localhost,如果需要做分布式的話,本機要做namenode,所以要把所有的datanode的host添加到這里面.
3.創建hadoop用戶,$useraddhadoop可以用$passwdhadoop修改hadoop用戶的登錄密碼.
4.創建hadoop用戶的home目錄,如果打算在別處安裝hadoop/hbase的話可以不這樣做,這里我們默認將hadoophbase安裝在/home/${username}目錄下.
$cd/home
$mkdirhadoop
將目錄用戶指派給hadoop
$chownhadoophadoop
改變目錄權限,這里我們配大一些,其實只要644就足夠了:
$chmod755hadoop
5.使用hadoop用戶登錄系統,將下載的兩個發行包文件傳到/home/hadoop目錄下面,然后給它們加上執行權限:
$chmoda+xhadoop-0.18.2.tar.gz
$chmoda+xhbase-0.18.1.tar.gz
6.解壓hadoop:
$tarzxvfhadoop-0.18.2.tar.gz
這樣做會在/home/hadoop目錄下解壓hadoop發行包并創建到/home/hadoop/hadoop。本節關于HadoopHBase單機環境簡單配置內容沒有介紹完整，請期待下節介紹。
【編輯推薦】
