淺析Hbase中的Hadoop單機環(huán)境配置

作者：林場 2010-11-25 16:48:20

今天我們要介紹的是Hbase中的Hadoop單機環(huán)境配置，系統(tǒng)為Ubuntu10.04。希望對大家有所幫助。

HBase是一個分布式的、面向列的開源數(shù)據(jù)庫，該技術(shù)來源于Chang et al所撰寫的Google論文“Bigtable：一個結(jié)構(gòu)化數(shù)據(jù)的分布式存儲系統(tǒng)”。就像Bigtable利用了Google文件系統(tǒng)（File System）所提供的分布式數(shù)據(jù)存儲一樣，HBase在Hadoop之上提供了類似于Bigtable的能力。HBase是Apache的Hadoop項目的子項目。HBase不同于一般的關(guān)系數(shù)據(jù)庫,它是一個適合于非結(jié)構(gòu)化數(shù)據(jù)存儲的數(shù)據(jù)庫.另一個不同的是HBase基于列的而不是基于行的模式。HBase使用和Bigtable非常相同的數(shù)據(jù)模型。用戶存儲數(shù)據(jù)行在一個表里。一個數(shù)據(jù)行擁有一個可選擇的鍵和任意數(shù)量的列。表是疏松的存儲的，因此用戶可以給行定義各種不同的列。HBase主要用于需要隨機訪問，實時讀寫你的大數(shù)據(jù)（Big Data）。

HBase架構(gòu)圖

本文主要介紹在Ubuntu10.04環(huán)境下安裝配置單機版原生的HBase。在網(wǎng)絡(luò)上找到的文章要么語焉不詳，要么ungeliable.于是記錄一下自己的安裝配置過程，做個STEP BY STEP的圖文并茂的教程，謹防自己以后忘記。

安裝Hbase其實主要是配置好java環(huán)境以及Hadoop與Hbase的配置文件。

1.安裝并配置Java環(huán)境。在Ubuntu10.04默認的源使用的OpenJDK，在某些應(yīng)用上OpenJDK并不被支持(如abicloud等).我們?yōu)榱耸∈逻€是安裝sun java ，打開終端，輸入以下命令：

(1)安裝

sudo add-apt-repository "deb http://archive.canonical.com/ lucid partner"   
sudo apt-get update    
sudo apt-get install sun-java6-jre sun-java6-plugin sun-java6-fonts    
sudo apt-get install sun-java6-jdk sun-java6-plugin sun-java6-fonts

查看是否安裝成功

$ java -version

(2) 設(shè)置默認的java解釋器。

sudo update-alternatives --config java

會出現(xiàn)下列圖面：

輸入你想選擇的編號。

(3)編輯java環(huán)境變量

sudo gedit /etc/environment

在彈出的environment文件中添加下列兩行：

CLASSPATH=.:/usr/lib/jvm/java-6-sun/lib JAVA_HOME=/usr/lib/jvm/java-6-sun

保存退出，行文至此，java環(huán)境已經(jīng)配置好。

2.安裝并配置Hadoop。雖說我安裝的是單機版的Hbase，但是由于Hadoop本來就是分布系統(tǒng)，使用SSH通訊。

(1)安裝ssh

sudo apt-get install ssh

(2)設(shè)置不用登錄密碼

<PRE class=wiki>$ ssh-keygen -t rsa -f ~/.ssh/id_rsa -P ""</PRE>    
<PRE class=wiki>$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys</PRE>

完成后登錄不用輸入密碼，***次需要輸入回車鍵。

$ ssh localhost    
$ exit    
$ ssh localhost    
$ exit

(3)下載解壓Hadoop，到http://hadoop.apache.org/common/releases.html#Download下載stable版本0.20.2.并解壓到/Home路徑

(4)修改hadoop-env.sh 。在本人機器上解壓路徑是/home/viki/hadoop-0.20.2，進入剛才所解壓的文件夾，修改之(需要root權(quán)限)。

cd hadoop-0.20.2   
gedit conf/hadoop-env.sh

將以下java環(huán)境copy進去。

export JAVA_HOME=/usr/lib/jvm/java-6-sun-1.6.0.22

(5)設(shè)置xml文件，需要設(shè)置conf文件夾下的三個文件core-site.xml, hdfs-site.xml, mapred-site.xml。

gedit  conf/core-site.xml

將下面內(nèi)容copy進該文件中：

<configuration>    
<property>    
<name>fs.default.name</name>    
 <value>hdfs://localhost:9000</value>    
 </property>    
 <property>    
 <name>hadoop.tmp.dir</name>    
  <value>/var/hadoop/hadoop-\${user.name}</value>    
</property>    
 </configuration>

保存退出，繼續(xù)修改另外一個文件hdfs-site.xml

gedit  conf/hdfs-site.xml

將下面內(nèi)容copy進該文件

<configuration>    
<property>    
   <name>dfs.replication</name>    
 <value>1</value>    
 </property>    
</configuration>

保存退出，修改***一個文件

gedit mapred-site.xml

將下面內(nèi)容copy進該文件

<configuration>    
  <property>    
    <name>mapred.job.tracker</name>    
   <value>localhost:9001</value>    
  </property>    
 </configuration>

經(jīng)歷以上步驟，所有文件修改完畢，已經(jīng)設(shè)置好Hadoop單機測試環(huán)境，下面將是啟動Hadoop服務(wù)。

3.格式化Namenode并開啟所有Hadoop服務(wù)，查看服務(wù)狀態(tài)。

(1)格式化Namenode

bin/hadoop namenode -format

會出現(xiàn)下面畫面：

(2)啟動所有Hadoop服務(wù)

bin/start-all.sh

會出現(xiàn)下面畫面：

(3)查看服務(wù)狀態(tài)。

管理頁面：http://localhost:50030/jobtracker.jsp

原文鏈接：http://www.cnblogs.com/ventlam/archive/2010/11/24/hadoop.html

Facebook實時信息系統(tǒng)：HBase每月存儲1350億條信息
SQL Server數(shù)據(jù)庫對大數(shù)據(jù)量表數(shù)據(jù)進行DELETE
MongoDB CEO談NoSQL的大數(shù)據(jù)量處理能力
詳解NoSQL數(shù)據(jù)庫使用實例
細數(shù)Google HBase與BigTable區(qū)別在哪里？

【編輯推薦】

責(zé)任編輯：彭凡來源：博客園

Hadoop Hbase