云計算是在網格計算基礎上新興的計算模型，是互聯網公司爭相追逐的新技術。云計算作為一種商業計算模型，可以把任務分布在大量的計算機構成的資源池上。介紹了云計算的關鍵技術，這些技術包含虛擬機和計算模型等，還基于Hadoop對云計算模型進行了研究。

引言

　　云計算是由企業界開始發展，然后才進入學術界引起重視的，這與網格計算相反。經過對迄今為止的云計算相關學術論文進行統計分析后，顯示學術界對于云計算的研究主要集中在云技術關鍵技術方面。云計算研究的關鍵技術包括虛擬機、安全管理、數據管理、云監測、能耗管理和計算模型等。云計算的計算模型是研究如何針對某類應用特點提出效率更高的編程方式，目前云計算模型眾多，而Hadoop是一個開源的分布式系統基本架構，正日益成為具有較強實用性的開發平臺．淘寶就是國內率先使用Hadoop的公司之一。

　　1云計算關鍵技術

　　1．1虛擬機

　　虛擬機是云計算的關鍵技術之一。目前在云計算中使用的主要虛擬機之一就是VMwareInfrastructure。它是一個虛擬數據中心操作系統，可以將離散的硬件資源統一起來以創建共享平臺。其優點有：①整合服務器以降低IT成本；②暗哨計劃內和計劃外停機以改進業務連續性；⑧運行較少的服務器并且動態關閉不使用的服務器。

　　1．2安全管理

　　云計算是計算機資源的整合，通過云計算設施中的任何一臺計算機，任何隱私信息都能夠被找到。云計算安全問題已經成為急需解決的重要問題。其中，SianiPersion等提出了在云計算服務設計過程中保護用戶隱私的一些設計原則：①發送盡量少的個人信息到云中，或者對系統進行分析后只對一小部分個人信息進行必要的收集和采集；②采用安全措施防止未授權的訪問、復制、使用或者修改個人信息來保護云中的個人信息：③***限度地實現用戶控制。在云計算環境中，讓用戶完全控制個人信息是比較困難的。要加強對個人信息的控制：一可以允許用戶控制最重要的個人信息；二可以委托信任的第三方來管理：④允許用戶對個人信息的使用進行選擇，即加入、退出機制；⑤明確以及限制數據使用的目的。個人信息必須被身份明確的人使用和處理；⑥有反饋機制。即設計人及界面清楚地表明云服務中采取的安全措施，用其向用戶提供安全提示。

　　1．3數據管理

　　云計算具有計算能力可變、數據儲存在不信任的主機上、數據是遠程復制等3個特點。從這3個特點分析而出，只有兩種數據管理應用程序可能適合部署到云計算中：一是和事務處理相關的數據管理系統：另一種是和分析相關的數據管理系統。前者未采用共享的體系結構，在進行遠程數據復制時很難滿足ACID的需求，同時在不信任的主機上存儲數據也有比較大的風險。ACID要求對于基于分析的數據管理系統來說不是必須的，同時可以保證敏感數據在分析之外，從而保證其安全。因此，基于分析的數據管理系統應該很合適部署到云計算環境中去。

　　1.4云監測和能耗管理

　　云監測是隨著云計算的推廣、云設施不斷增加、為了更好地體現云計算的強大計算處理能力而設置的對虛擬機監控的能力：能耗管理是如何節省云設施中計算設施所需要的能源、有效整合資源、降低成本。

　　1．5云計算的計算模型

　　現行的分布式計算系統可以提供強大的計算能力．但非專業用戶并不能有效地利用，一個龐大的任務很可能由于初學者的偶然操作導致性能的大幅下降。為了解決這些問題，應該提供給用戶一個高度抽象的產品系統．這些就是云計算的計算模型。提到云計算模型，就不得不說一個開源框架，那就是Hadoop。

　　Hadoop是一個分布式系統基本架構。由Apache開發，使用戶在不了解分布式底層細節的情況下，開發分布式程序。簡單點說。Hadoop是一個可以更容易開發和運行處理大規模數據的軟件平臺。

　　Hadoop實現了一個分布式文件系統（HadoopDistributedFileSystem），簡稱HDFS。HDFS有著高容錯性的特點，并且設計用來部署在低廉的硬件上。而且它提供高傳輸率來訪問應用程序的數據，適合那些有著超大數據集的應用程序。HDFS放寬了POSIX標準的要求。這樣可以流的形式訪問文件系統中的數據。

　　Hadoop采用Master／Slave結構（如圖1），會有一臺Mas．ter，主要負責NameNode的工作以及JobTracker的工作，Job．Tracker的主要職責就是啟動、跟蹤和調度各個Slave的任務執行。還會有多臺Slave，每一臺Slave通常具有DataNode的功能并負責TaskTracker的工作。TaskTracker根據應用要求來結合本地數據執行Map任務以及Reduce任務。

圖1 Hadoop結構#p#

2 Windows下使用Hadoop實例的研究

　　2．1Windows下使用Hadoop的環境配置：

　　（1）安裝Hadoop前，首先需要安裝Cygwin

　　Cygwin是一個在Windows平臺上運行的Unix模擬環境，提供了shel1支持。安裝中需要選中Netcategory中的openssh。如圖2所示。

圖2 下載Cygwin安裝包

　　（2）配置Windows系統變量

　　新建系統變量CYGWIN．變量值為ntsec tty編輯系統變量里的Path變量．加入C：＼eygwin＼bin

　　（3）安裝Java，即安裝idk，配置JAVA環境變量。

　　2．2 單機模式

　　（1）啟動Cygwin，解壓縮Hadoop安裝包，例如Hapoop安裝包位于e：＼下，則解壓命令為$tar—zxvf／cygdrive／e／hadoop一0．19．2．tar．gz。

　　解壓默認目錄在C：＼cygwin\home＼user文件夾下。

　　（2）編輯C：＼cygwin＼home＼Administrato ad0op-0．19．2＼conf里的hadoop-env．sh，將JAVA_HOME變量設置成JDK安裝目錄，如果路徑中有空格，需要把Program Files改成Progra~1。

　　（3）配置完后即可運行WordCount實例。

　　在C：＼cygwiI ome dministrator\hadoop-0．19．2下創建一個輸入目錄input．新建2個本文文件：

　　txt1．txt：yangshenyuan hello world hello hadooop

　　txt2．txt：yangshenyuan bye hadoop

　　然后運行實例，并將結果輸出到output目錄下：

　　$bin／hadoop jar hadoop-0．1 9．2-examples．jar wordeount inputoutput

　　2．3 偽分布模式

　　（2）安裝配置SSH

　　啟動eygwin，執行命令：$ssh-host—eonfig。

　　當詢問“Shouldprivilegeseparationbeused”時．輸入no；當詢問”Doyouwanttoinstallsshdasaservice？”選yes；當提示“EnterthevalHeofCYGWINforthedaemon：［ntsee］”時，選擇ntsec。

　　提示sshd服務已經在本地系統安裝完畢。輸入命令$netstartsshd，啟動SSH，或者在Windows服務項里啟動CYGWINsshd。

　　然后執行$ssh—keygen來生成密鑰對．然后一直回車鍵確定。這樣會把生產的密鑰對保存在．ssh目錄下。使用命令將RSA公鑰加入到公鑰授權文件authorized_keys中：

　　訪問http：／／grid1：50070可以查看NameNote以及整個分布式文件系統的狀態．訪問http：／／gridl：50060可以查看TaskTraeker的運行狀態。

　　運行完數據處理．查看結果和關閉Hadoop的操作和偽分布模式相同。#p#

3 結束語

　　雖然Hadoop支持Windows，但官網上同時聲明Hadoop尚未在Windows下嚴格測試，建議只作為開發平臺。

　　而且，格式化Hadoop文件系統是Hadoop啟動的第一步，每次格式化前，要清空$HADOOP_HOME＼tmp目錄下的所有文件．因為Hadoop格式化時會重新建立NameNoteID．而tmp里還包含上次格式化留下的信息。格式化雖然清空了NameNote的數據，但是保留了DateNote的數據，這樣會導致啟動失敗。

　　另外，在{HADOOP_HOME}\logs目錄下，NameNode、DataNode、SecondaryNameNode、JobTracker、Tasktracker各有一個日志文件，當出現故障時，分析這些文件也許會有幫助。