如何使用ubuntu快速部署ceph集群
一、安裝環境
本文主要根據官方文檔使用ubuntu14.04部署ceph集群，并且簡單介紹其基本操作。整個集群包括一個admin節點(admin node,主機名為node0)和3個存儲節點(主機名分別為node1，node2，node3)，所有節點均安裝了ubuntu 14.04操作系統，除了admin節點，其余三個節點除了根磁盤，還額外配置一個磁盤作為單獨的osd：
- lsblk
輸出結果：
- NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
- sr0 11:0 1 422K 0 rom
- vda 253:0 0 20G 0 disk
- ├─vda1 253:1 0 19G 0 part /
- ├─vda2 253:2 0 1K 0 part
- └─vda5 253:5 0 1022M 0 part [SWAP]
- vdb 253:16 0 50G 0 disk
由于使用ustack公有云申請的云主機，因此磁盤是虛擬的，根磁盤為vda，第二塊磁盤為vdb。 所有主機在192.168.0.0/24這個網絡,ip為：
- 192.168.0.2 node0
- 192.168.0.5 node1
- 192.168.0.7 node2
- 192.168.0.6 node3
我們先設置一個mon節點，兩個osd節點，后續我們再增加節點，其架構如圖所示：
其中node1作為mon節點，其余node2，node3作為osd節點。
注意：后續操作均使用root賬號，如果不使用root賬號登錄，需要創建一個新的賬號，該賬號必須具有免密碼sudo權限，否則后續使用ceph-deploy時會失敗!
二、安裝前工作
1.設置admin節點root免密碼登錄其他節點
首先使用ssh-keygen生成密鑰，位于~/.ssh/id_rsa.pub,拷貝id_rsa.pub文件到所有節點中，若沒有設置root密碼，可以先拷貝到管理員賬號(安裝操作系統時使用的用戶，具有sudo權限)home目錄，然后使用管理員賬號操作：
- cat id_rsa.pub | sudo tee -a /root/.ssh/authorized_keys
在node0節點分別測試，是否可以免密碼登錄其他節點：
- ssh node0 uptime
- ssh node1 uptime
- ssh node2 uptime
- ssh node3 uptime
結果應該不需要輸入密碼。
2.安裝并行ssh命令
在admin節點安裝pssh包：
- apt-get install -y pssh
設置以下別名：
- alias pssh='parallel-ssh'
- alias pscp='parallel-scp'
創建host文件列表hosts.txt:
- node0
- node1
- node2
- node3
測試下pssh是否工作：
- pssh -h hosts.txt uptime
如果全部結果都為SUCCESS,則說明正常工作。
3.使用國內鏡像源
為了提高訪問速度，建議修改為國內鏡像源，我們使用的是阿里云鏡像源:
- root@node0:~# cat /etc/apt/sources.list
- deb http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse
- deb http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse
- deb http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse
- deb http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse
- deb http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse
- deb-src http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse
- deb-src http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse
- deb-src http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse
- deb-src http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse
- deb-src http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse
拷貝該文件到所有的節點：
- pscp -h ~/hosts.txt /etc/apt/sources.list /etc/apt/
更新源：
- pssh -h ~/hosts.txt 'apt-get update -y'
4.安裝ceph-deploy
以下操作只需要在admin節點執行，首先需要增加ceph源：
- wget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo apt-key add -
- echo deb http://download.ceph.com/debian-{ceph-stable-release}/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list
- # 注意: ceph-stable-release是選擇安裝的版本，我部署時選擇的是jewel!
# 注意: ceph-stable-release是選擇安裝的版本，我部署時選擇的是jewel!
安裝ceph-deploy：
- sudo apt-get update && sudo apt-get install ceph-deploy
生產環境還需要安裝ntp服務，保證集群的時鐘一致，這次只是為了測試，故省略這一步。另外由于ubuntu默認防火墻是關的，SELinux也沒有安裝，故不需要任何操作。使用centos安裝時需要打開必要端口。
三、開始安裝ceph集群
我們使用ceph-deploy部署，后續操作均在admin節點操作。 首先需要創建工作環境，該環境會保存所有的配置文件：
- mkdir my-cluster
- cd my-cluster
接下分別執行以下步驟：
1.創建集群
- ceph-deploy new node1
其中node1是mon節點，執行該命令會生成ceph配置文件、monitor密鑰文件以及日志文件。
2.修改默認冗余份數
由于我們目前只有兩個osd節點，而默認的冗余份數是3，因此我們需要設置為2，如果osd節點大于2，則此步驟省略。
修改ceph.conf文件，在[global]下增加以下內容：
- osd pool default size = 2
3.配置網卡和網絡
如果主機有多余一個網卡，需要設置使用的網卡和網絡地址，由于我們主機只有一張網卡，此步驟省略。
4.開始安裝ceph
- ceph-deploy install node0 node1 node2 node3
5.初始化mon節點和收集密鑰信息
- ceph-deploy mon create-initial
執行完畢，目錄應該有以下文件：
- {cluster-name}.client.admin.keyring
- {cluster-name}.bootstrap-osd.keyring
- {cluster-name}.bootstrap-mds.keyring
- {cluster-name}.bootstrap-rgw.keyring
完成以上步驟，安裝完成，但還沒有配置osd節點。
6.配置osd節點
首先格式化磁盤，注意我們使用的是/dev/vdb：
- ceph-deploy disk zap node2:vdb
- ceph-deploy disk zap node3:vdb
以上步驟會清空磁盤的所有數據。 接下來創建osd，注意由于我們只是測試，故沒有使用單獨的磁盤作為journal，實際在生產環境下，需要配備SSD分區作為journal，能夠***化IO吞吐量。
- ceph-deploy osd create node2:vdb
- ceph-deploy osd create node3:vdb
7.配置admin節點
admin節點同時也作為我們的client節點，需要拷貝其他節點的配置文件以及密鑰，使得不需要指定mon地址以及用戶信息就可以直接管理我們的ceph集群，執行以下命令即可：
- ceph-deploy admin node0 node1 node2 node3
- sudo chmod +r /etc/ceph/ceph.client.admin.keyring # 保證具有讀取的密鑰的權限
8.測試結果運行以下命令：
- ceph health
結果若返回active + clean狀態，則說明部署成功!
四、擴展節點
增加node1也作為osd節點：
- ceph-deploy disk zap node1:vdb
- ceph-deploy osd create node1:vdb
- ceph-deploy osd create node1:vdb
若需要cephFS支持，即需要提供文件系統支持，需要部署metadata server：
- ceph-deploy mds create node1
若需要Ceph Object Gateway支持，即對象存儲節點，需要部署一個RGW實例，
- ceph-deploy rgw create node1
ceph集群至少需要一個mon節點，為了實現高可用，通常需要設置多個(一般設置為3個)mon節點，我們把node2，node3也作為mon節點：
- ceph-deploy mon add node2 node3
當有多個mon節點時，ceph將使用quorum算法進行同步，查看狀態：
- ceph quorum_status --format json-pretty
五、塊存儲rbd使用
我們使用默認的rbd池，首先創建一個新的塊設備(cinder稱為volume，ceph稱為image)：
- rbd create foo --size 4096
查看剛剛創建的實例：
- rbd ls
- # foo
映射實例到虛擬設備中：
- rbd map foo
- # /dev/rbd1
創建文件系統并掛載到/mnt:
- mkfs.ext4 /dev/rbd1
- mount /dev/rbd1 /mnt
- df -h
- Filesystem 1K-blocks Used Available Use% Mounted on
- udev 1014072 12 1014060 1% /dev
- tmpfs 204988 808 204180 1% /run
- /dev/vda1 19478204 1936088 16529636 11% /
- none 4 0 4 0% /sys/fs/cgroup
- none 5120 0 5120 0% /run/lock
- none 1024932 0 1024932 0% /run/shm
- none 102400 0 102400 0% /run/user
- /dev/rbd1 3997376 8184 3763096 1% /mnt
把實例擴容到8GB：
- rbd resize foo --size 8192
- resize2fs /dev/rbd1
- df -h
- Filesystem Size Used Avail Use% Mounted on
- udev 991M 12K 991M 1% /dev
- tmpfs 201M 808K 200M 1% /run
- /dev/vda1 19G 1.9G 16G 11% /
- none 4.0K 0 4.0K 0% /sys/fs/cgroup
- none 5.0M 0 5.0M 0% /run/lock
- none 1001M 0 1001M 0% /run/shm
- none 100M 0 100M 0% /run/user
- /dev/rbd1 7.8G 9.0M 7.4G 1% /mnt
創建實例快照：
- rbd snap create test@test-snap
六、分布式文件系統使用
創建一個文件系統：
- ceph osd pool create cephfs_data 128
- ceph osd pool create cephfs_metadata 128
- ceph fs new test_fs cephfs_metadata cephfs_data
- ceph fs ls
- # name: test_fs, metadata pool: cephfs_metadata, data pools: [cephfs_data ]
創建secret文件：
- cat ceph.client.admin.keyring
輸出結果：
- [client.admin]
- key = AQCj2YpRiAe6CxAA7/ETt7Hcl9IyxyYciVs47w==
把key值拷貝到secret文件：
- echo "AQCj2YpRiAe6CxAA7/ETt7Hcl9IyxyYciVs47w==" >admin.secret
安裝mount ceph插件：
- apt-get install ceph-fs-common
掛載到本地文件系統/mnt:
- sudo mount -t ceph 192.168.0.5:6789:/ /mnt -o name=admin,secretfile=admin.secret
其中192.168.0.5是node1 ip，也即mon節點ip地址。
運行df命令查看是否掛載成功，成功即可像本地文件系統一樣操作。
七、對象存儲省略。。。
【本文是51CTO專欄作者“付廣平”的原創文章，如需轉載請通過51CTO獲得聯系】
