Ceph 對象存儲多站點復(fù)制：將配置其他多站點同步策略
1.目標(biāo)
在今天的博客第六部分中，我們將配置其他多站點同步策略，包括從一個源到多個目標(biāo)存儲桶的單向復(fù)制。
2.單向桶同步
在上一篇文章中，我們探討了具有雙向配置的存儲桶同步策略。現(xiàn)在，讓我們通過一個示例來了解如何啟用兩個存儲桶之間的單向同步。在示例中，我們目前將區(qū)域組同步策略設(shè)置為allowed ，并在zonegroup級別配置了雙向流。通過區(qū)域組同步策略允許我們以每個存儲桶的粒度配置復(fù)制，我們可以從單向復(fù)制配置開始。
圖片
我們創(chuàng)建單向存儲桶，然后創(chuàng)建一個 ID 為unidirectional-1同步組，然后將狀態(tài)設(shè)置為Enabled 。當(dāng)我們將同步組策略的狀態(tài)設(shè)置為enabled時，一旦管道應(yīng)用到存儲桶，復(fù)制就會開始。
[root@ceph-node-00 ~]# aws --endpoint https://object.s3.zone1.dan.ceph.blue:443 s3 mb s3://unidirectional
make_bucket: unidirectional
[root@ceph-node-00 ~]# radosgw-admin sync group create --bucket=unidirectional --group-id=unidirectiona-1 --status=enabled一旦同步組就位，我們需要為我們的存儲桶創(chuàng)建一個管道。在此示例中，我們指定源區(qū)域和目標(biāo)區(qū)域：源為zone1 ，目標(biāo)為zone2 。這樣，我們就為bucket unidirectional創(chuàng)建了一個單向復(fù)制管道，數(shù)據(jù)僅在一個方向復(fù)制：zone1 —> zone2。
[root@ceph-node-00 ~]# radosgw-admin sync group pipe create --bucket=unidirectional --group-id=unidirectiona-1 --pipe-id=test-pipe1 --source-znotallow='zone1' --dest-znotallow='zone2'通過sync info，我們可以檢查bucket復(fù)制的流程?？梢钥吹?，當(dāng)我們從zone1中的節(jié)點運行命令時，sources 字段為空，并且我們沒有從外部源接收數(shù)據(jù)。畢竟，從我們運行命令的區(qū)域，我們正在進(jìn)行單向復(fù)制，因此我們將數(shù)據(jù)發(fā)送到目的地。我們可以看到unidirectional存儲桶的源是zone1，目標(biāo)是zone2 。
[root@ceph-node-00 ~]# radosgw-admin sync info --bucket unidirectional
{
"sources": [],
"dests": [
{
"id": "test-pipe1",
"source": {
"zone": "zone1",
"bucket": "unidirectional:89c43fae-cd94-4f93-b21c-76cd1a64788d.34955.1"
},
"dest": {
"zone": "zone2",
"bucket": "unidirectional:89c43fae-cd94-4f93-b21c-76cd1a64788d.34955.1"
….
}當(dāng)我們在zone2中運行相同的命令時，我們會看到相同的信息，但源字段顯示從zone1接收數(shù)據(jù)。單向存儲桶zone2未發(fā)送任何復(fù)制數(shù)據(jù)，這就是sync info命令的輸出中目標(biāo)字段為空的原因。
[root@ceph-node-00 ~]# radosgw-admin sync info --bucket unidirectional
{
"sources": [],
"dests": [
{
"id": "test-pipe1",
"source": {
"zone": "zone1",
"bucket": "unidirectional:89c43fae-cd94-4f93-b21c-76cd1a64788d.34955.1"
},
"dest": {
"zone": "zone2",
"bucket": "unidirectional:89c43fae-cd94-4f93-b21c-76cd1a64788d.34955.1"
….
}一旦我們的配置準(zhǔn)備就緒，我們就可以進(jìn)行一些檢查，看看一切是否都按預(yù)期工作。讓我們將三個文件放入zone1 ：
[root@ceph-node-00 ~]# for i [1..3] do ; in aws --endpoint https://object.s3.zone1.dan.ceph.blue:443 s3 cp /etc/hosts s3://unidirectional/fil${i}
upload: ../etc/hosts to s3://unidirectional/fil1
upload: ../etc/hosts to s3://unidirectional/fil2
upload: ../etc/hosts to s3://unidirectional/fil3我們可以檢查它們是否已同步到zone2 ：
[root@ceph-node-00 ~]# aws --endpoint https://object.s3.zone2.dan.ceph.blue:443 s3 ls s3://unidirectional/
2024-02-0217:56:09233 fil1
2024-02-0217:56:10233 fil2
2024-02-0217:56:11233 fil3現(xiàn)在讓我們檢查一下當(dāng)我們將一個對象放入zone2時會發(fā)生什么。我們不應(yīng)該看到文件復(fù)制到zone1 ，因為我們的存儲桶的復(fù)制配置是單向的。
[root@ceph-node-00 ~]# aws --endpoint https://object.s3.zone2.dan.ceph.blue:443 s3 cp /etc/hosts s3://unidirectional/fil4
upload: ../etc/hosts to s3://unidirectional/fil4
[root@ceph-node-00 ~]# aws --endpoint https://object.s3.zone2.dan.ceph.blue:443 s3 ls s3://unidirectional/
2024-02-0217:56:09233 fil1
2024-02-0217:56:10233 fil2
2024-02-0217:56:11233 fil3
2024-02-0217:57:49233 fil4一段時間后，我們檢查了 zone1，發(fā)現(xiàn)該文件不存在，這意味著它沒有按預(yù)期從 zone2 復(fù)制。
[root@ceph-node-00 ~]# aws --endpoint https://object.s3.zone1.dan.ceph.blue:443 s3 ls s3://unidirectional
2024-02-0217:56:09233 fil1
2024-02-0217:56:10233 fil2
2024-02-0217:56:11233 fil3
圖片
在此示例中，我們將通過添加名為backupbucket新復(fù)制目標(biāo)存儲桶來修改之前的單向同步策略。一旦我們設(shè)置了同步策略，上傳到zone1中unidirectional存儲桶的每個對象都將被復(fù)制到zone2中unidirectional存儲桶和backupbucket中。
首先，讓我們創(chuàng)建存儲桶backupbucket ：
[root@ceph-node-00 ~]# aws --endpoint https://object.s3.zone2.dan.ceph.blue:443 s3 mb s3://backupbucket
make_bucket: backupbucket我們將向現(xiàn)有同步組策略添加一個名為backupbucket的新管道。我們在之前的unidirectional示例中創(chuàng)建了組同步策略。
再次，我們指定源區(qū)域和目標(biāo)區(qū)域，因此我們的同步將是單向的。主要區(qū)別在于，現(xiàn)在我們使用--dest-bucket參數(shù)指定名為backupbucket的目標(biāo)存儲桶。
[root@ceph-node-00 ~]# radosgw-admin sync group pipe create --bucket=unidirectional --group-id=unidirectiona-1 --pipe-id=test-pipe2 --source-znotallow='zone1' --dest-znotallow='zone2' --dest-bucket=backupbucket再次，讓我們檢查同步信息輸出，它向我們顯示了我們已配置的復(fù)制流的表示。源字段為空，因為在zone1中我們沒有從任何其他源接收數(shù)據(jù)。在目的地，我們現(xiàn)在有兩個不同的pipes 。我們在前面的示例中創(chuàng)建的第一個test-pipe1 。第二個管道將backupbucket設(shè)置為zone2中的復(fù)制目標(biāo)。
[root@ceph-node-00 ~]# radosgw-admin sync info --bucket unidirectional
{
"sources": [],
"dests": [
{
"id": "test-pipe1",
"source": {
"zone": "zone1",
"bucket": "unidirectional:66df8c0a-c67d-4bd7-9975-bc02a549f13e.36430.1"
},
"dest": {
"zone": "zone2",
"bucket": "unidirectional:66df8c0a-c67d-4bd7-9975-bc02a549f13e.36430.1"
},
"params": {
"source": {
"filter": {
"tags": []
}
},
"dest": {},
"priority": 0,
"mode": "system",
"user": "user1"
}
},
{
"id": "test-pipe2",
"source": {
"zone": "zone1",
"bucket": "unidirectional:66df8c0a-c67d-4bd7-9975-bc02a549f13e.36430.1"
},
"dest": {
"zone": "zone2",
"bucket": "backupbucket"
},
"params": {
"source": {
"filter": {
"tags": []
}
},
"dest": {},
"priority": 0,
"mode": "system",
"user": "user1"
}
}
],
"hints": {
"sources": [],
"dests": [
"backupbucket"
]
},讓我們檢查一下：在前面的示例中，我們的zone1包含三個文件：
[root@ceph-node-00 ~]# aws --endpoint https://object.s3.zone2.dan.ceph.blue:443 s3 ls s3://unidirectional/
2024-02-0217:56:09233 fil1
2024-02-0217:56:10233 fil2
2024-02-0217:56:11233 fil3在有四個文件的zone2中， fil4不會復(fù)制到zone1因為復(fù)制是單向的。
[root@ceph-node-00 ~]# aws --endpoint https://object.s3.zone2.dan.ceph.blue:443 s3 ls s3://unidirectional/
2024-02-0217:56:09233 fil1
2024-02-0217:56:10233 fil2
2024-02-0217:56:11233 fil3
2024-02-0217:57:49233 fil4讓我們向zone1添加另外三個文件。我們希望將它們復(fù)制到zone2中的unidirectional存儲桶和backupbucket ：
[root@ceph-node-00 ~]# for i [5..7] do ; in aws --endpoint https://object.s3.zone1.dan.ceph.blue:443 s3 cp /etc/hosts s3://unidirectional/fil${i}
upload: ../etc/hosts to s3://unidirectional/fil5
upload: ../etc/hosts to s3://unidirectional/fil6
upload: ../etc/hosts to s3://unidirectional/fil7
[root@ceph-node-00 ~]# aws --endpoint https://object.s3.zone1.dan.ceph.blue:443 s3 ls s3://unidirectional
2024-02-0217:56:09233 fil1
2024-02-0217:56:10233 fil2
2024-02-0217:56:11233 fil3
2024-02-0218:03:51233 fil5
2024-02-0218:04:37233 fil6
2024-02-0218:09:08233 fil7
[root@ceph-node-00 ~]# aws --endpoint http://object.s3.zone2.dan.ceph.blue:80 s3 ls s3://unidirectional
2024-02-0217:56:09233 fil1
2024-02-0217:56:10233 fil2
2024-02-0217:56:11233 fil3
2024-02-0217:57:49233 fil4
2024-02-0218:03:51233 fil5
2024-02-0218:04:37233 fil6
2024-02-0218:09:08233 fil7
[root@ceph-node-00 ~]# aws --endpoint http://object.s3.zone2.dan.ceph.blue:80 s3 ls s3://backupbucket
2024-02-0217:56:09233 fil1
2024-02-0217:56:10233 fil2
2024-02-0217:56:11233 fil3
2024-02-0218:03:51233 fil5
2024-02-0218:04:37233 fil6
2024-02-0218:09:08233 fil7我們將所有對象復(fù)制到所有存儲桶中——除了fil4 。這是滿足預(yù)期的，因為文件已上傳到zone2 ，并且我們的復(fù)制是單向的，因此從zone2到zone1沒有同步。
如果我們查詢backupbucketsync info會輸出什么？此存儲桶僅在另一個存儲桶策略中引用，但存儲桶backupbucket沒有自己的同步策略：
[root@ceph-node-00 ~]# ssh ceph-node-04 radosgw-admin sync info --bucket backupbucket
{
"sources": [],
"dests": [],
"hints": {
"sources": [
"unidirectional:66df8c0a-c67d-4bd7-9975-bc02a549f13e.36430.1"
],
"dests": []
},
"resolved-hints-1": {
"sources": [
{
"id": "test-pipe2",
"source": {
"zone": "zone1",
"bucket": "unidirectional:66df8c0a-c67d-4bd7-9975-bc02a549f13e.36430.1"
},
"dest": {
"zone": "zone2",
"bucket": "backupbucket"
},對于這種情況，我們使用hints ，因此即使備份沒有直接參與unidirectional bucket同步策略，也會通過hint來引用。
[!CAUTION]
請注意，在輸出中，我們可以看到，存儲桶backupbucket間接找到了有關(guān)存儲桶unidirectional信息，而不是從其自己的策略中發(fā)現(xiàn)：backupbucket本身的策略為空。
3.存儲桶同步策略注意事項
有一點需要注意，元數(shù)據(jù)始終會同步到其他區(qū)域，與存儲桶同步策略無關(guān)。因此，每個用戶和存儲桶，即使未配置復(fù)制，也會顯示在屬于區(qū)域組的所有區(qū)域中。
舉個例子，讓我們創(chuàng)建一個名為 newbucket的新存儲桶：
[root@ceph-node-00 ~]# aws --endpoint http://object.s3.zone2.dan.ceph.blue:80 s3 mb s3://newbucket
make_bucket: newbucket我們確認(rèn)此存儲桶沒有配置任何復(fù)制：
[root@ceph-node-00 ~]# radosgw-admin bucket sync checkpoint --bucket newbucket
Sync is disabled for bucket newbucket但所有元數(shù)據(jù)都會同步到輔助區(qū)域，以便存儲桶將出現(xiàn)在zone2中。無論如何，桶內(nèi)的數(shù)據(jù)都不會被復(fù)制。
[root@ceph-node-00 ~]# aws --endpoint https://object.s3.zone2.dan.ceph.blue:443 s3 ls | grep newbucket
2024-02-0202:22:31 newbucket另一件需要注意的事情是，在為存儲桶配置同步策略之前上傳的對象不會同步到其他區(qū)域，直到我們在啟用存儲桶同步后上傳對象。當(dāng)我們將新對象上傳到存儲桶時，此示例會同步：
[root@ceph-node-00 ~]# aws --endpoint https://object.s3.zone1.dan.ceph.blue:443 s3 ls s3://objectest1/
2024-02-0204:03:47233 file1
2024-02-0204:03:50233 file2
2024-02-0204:03:53233 file3
2024-02-0204:27:19233 file4
[root@ceph-node-00 ~]# ssh ceph-node-04 radosgw-admin bucket sync checkpoint --bucket objectest1
2024-02-02T04:17:15.596-05007fc00c51f800 1 waiting to reach incremental sync..
2024-02-02T04:17:17.599-05007fc00c51f800 1 waiting to reach incremental sync..
2024-02-02T04:17:19.601-05007fc00c51f800 1 waiting to reach incremental sync..
2024-02-02T04:17:21.603-05007fc00c51f800 1 waiting to reach incremental sync..
[root@ceph-node-00 ~]# aws --endpoint https://object.s3.zone1.dan.ceph.blue:443 s3 cp /etc/hosts s3://objectest1/file4
upload: ../etc/hosts to s3://objectest1/file4
[root@ceph-node-00 ~]# radosgw-admin bucket sync checkpoint --bucket objectest1
2024-02-02T04:27:29.975-05007fce4cf11800 1 bucket sync caught up with source:
local status: [00000000001.569.6, , 00000000001.47.6, , , , 00000000001.919.6, 00000000001.508.6, , , ]
remote markers: [00000000001.569.6, , 00000000001.47.6, , , , 00000000001.919.6, 00000000001.508.6, , , ]
[root@ceph-node-00 ~]# aws --endpoint https://object.s3.zone2.dan.ceph.blue:443 s3 ls s3://objectest1
2024-02-0204:03:47233 file1
2024-02-0204:03:50233 file2
2024-02-0204:03:53233 file3
2024-02-0204:27:19233 file4當(dāng)存儲桶同步策略處于allowed或forbidden狀態(tài)時創(chuàng)建、修改或刪除的對象，再次啟用該策略時將不會自動同步。
我們需要運行bucket sync run命令來同步這些對象并使兩個區(qū)域中的存儲桶保持同步。例如，我們禁用存儲桶objectest1的同步，并將幾個對象放入zone1中，即使我們再次啟用復(fù)制，這些對象也不會復(fù)制到zone2中。
[root@ceph-node-00 ~]# radosgw-admin sync group create --bucket=objectest1 --group-id=objectest1-1 --status=forbidden
[root@ceph-node-00 ~]# aws --endpoint https://object.s3.zone1.dan.ceph.blue:443 s3 cp /etc/hosts s3://objectest1/file5
upload: ../etc/hosts to s3://objectest1/file5
[root@ceph-node-00 ~]# aws --endpoint https://object.s3.zone1.dan.ceph.blue:443 s3 cp /etc/hosts s3://objectest1/file6
upload: ../etc/hosts to s3://objectest1/file6
[root@ceph-node-00 ~]# radosgw-admin sync group create --bucket=objectest1 --group-id=objectest1-1 --status=enabled
[root@ceph-node-00 ~]# aws --endpoint http://object.s3.zone2.dan.ceph.blue:80 s3 ls s3://objectest1
2024-02-0204:03:47233 file1
2024-02-0204:03:50233 file2
2024-02-0204:03:53233 file3
2024-02-0204:27:19233 file4
[root@ceph-node-00 ~]# aws --endpoint https://object.s3.zone1.dan.ceph.blue:443 s3 ls s3://objectest1/
2024-02-0204:03:47233 file1
2024-02-0204:03:50233 file2
2024-02-0204:03:53233 file3
2024-02-0204:27:19233 file4
2024-02-0204:44:45233 file5
2024-02-0204:45:38233 file6為了使存儲桶恢復(fù)同步，我們從目標(biāo)區(qū)域使用radosgw-admin sync run命令。
[root@ceph-node-00 ~]# ssh ceph-node-04 radosgw-admin bucket sync run --source-zone zone1 --bucket objectest1
[root@ceph-node-00 ~]# aws --endpoint http://object.s3.zone2.dan.ceph.blue:80 s3 ls s3://objectest1
2024-02-0204:03:47233 file1
2024-02-0204:03:50233 file2
2024-02-0204:03:53233 file3
2024-02-0204:27:19233 file4
2024-02-0204:44:45233 file5
2024-02-0204:45:38233 file64.總 結(jié)
在本系列的第六部分中，我們繼續(xù)深入探討了多站點同步策略，并通過實踐示例展示了包括單源到多目標(biāo)桶的單向復(fù)制在內(nèi)的多種配置方案。
