解析分布式存儲選型和應用九個典型問題
一、在DevOps、微服務化、容器等新技術的落地過程中分布式存儲有哪些優勢和不足？
【問題描述】存儲是IT架構最基礎的部分，新技術的發展對存儲提出了更高的要求，分布式存儲針對這些新技術有哪些特長？不足又有哪些？
@顧黃亮 蘇寧消費金融有限公司 技術總監：
分布式存儲在IT架構中的定位更多的是資源的彈性伸縮，能力覆蓋局限于 IaaS和成本方面，且分布式存儲和集中式存儲在面向PaaS和SaaS而言，呈現越來越友好的狀態，具體在下列幾個方面：
1.靈活擴展滿足海量數據存儲需求
分布式存儲系統，采用Scale-out擴展架構，可實現超大集群規模的部署，從3節點存儲集群起步，可實現靈活的擴展至數千節點。存儲容量可實現一個集群EB級數據空間。同時由于分布式架構，每一個存儲節點都可以提供獨立的性能支撐，在高并發的數據處理中，可以實現更高的存儲性能，更高的帶寬吞吐和IOPS。有效的解決海量數據高擴展和高性能的存儲需求。
2.彈性擴容與替換
由于實現了分布式存儲平臺，那么此平臺無論多少個節點都可以看作一個資源池，每一個節點可以看做這個資源池的一個分子。通過系統預裝、軟件優化可直接將分子加入到整個平臺之中，因而，在存儲性能或者容量資源不夠時，均可以通過添加硬件資源來提升存儲集群的相應資源。
另一方面，由于硬件采用標準化X86服務器，并且集群內每個節點均通過軟件系統進行統一管理，在硬件設備老舊或者故障時，可便捷的直接更換新硬件，加入集群中。簡單方便并且對于上層業務無感知。友善的提供產品更替。并且，更替節點或者磁盤后，存儲系統將會進行自動重建數據，平衡各節點的數據分布。此操作無需人工干預即可自動完成。降低使用難度。
3.可視化、標準化讓管理更簡單
相較于傳統存儲黑盒子的管理方式，分布式存儲實現了標準硬件的交付，標準硬件服務器的運維管理會更簡單。在存儲生命周期過程中的管理具備以下優點。
部署上線：存儲節點內置與硬件深度優化后的存儲系統，30分鐘即可實現部署上線。告別傳統的軟件部署安裝，調優適配，真正實現了開箱即用。
配置規劃：按照系統指示，實現資源分配和管理。資源配置可實現靈活的分配和回收。配置規劃全部可視化操作，無需人工手動記錄對應關系，一切均可直觀使用管理。
管理運維：直觀的可視化管理設計，可實現全集群的一頁管理。硬件的cpu、網絡、磁盤等健康監控，到邏輯卷、用戶數、存儲集群的穩定運行情況均可動態展示，做到實時監控預警。
故障排查：故障排場從傳統的故障告警實現了提前預防。分布式存儲可實現集群的健康監測，在故障潛伏期即可實現故障提醒。真正實現故障的提前處理，防患未然。
4.統一存儲資源，實現數據共享共用
分布式存儲系統通過統一硬件資源池，同時提供塊、文件、對象三種存儲服務。因而，數據中心的數據將統一存放到云存儲資源池中。通過存儲管理系統，可根據用戶指令實現數據的調動與共享。
另一方面，存儲系統內置數據治理，數據分析等于數據強相關的數據應用系統，可實現便捷的數據處理，并將處理好的完整數據對接到大數據平臺實現大數據的分析與應用。便捷的實現數據價值的挖掘，助力企業正在實現數字化轉型！
5.更高的可靠性
分布式存儲系統在數據冗余方面，通過多副本、糾刪碼等技術，不僅可以容忍多磁盤的故障不影響數據可靠性，在數據重構修復方面效率也大大提升。由于采用了熱備空間概念，將原本一塊磁盤重構數據的壓力均攤到多磁盤上，速度可提升至1T/30min。另一方面，由于采用了無中心化設計，所有存儲節點均可承載業務系統，分布式存儲還能夠容忍服務器故障，存儲系統依然穩定可用，可靠性更優。
二、分布式存儲應用場景有哪些呢？
【問題描述】目前，雖然分布式存儲成熟度已經在實際環境中有了一定的驗證，不過應該還沒有鋪開用呢吧？因此，分布式存儲是否有它本身去適用的場景呢？有哪些更適合去用分布式存儲？有哪些因素我們應該去評估，使用分布式存儲呢？比如說備份：我們用一臺傳統大盤存儲，是不是也就滿足了，而不是用對象存儲。這樣成本也會很低了。
@顧黃亮 蘇寧消費金融有限公司 技術總監：
分布式的“四高”特性，使得其在高性能計算、大數據視頻云及大數據分析等應用場景中有著廣泛的應用。
高性能計算場景
在如氣象氣候、地質勘探、航空航天、工程計算、材料工程等領域，基于集群的高性能計算，已成為必需的輔助工具。集群系統有極強的伸縮性，可通過在集群中增加或刪減節點的方式，在不影響原有應用與計算任務的情況下，隨時增加和降低系統的處理能力。根據不同的計算模式與規模，構成集群系統的節點數可以從幾個到成千上萬個。這些業務對后端的存儲系統提出了新的需求，包括統一的存儲空間、高效率的文件檢索、高帶寬的吞吐性能，高可靠的數據安全保障等。
大數據視頻云應用場景
隨著視頻高清技術及超高清技術的普及，視頻大數據應用場景，如雪亮工程、平安城市、廣電媒資、影視制作、視頻網站等領域，對存儲設備提出了大容量、高讀寫性能、高可靠性、低延時及可擴展性等需求。針對這樣大規模視頻數據應用場景，就需要一個技術先進、性能優越的存儲系統作為后端數據存儲的支撐者。
大數據分析應用場景
伴隨著互聯網技術及人工智能的發展，各種基于海量用戶/數據/終端的大數據分析及人工智能業務模式不斷涌現，同樣需要充分考慮存儲功能集成度、數據安全性、數據穩定性，系統可擴展性、性能及成本各方面因素。
在數據爆發增長的“數字時代”，軟件定義的分布式存儲是存儲技術高速發展的結晶，并具有著很大的成長空間，必將應用于更廣泛的大數據業務場景。
三、銀行業在分布式存儲與集中存儲的選擇上應注意哪些問題？如何選擇適合的存儲類型？
@趙海 技術經理：
銀行業的數據：
交易數據：屬于結構化數據，以二維表的形式存在于交易系統數據庫當中，屬于首要數據。
影像數據：客戶簽約所需的非結構化或者半結構化數據，存在內容管理平臺當中。
歷史數據：從數據庫當中歸檔出來的歷史數據。
分析數據：從交易系統當中下沉的數據，用來做監管報送、反洗錢、運營分析等的分析類數據。
運維數據：日志、報告、監控等一系列系統運行相關的數據。
存儲的選擇，究竟是分布式存儲還是集中式存儲，主要看兩點：
1. 數據結構是什么樣的？如果是交易類的結構化數據，那么一般都是二維表形式，以塊數據存取方式為最優。因為存儲層與數據庫層對數據存取粒度，事務的處理，并發的控制都非常契合，性能也是最好。如果是非結構化或者半結構化的影像數據，不妨選擇分布式存儲，節省成本而且提高了業務的并發能力。
2.穩定性如何？交易類的數據一定要求是穩定的存儲平臺，不成熟的的分布式架構或者應用資歷尚淺的不要輕易用到交易類系統上。
四、分布式存儲選型有何依據？
【問題描述】目前分布式存儲廠商太多，一搜一大把。有基于ceph進行二開的，也有一些說是自研的。有重在軟件類的，也有搞一體機綁定的，那么我們應該如何做選型呢？
1.cpu、mem、緩存磁盤等等如何選擇？
2.選型依據都有哪些指標以及對應的參數？
3.形態是純軟還是軟硬一體的會有哪些差異呢？
@顧黃亮 蘇寧消費金融有限公司 技術總監：
1.cpu、mem、緩存磁盤等等如何選擇？
如果是軟件定義存儲，一切以實際場景對cpu、men、緩存的需求為準，如果是一體化存儲，相對的型號有對應的建議場景需求。
2.選型依據都有哪些指標以及對應的參數？
主要看場景，比如私有云部署，海量非結構化數據，高性能計算，流媒體和視頻監控場景，對應參數，建議按照現場需求，如IOPS、吞吐。
3.形態是純軟還是軟硬一體的會有哪些差異呢？
純軟，便宜，更靈活
一體化，貴，更可靠更穩定
五、分布式存儲使用過程穩定性和可靠性如何保障？
【問題描述】分布式存儲和集中式存儲相比，有很強的價格優勢，在實際使用過程中，依然需要通過容量管理的方式對存儲成本進行評估，存儲成本在分布式存儲體系中，更多的以集群使用率進行呈現。在目前開源的分布式存儲產品中，絕大多數采取偽隨機算法的方式進行數據平衡，比較典型的是Ceph，因此導致分布式存儲在使用一定時間后，出現集群可用率造成較大的誤差。分布式存儲架構師和工程師需要通過相應的技術手段監控分布式存儲的數據使用情況和數據平衡狀態，其中包括災難性數據遷移和數據分布閾值，保障分布式存儲在使用過程的穩定性和可靠性。
@顧黃亮 蘇寧消費金融有限公司 技術總監：
從根本上說，這是數據均衡的問題，在Ceph的技術體系中，尤為突出。
數據均衡是保證分布式存儲的每個盤的數據相對分布均衡，依靠自身的數據均衡算法，確保數據分布能夠 遵循每個Pool的Rule-Set規則，同時又要保證每個Pool對應的PG較為合理的分布在每個OSD中，在Ceph的數據均衡體系中，每個Pool的作用是不一樣的，有的存放元數據，有的存放業務數據，因此容易造成數據分布存在不均衡性。
在Ceph新版本中，已經實現了數據分布的智能管理，在很多商業分布式存儲產品，也具備類似的功能，通過相關的計算模型，根據數據的匯入進行實時的迭代計算，能夠對數據分布進行最優分布管理，據實際統計，數據分布的誤差基本可以控制在2%之內。
@Lucien168 滴滴 存儲工程師：
分布式系統一般都是靠 分布式協議paxos算法或者Raft算法來保證集群的高可用性和可靠性，一般只要運維和監控的保障不會出現大問題。
數據不均衡：
但是咱們在運維的過程中，會發現ceph的crush算法，會導致數據傾斜, 集群中數據的不均衡。這個時候就需要我們監控的及時告警，以及運維工具定期的做reblanace來保證集群數據的均衡性。
遷移IO爭搶：
在集群節點有變動的時候會導致集群均衡的遷移，那么集群內部的遷移IO肯定會影響客戶端請求的IO，這個時候需要我們針對集群內部IO設置優先級以及控制好速率，優先來保證客戶端IO的完成。
@劉東 東軟集團 it技術咨詢顧問：
在以ceph為代表的分布式存儲的集群中確實會存在數據分布不均衡的問題，特別是在剛剛部署完成ceph群集或進行集群擴容的時候，加入了新的盤，會使這個情況更加嚴重，OSD數量會發生變化，，而集群中只要有一個OSD先被寫滿，那么整個集群都將無法寫入數據，所會極大的影響存儲穩定性和可靠性。
為了盡可能避免這種情況，提高分布式集群存儲利用率，需要盡可能的將PG均勻分布在OSD上，通常有以下幾種做法：
1. 設置osd均衡權重，做osd reweight，可以根據每個OSD上的PG數量來調整，默認值是120%。當然這種方式需要定期監控狀態，并不是一個自動化的方案。
2. 使用balancer的方式，將PG 在各個OSD上自動遷移，達到均衡的效果。
六、如何有效和智能的控制并恢復IO，減少因IO問題導致數據批量計算的影響，是分布式存儲考慮和解決的問題？
【問題描述】金融場景具有高密集IO的特性，尤其在數據批量計算方面，分布式存儲在頻繁數據分布和遷移過程中通常會帶來IO爭搶的問題，在大規模集群遇到擴容或硬盤替換時尤為明顯，給分布式存儲在金融領域的深入使用帶來了一定的風險。如何有效和智能的控制并恢復IO，減少因IO問題導致數據批量計算的影響，是分布式存儲架構師必須要考慮和解決的問題？
@Lucien168 滴滴 存儲工程師：
backfill和recovery的最優值
ceph在增加osd的時候會觸發backfill，讓數據得到平均，觸發數據的遷移
ceph在移除osd的時候需要在節點上進行數據的恢復，也有數據的遷移和生成
只要是集群里面有數據的變動就會有網卡流量，cpu，內存等資源的占用，并且最重要的是還有磁盤的占用，這個客戶端也是需要對磁盤進行訪問的，當請求出現碰撞的時候，肯定會比正常的情況下要慢很多，而且還有可能因為資源方面的原因而引起機器down機等異常狀況的出現
主要引起的問題可能：
- * 在peering的時候 block 了IO請求
- * 在backfill的引起了slow requests
- * 上面的兩個情況會引起客戶端的降速和出現soft lockup
這個在一般情況下會出現不同的需求：
1. 慢點可以一定不能出問題，不能中斷業務
2. 越快遷移完越好，早點結束維護服務
3. 需要又快又不能影響業務
這個需要根據自己可以掌控的程度來進行控制，首先環境的不同，影響不同，遷移數據量，網卡的帶寬都是重要的影響因素，從整體上可以根據自己的環境按照上面的三個要求中的一個進行控制。
osd recoveryoppriority = 3#默認值10 #恢復操作優先級，取值1-63，值越高占用資源越高osd recovery max active = 3#默認值15 #同一時間內活躍的恢復請求數osd max backfills = 1#默認值10 #一個OSD允許的最大backfills數osd recovery max active = 3 （default : 15)osd recoveryoppriority = 3 (default : 10)osd max backfills = 1 (default : 10)
@顧黃亮 蘇寧消費金融有限公司 技術總監：
從分布式存儲在金融領域的實際使用過程中，不定期會有常規的運維操作，比如題主所提到的大規模集群的擴容和磁盤更換，IO爭搶也是較為常見的問題之一。
拋磚引玉，筆者所遇到的大規模集群中，單個集群超過1K的存儲節點，按照正常的概率，每個月會有數量不等的磁盤損壞，每個季度會存在一次集中換盤，這些操作都會通過數據遷移、數據負載和數據平衡的方式進行數據恢復，IO爭搶大都發生在這個場景， 高密集IO計算的爭搶更多的取決于數據分布算法的合理性。
通常情況下，拋開分布式存儲自身的算法，更多的采取時間策略+流量策略的方式規避IO爭搶，比如在業務高峰期避開磁盤變更窗口，而流量策略更多的是基于數據流量恢復速率閾值匹配業務場景，最終實現 在不影響業務IO的情況下，快速完成數據遷移恢復。
@劉東 東軟集團 it技術咨詢顧問：
分布式存儲在發生OSD變化的時候確實會導致IO波動，特別是在擴容或升級時，會做自身的的數據均衡，發生大規模的數據遷移造成IO數據影響。所以為了避免了類似情況發生，需要考慮業務的繁忙時間段，避免在高峰期進行磁盤或節點擴容等操作。
除了避免時間固定時間窗口以外，在擴容策略上，還要避免一次大規模增加OSD數量。比如每次只擴容一個OSD或者一個節點（按存儲隔離策略），雖然工作量會增加一些，但是不會造成大規模的持續性的影響。
在由于故障導致數據恢復時，可以限定數據恢復的流量策略，例如將恢復流量占用IO利用率閾值小于30~50%來保證生產IO的性能，這些都是避免IO爭用的手段和策略。
七、分布式存儲出現整個集群故障，如何保障數據安全性？是否可以跟傳統存儲一樣可以做數據恢復？
@顧黃亮 蘇寧消費金融有限公司 技術總監：
針對這個問題可以這么看，如果單機房部署，分布式存儲所有的冗余措施全部失效，觸發整個集群故障，必然不能保障數據的安全性，只能從業務層面進行數據補錄，這種概率非常低。
如果多機房部署，出現整個集群宕機的概率極底，如果多機房部署的情況下出現單機房不能提供服務，有兩種方式。
1、單側機房發生了全局故障，數據完全丟失，另一側機房承接主站點工作，等待機房故障解決或集群故障解決后，同步數據，需要花費較長時間。這種數據同步的方式叫做數據回遷。
2、 單側機房發生臨時性故障，故障恢復之后，可以提供對象存儲服務，原來的主站點從臨時故障中恢復，需要從備站點同步的數據量相對較小。
八、分布式存儲的數據災備復制？
【問題描述】目前已知的分布式存儲的數據災備復制方式，主要是采用第三方的數據復制軟件。請問老師，現在有沒有開發出類似于傳統存儲機頭的同步、異步復制技術？如果有，兩端的結構是否必須保持一致？
@顧黃亮 蘇寧消費金融有限公司 技術總監：
分布式存儲系統在數據冗余方面，通過多副本、糾刪碼等技術，不僅可以容忍多磁盤的故障不影響數據可靠性，在數據重構修復方面效率也大大提升。由于采用了熱備空間概念，將原本一塊磁盤重構數據的壓力均攤到多磁盤上，速度可提升至1T/30min。另一方面，由于采用了無中心化設計，所有存儲節點均可承載業務系統，分布式存儲還能夠容忍服務器故障，存儲系統依然穩定可用，可靠性更優。
九、分布式存儲的擴容方案？
【問題描述】分布式存儲在初建的時候，通常已經規劃好最優的方案，各個節點的職能已確定。在生產使用中，若存儲系統容量已不滿足當前新增的需求，必須進行擴容。擴容是否新的存儲節點不是加入原來的集群，而實際上相當于再新建一套分布性存儲系統？
@顧黃亮 蘇寧消費金融有限公司 技術總監：
由于實現了分布式存儲平臺，那么此平臺無論多少個節點都可以看作一個資源池，每一個節點可以看做這個資源池的一個分子。通過系統預裝、軟件優化可直接將分子加入到整個平臺之中，因而，在存儲性能或者容量資源不夠時，均可以通過添加硬件資源來提升存儲集群的相應資源。
另一方面，由于硬件采用標準化X86服務器，并且集群內每個節點均通過軟件系統進行統一管理，在硬件設備老舊或者故障時，可便捷的直接更換新硬件，加入集群中。簡單方便并且對于上層業務無感知。友善的提供產品更替。并且，更替節點或者磁盤后，存儲系統將會進行自動重建數據，平衡各節點的數據分布。此操作無需人工干預即可自動完成。降低使用難度。
