【51CTO.com原創稿件】數據庫的運維管理是個技術活兒，需要DBA有很強的技術能力和足夠的耐心。在WOT2016移動互聯網技術峰會上，來自國美在線的平臺運維部經理那廣講述了國美在線數據庫的發展，根據生產中遇到的問題結合自身的思考與實踐，通過構建數據庫運維平臺，解決運維過程中遇到的問題，實現資源精細化控制，提高服務交付效率，為業務的快速發展及實現業務彈性化起到支撐作用。

國美在線數據庫的發展歷程

那廣首先從數據庫架構和運維工具的變化兩個方面介紹了數據庫運維架構的發展。在數據庫架構方面，主要經歷了三個階段：讀寫分離、垂直拆分和水平拆分。

讀寫分離階段：國美業務創建初期，業務主要以家電為主，業務比較單一。隨著業務量增大單庫會出現瓶頸，比如通過讀寫分離或者加SSD盤解決性能上的問題，目前很火的是SSD或閃存卡，原因是現在單庫存在的性能瓶頸體現在IO方面，跟內存數據庫差的是在IO層面，主要是通過讀寫分離解決這個問題，在容災方面就采用復制或者HA集群方式解決這個問題。

垂直拆分階段：這個階段主要以ORACLE為主。隨著業務量增大，單庫已經很難滿足業務需求。IO業務變得復雜，隨之SQL也復雜化。此時，只能垂直下分，于是出現了單個服務化。例如按照功能拆分數據庫，拆分成購物車、訂單、支付或者商品這種服務的拆分。這個階段對服務的質量要求開始提高，搭建了兩地三中心，實現了跨機房容災，以及網絡存儲級別容災。

水平拆分階段：業務量的持續增長，造成了訂單或者購物車壓力逐漸增大，只能做水平拆分。比如：把購物車按照用戶哈希到不同的MySQL分片里，解決單庫問題和某個模塊的性能問題。隨著NoSQL技術發展成熟，可能也采用一些Redis技術，在購物車時先寫Redis，再異步同步到MySQL，類似這種方案，包括采用MongoDB，把規格參數或者是評論，一些日志類的東西放在MongoDB里，比如規格參數，手機、冰箱、彩電規格是不一樣的，制造了一個規格參數模板，想改變這個模板加了一個屬性，對于慣性數據庫來說這是非常麻煩的，而對于MongoDB來說非常簡單，只要加一個字段就可以，非常適合MongoDB的場景。

在運維工具的發展方面，經歷了腳本時代、工具時代、自動化時代以及平臺化時代。

2010年的腳本時代，可能僅有一兩個人，通過寫簡單的腳本執行SQL或者做日常巡檢等工作。只要通過腳本就可以滿足業務需求，包括安裝數據庫、執行SQL等，通過手工執行即可解決。隨著數據庫類型和數據量的增加，在響應速度上出現了問題。比如：手工安裝數據庫的效率太慢，而且每個人安裝的數據庫的目錄、端口或者配置參數都會五花八門，對于同一功能每個人在寫腳本時寫法也不盡相同。這個階段對標準化或者規范化要求越來越高，要做到自動化可能需要標準化或者流程化做到位才可以實現。通過自動化解決日常中運維流程復雜性，根據定義好的規范可以實現自動化安裝，自動從SVN上取下來代碼就可以自動執行，這時如果靠記憶去記一共有多少個庫，開發說在哪塊執行NoSQL，如果還靠人去記這很難實現。2014-2015年的自動化時代，自動化主要解決的是內部運維流程問題，包括數據采集、監控自動化。那么如何把數據串起來，實現統一轉現，如何與其他部門溝通，SQL做什么用，需要實現哪些功能?什么時候執行?在哪個系統執行?這個溝通的成本很大。于是在2015-2016年發展到了平臺化時代后，平臺的主要功能就是把整個流程都串起來，包括申請服務器需要的數據庫類型，功能等。

那廣表示，當平臺技術和自動化技術完善之后可能會進入智能化時代，采集數據之后通過數據分析能智能去解決一些運維中的問題。假設磁盤空間80%報警了，會通過監控定位出來是哪個部落或者哪個數據文件報警，分析歷史是否有類似報警，數據增長趨勢，還會分析是因為備份失敗了，比如沒有清理日志或者因為報錯引起的磁盤空間報警，再預判一下如果不處理多長時間會造成事故，通過分析定位出來問題會自動清理一些日志類的東西，實現日志報錯，保證主機故障能夠自動解決，延緩故障率，自動解決生產中遇到的問題。隨著技術的成熟，在運維焦點上也發生了變化，最開始可能關注故障和性能，故障的快速響應，包括數據庫性能、備份、容災，隨著這些穩定了之后更關注的是自動化、流程、質量，開發了一些流程，做了一些開發規范、運維規范，包括把一些故障或者日常處理問題都會記錄到數據庫。隨著這些完善之后可能下一步關注的焦點是在于服務或者成本還有效率，怎么樣降低硬件成本和人力成本，以及怎么快速交付數據庫的服務。

數據庫運維挑戰重重

在數據庫運維中遇到的挑戰，主要體現在四個方面：存儲、流程、服務和監控。

在存儲方面，是廣義類型的存儲，例如數據庫選型，應用的需求，會分析到底適合用什么樣類型的數據庫。日志或者訂單流轉狀態，可能用MongoDB就可以。如何選擇更合適的數據庫，包括容量的規劃，數據量預計的增長情況，通過什么判斷這個數據未來增長情況。包括分片設計，到底是設計一年的增長率，還是設計兩三年的增長率，通過什么去做分片，數據怎么做匯總，這是存儲方面需要解決的問題。

在流程方面，流程是如何快速做到響應，包括故障響應和服務響應，故障如何快速處理，開發提出來的需求如何能夠快速響應這個服務，包括操作和歷史追溯性，各個接口之間數據是怎么串聯的，怎么進行統一的查詢、分析。

在監控方面，想要做到快速響應、實時響應，很精準報警，可以做到事件預測，比如判斷磁盤空間數據增長情況，可以預判多長時間會出現問題，可能需要擴容類似這種。高效準確，假設報警很多，同樣類型的報警隔一分鐘報一次，報警會很多，上千或上萬，就成為了一個垃圾報警，根本就沒法處理這些問題，如何做這方面的優化，做數據清洗，比如同一類型報警不會反復發，發現了下次再出現相同類似報警匯總起來，隔5分鐘或者隔10分鐘再發一次，做到報警信息的清洗工作，包括準確性。

在服務方面，對開發提出的需求、日常變更能夠快速響應、快速執行，怎么能讓開發更了解數據庫的運行狀況，讓他們也能幫助我們做一些性能方面的檢查，因為他們更了解自己的業務，一看SQL或性能就知道大概哪塊出現了問題，而不單純從數據庫層面優化SQL或性能。如何保證數據庫的安全，保證數據安全、訪問安全。

應對之道

根據遇到的問題以及挑戰，國美確立了數據庫運維目標，改變了數據庫運維的角色，并建立了運維四化準則。

數據庫運維目標就是要提供一個高效、穩定、安全的數據庫服務。現在轉變了觀念，認為數據庫是一種服務。對于開發來說是透明的，提供數據庫服務，切換或者報錯故障對開發來說沒有感應，不需要改任何配置就可以實現數據庫切換。高效性注重于響應效率、交付效率，包括監控準確性，提高日常運維效率。穩定性通過事件預測、歷史數據分析、數據分析，保證數據庫的穩定運行。成本則可能通過容量規劃、擴展設計，節省硬件成本，通過提升運維效率降低人力成本。安全可能要做數據安全備份，包括訪問安全限制，快速故障切換等。

在數據庫運維角色上，分成了產品DBA、運維DBA和運維開發DBA。產品DBA主要是對接開發，制定一些開發規范，性能優化，開發討論架構上的方案。原來少的時候一個人就可以搞定，從運維到跟開發溝通全都搞定了，但是隨著開發人員比較多，溝通成本非常大，而且有些人溝通能力稍微強點，有些人側重于技術，在運維角色上也做了一些改變。運維DBA主要做基礎運維規范，容量規劃，什么時候需要采購機器。開發DBA主要是對自己內部平臺進行搭建，解決運維DBA和開發DBA困難的同時收集一些數據，對決策支持做一些幫助。

運維四化準則即是：平臺化、自動化、服務化和可視化。

平臺化：主要是把一些零散的服務整合起來，原來有備份系統、部署系統、發版系統，有用戶管理、權限管理，在操作需要創建用戶可能跳到用戶平臺，需要安裝部署又跳到部署平臺，要達到平臺統一入口，在這一塊就可以操作所有動作，而且這些數據都可以串聯起來，都可以通過接口或者推送把這些基礎數據串聯起來，做到統一調度和統一數據展現。

自動化：就是標準化、規范化、流程化。

服務化：主要是數據庫角度變換，現在提供的是服務，有可能以后還會有計費，假設某一個部門或某一個中心用了多少資源，這是為了下一步做打算。

可視化：通過可視化方式多維度展現基礎數據。比如每個業務中心用了多少數據庫，每個機房里數據庫部署的情況，包括開發環境和生產環境數據庫的比例，數據庫MySQL是多少，MongoDB是多少，類似基礎數據維度查詢，包括應用連了數據庫多少個連接，歷史性能數據分析、展現，做到可以多維度查詢，更好地支持運維決策。

數據庫運維實踐

數據庫運維平臺架構基本分為兩個部分：基礎服務和應用服務。基礎服務包含監控、備份、DNS管理、CMDB、知識庫、文件共享，通過這些基礎服務能夠支撐什么樣的服務，比如動態高性能，切換、資源整合管理、用戶管理、連接管理，通過一些基礎信息關聯能夠更好提供應用服務。該架構在效率方面實現了自動化部署提升交付效率，一鍵式遷移提升運維效率， 并利用自動化發版提升運維效率。對于數據庫的安全問題，通過用戶、連接、權限全方位保證。

【講師簡介】

[[176057]]

那廣，國美在線平臺運維部經理(架構師)，國美在線技術體系創始團隊成員之一。目前主要負責數據庫及自動化運維平臺。設計并帶領開發了數據庫容災切換系統、SQL發版系統、備份系統、數據庫巡檢系統等;主要方向致力于搭建自動化運維平臺，提供高性能、高可用的數據庫服務。

本文由那廣于2016年8月，在WOT2016移動互聯網技術峰會運維與安全專場《數據庫運維實踐》主題演講整理而成。WOT2016大數據峰會將于2016年11月25-26日在北京粵財JW萬豪酒店召開，屆時，數十位大數據領域一線專家、數據技術先行者將齊聚現場，在圍繞機器學習、實時計算、系統架構、NoSQL技術實踐等前沿技術話題展開深度交流和溝通探討的同時，分享大數據領域***實踐和最熱門的行業應用。了解WOT2016大數據技術峰會更多信息，請登陸大會官網：http://wot.51cto.com/2016bigdata/

【51CTO原創稿件，合作站點轉載請注明原文作者和出處為51CTO.com】