對云計算供應商成本進行成本比較是很容易的；但是對應用程序進行性能比較則不是那么簡單的了。在同一個云計算或跨不同云計算的環境下，對運行其中的不同類型數據庫應用程序進行性能比較將是特別具有挑戰性的一項工作。雅虎云計算服務基準（YCSB）是專為幫助用戶了解不同云計算數據庫性能以及在實際負載下存儲數據性能表現的一個測試框架。這個測試框架的源代碼可從GitHub下載獲得。

 

雅虎云計算服務基準工具包括了兩個重要的組成部分：一個工作負載生成器和一組生成器生成的工作負載，以及針對大量NoSQL數據庫的接口，其中包括Cassandra、DynamoDB、Hbase、MongoDB、Redis以及甲骨文公司的NoSQL數據庫。當然，它還配有一個用于關系型數據庫的JDBC接口。

 

當面臨進行應用程序架構決策時，諸如YCSB這樣的數據庫測試基準是特別有用的。例如，一個不再滿足性能需求的現有數據庫應用程序可能會迫使你考慮擴容硬件資源或者變更基礎數據庫。如果額外的硬件能夠實現近乎線性的性能提升（例如，雙倍的服務器可實現雙倍的性能），那么硬件擴容將是一個合適的選擇。但是，硬件擴容并不總是能夠幫助我們實現性能的線性提升，因為不讓管理員充分發揮額外硬件資源優勢的應用程序中還存在著其他的性能提升瓶頸。

 

如果你更換了你的數據庫，那么你就會有很多的選擇項，特別是如果你選擇使用NoSQL數據庫來取代之前的關系型數據庫。雖然一開始的性能提升可能并不明顯，但是一些特定類型的NoSQL數據庫將說明問題。例如，社交網絡分析就正好適合使用圖形數據庫。如果用戶不需要支持復雜查詢應用，那么諸如Cassandra和Amazon DynamoDB這樣的關鍵值數據庫則可能比MongoDB這樣的文檔存儲更為適合。測試基準可以通過測試數據來幫助你決定哪一個數據庫最適合你的需求。

 

運行YCSB的***步就是確定你所希望測試的數據庫類型以及希望在數據庫上運行的工作負載。一旦你已經創建了你的數據庫，那么你必須創建一個與你的目標工作負載相關的計劃。計劃的實施細節將隨數據庫類型的不同而有所變化。例如，可能在MySQL中創建一個數據表，而在Cassandra中創建一個列族和關鍵值空間。

 

測試基準是比較數據庫性能的一大利器，但是工作負載也必須配合你的實際生產負載，當選擇數據庫時，除測試結果外還需要考慮其他的設計考量。你可以運行由YCSB提供的核心工作負載或者創建你自己的。核心工作負載包括一組六個具有不同讀/寫操作特性的工作負載。一些工作負載是以更新升級為主的，而另一些則是測試讀操作性能的。如果你創建你自己的工作負載，那么你就必須開發一個Java應用程序，以便于擴展現有YCSB類生成數據并執行讀/寫操作。

 

工作負載是使用參數開關進行設置的，因此你是可以在不同的線程數和單位時間運行數下測試工作負載的。它分為了兩個階段：創建數據的導入階段，和執行特定工作負載下操作然后輸出一組性能統計數據的執行階段。除了運行時間和單位時間的運行次數外，還有很多的延遲測量數據，其中包括平均值、***值、最小值、第95個百分點的延遲數和99個百分點的延遲數。

 

如果你有一個現成的應用程序，它可能會從性能監控工具中收集數據以確定你的應用程序中讀、寫以及更新操作的運行數據。如果你使用了一個關系型數據庫，那么則需特別關注運行次數最頻繁和運行時間最長的查詢操作。

 

有很好的候選對象可供在自定義工作負載中使用。

 

如果你開發了一個新應用程序，那么你應當在正式把應用程序投入生產之前運行一系列的測試基準以便于對大量的不同的可能生產負載進行評估。這可以為不同條件下不同數據庫的性能表現評估提供有價值的信息。如果你希望了解大部分時間的中等工作負載以及設計需求中偶爾發生的高峰工作負載的運行情況，可針對兩種情況進行測試。理想情況下，你所選擇的數據庫將在所有預期的情況下性能表現良好。

 

你還應當根據使用頻率來選擇數據庫。如果一個數據庫在大多數預期的工作負載下能夠表現良好，但在一個設計范圍外或偶爾發生的工作負載下表現糟糕，那么你可能會選擇這個數據庫。