?昨天的文章里最后我簡單聊了聊數據庫測試的事情，最近也有很多用戶十分關心數據庫測試的問題，因為他們都在關心信創數據庫如何選型的事情。前幾天我和一個客戶聊到信創數據庫選型的時候，我的觀點是對于國產數據庫選型，目前一些國測的測試報告參考價值并不大。

數據庫基準測試是十分困難的，因為最近這十幾年我也幫助客戶組織過幾次基準測試，其中的苦辣，心中自知。目前很多數據庫廠商都以TPMC測試數據作為其數據庫性能卓越的證據。不過事實上，TPC-C測試是十分復雜的，并不是我們在自己的測試環境中跑幾下子BENCHMARK工具就能得到結果的。BENCHMARK測試是成本極高的測試，需要對軟硬件，網絡等環境做十分細致的優化，才能夠跑出好的效果。其結果的有效性也是有一套評估標準的，延時的標準差，P90/P95/P99位置的延時都是考察某個TPC-C測試結果是否有效的重要因素。這些都不是隨便某個用戶或者數據庫廠商自己就能夠完成的。而從另外一個方面來說，用戶的應用系統能夠在某個基礎設施上跑出好的效果，TPC-C的高低實際上占的比重并不高。比如說并發能力，我曾經和一個商業銀行的主管算過一筆賬，他們目前的系統高峰期平均每秒交易量大約1000筆，折算為TPMC大約是6萬，哪怕未來5年提升5倍，也就是30萬TPMC?，F在的一臺國產2路服務器，跑隨便哪個國產數據庫，都可以輕松達到100萬TPMC左右，因此對于大多數非互聯網業務，TPMC都不是問題。

數據庫測試是十分復雜與高成本的事情，要想比較公正的做好基準測試并不容易。十多年前我幫助一個客戶對比X86服務器與小型機的效能，做過一次至強服務器與IBM/HP/ORACLE等的小型機的對比測試。當時用的是用戶自有數據與測試用例。為了保證公正性，我們允許廠家做一定程度的優化，但是也頒布了十分嚴格的限制，比如不能使用異步提交，不能隨意篡改數據，不能把REDO放到內存文件系統等。因為涉及到隨后的集采，因此各個廠商也都十分重視，我甚至在一個廠商的工作區里發現了一本我幾年前寫的《ORACLE優化日記》，看樣子這哥們是準備現學現用了。

實際上那時候X86服務器已經表現出了極其強勁的能力了，一臺10萬塊錢不到的服務器，基本上可以和2-300萬的小型機PK性能了。INTEL的哥們也不太懂數據庫優化，裝好系統，調完基本參數，用了不到一天就完成了我們安排的3天的測試工作。而小型機廠商都十分小心，仔細地優化每個測試用例。在分析測試數據的時候，我發現某個廠商的一組測試用例的結果有些異常，其他測試數據，小型機的結果與X86基本相當，甚至有些用例還略差，不過這組測試數據，小型機完勝X86，也完勝其他小型機廠商。從我們的數據完整性校驗腳本中，也沒有發現數據被篡改的情況。我突然想起了那本《Oracle優化日記》，于是讓測試小組去查一下幾張核心表的索引的CLUSTER FACTORY值，發現其中一張表的索引的CLUSTER FACTORY與其他企業的測試環境不同。原來這組測試用例里大多是用了索引范圍掃描，為了提高性能，這個廠商把表中的數據順序做了重排。這實際上是《Oracle優化日記》里介紹的一個優化小技巧，看來這哥們真的活學活用了。再后來我們的測試用例里就把記錄順序也作為了校驗的一項內容。

數據庫基準測試是測試團隊與參測團隊魔高一尺，道高一丈的較量，如果測試團隊的技術能力不如參測團隊，那么測試數據的準確性就很難保證了?，F在的數據庫測試里都有代碼自主率測試這一項，很多企業在做數據庫選型的時候也十分看中這一點。我所知道的很多基于開源代碼開發的數據庫產品，在一些國測中也獲得了超過90%甚至95%的代碼自主率測試結果。這讓我十分疑惑，直到我真正看到了一份測試報告，才恍然大悟。有個基于某開源代碼開發的數據庫產品，代碼自主率測試結果是96.3%，不過仔細閱讀報告才發現，送測代碼總量為93萬行，送測的模塊里居然沒有SQL引擎，優化器等，都是一些外圍模塊。但是作為一般的數據庫選型的用戶是看不到詳細的報告的，我們只能看到公布的96.3%的代碼自主率。這種測試也讓這些測試變得毫無意義。當然我個人的觀點，代碼自主率也并不是一個十分有意義的指標。

實際上用戶做數據庫選型更需要了解的是某個數據庫產品到底好不好用，在某個應用場景是否能夠很好的支撐。比如我的財務系統要用國產數據庫替換Oracle，那么我想知道用友、金蝶的產品在某個數據庫上跑的效果如何。數據庫廠商不會提供有價值的數據，金蝶用友官方也不會告訴你這些數據。我們的國測部門能不能組織國產數據庫與國產的套裝軟件廠家一起，做一些這方面的測試，并把測試結果公布出來呢？如果能夠公布這些測試數據，那么對于用戶做國產數據庫選型來說，其價值遠遠超出現有的所有測試。如果我們想了解數據庫對于復雜SQL的支持能力，那么從ERP系統的一些關鍵模塊的性能與Oracle的對比就可以清楚的了解某個數據庫產品對于復雜的SQL的支持情況。如果要了解高并發環境下并發寫入能力，那么某些物聯網套裝軟件的測試結果就很有參考價值了。?