詳解Visual Studio 2010輔助敏捷測(cè)試

作者：微軟 2010-07-29 09:41:23

本文將討論的是Visual Studio 2010輔助敏捷測(cè)試，之前51CTO也報(bào)導(dǎo)過(guò)相關(guān)內(nèi)容，本文屬于一系列文章的繼續(xù)。

本篇文章的上半部分，請(qǐng)參看《Visual Studio 2010輔助敏捷測(cè)試詳解》

四、早測(cè)試和經(jīng)常測(cè)試——封閉簽入和滾動(dòng)生成

敏捷開(kāi)發(fā)中最可怕的事情莫過(guò)于在迭代最后一兩天進(jìn)行測(cè)試，結(jié)果發(fā)現(xiàn)了嚴(yán)重功能缺陷或者回歸缺陷，導(dǎo)致不能按計(jì)劃發(fā)布給用戶試用。要想徹底解決這樣的問(wèn)題，一方面要在迭代開(kāi)發(fā)階段測(cè)試人員就要參與進(jìn)來(lái)，從客戶的角度出發(fā)對(duì)功能需求和設(shè)計(jì)文檔進(jìn)行文檔測(cè)試，即文檔評(píng)審。測(cè)試人員和開(kāi)發(fā)還有項(xiàng)目經(jīng)理一起從源頭上保障將要實(shí)現(xiàn)的功能是用戶想要的。另一方面就是要在迭代的早期就開(kāi)始就開(kāi)始測(cè)試，特別前幾個(gè)迭代已經(jīng)實(shí)現(xiàn)好的自動(dòng)化測(cè)試用例，盡早的執(zhí)行它們可以有效地避免回歸問(wèn)題的出現(xiàn)。在TFS 2010 上專門提供封閉簽入（Gated Check-in）、滾動(dòng)生成（Rolling Builds）和持續(xù)集成（Continuous Integration）等功能，幫助敏捷團(tuán)隊(duì)實(shí)現(xiàn)早測(cè)試和經(jīng)常測(cè)試。這其中封閉簽入和滾動(dòng)生成是對(duì)敏捷團(tuán)隊(duì)比較實(shí)用的功能。

封閉簽入是TFS 2010 提供的一種新的代碼簽入方式，在配置這項(xiàng)功能后，當(dāng)用戶要簽入任何代碼時(shí)，系統(tǒng)會(huì)先將用戶本地要簽入的代碼打包成一個(gè)擱置集（shelve-set），然后提交到服務(wù)器端，TFS 生成（Build）服務(wù)先從TFS 源代碼控制器中同步項(xiàng)目的最新代碼，再將提交的代碼與之進(jìn)行自動(dòng)合并，然后進(jìn)行編譯，如果編譯成功，則執(zhí)行配置的自動(dòng)化測(cè)試用例，如果測(cè)試用例全部通過(guò)則代碼會(huì)被自動(dòng)簽入到代碼庫(kù)中，否則返回錯(cuò)誤信息給用戶，代碼是不會(huì)進(jìn)入到代碼庫(kù)。表面上看是與產(chǎn)品測(cè)試沒(méi)有直接關(guān)系，但實(shí)際上它和測(cè)試以及最終產(chǎn)品質(zhì)量的密不可分。因?yàn)榇a簽入是整個(gè)開(kāi)發(fā)過(guò)程中發(fā)生最為頻繁的操作，每次簽入代碼的質(zhì)量直接影響著日常的開(kāi)發(fā)活動(dòng)。對(duì)于絕大多數(shù)的開(kāi)發(fā)團(tuán)隊(duì)來(lái)說(shuō)，check in 代碼前不僅要保證編譯通過(guò)，同時(shí)還要最大限度的保證新代碼不會(huì)破壞已有的功能，也就是要執(zhí)行測(cè)試用例去驗(yàn)證。Gated Check-in 中提到的“Build 成功”，實(shí)際上包含兩部分內(nèi)容：編譯成功和測(cè)試用例執(zhí)行成功，有了它作為保護(hù)代碼庫(kù)的第一道屏障，就可以保證它在任何適合都是可編譯，并且達(dá)到一定質(zhì)量標(biāo)準(zhǔn)的。

滾動(dòng)生成是在VS 2008 種就有的功能，當(dāng)TFS 檢測(cè)到在它所監(jiān)控的范圍內(nèi)有任何新的代碼變化被簽入后，它就啟動(dòng)對(duì)最新的代碼庫(kù)進(jìn)行生成驗(yàn)證，該驗(yàn)證包括編譯和運(yùn)行指定的自動(dòng)化測(cè)試用例。之所以稱之為“滾動(dòng)”，因?yàn)樗窃谝粋€(gè)生成驗(yàn)證操作完成后再去探測(cè)有沒(méi)有新的簽入發(fā)生，對(duì)這期間發(fā)生的所有新簽入進(jìn)行新的生成驗(yàn)證。這里需要再?gòu)?qiáng)調(diào)一下滾動(dòng)生成的重要意義：它看似只是一個(gè)自動(dòng)生成代碼的功能，但實(shí)際上起著協(xié)調(diào)整個(gè)開(kāi)發(fā)團(tuán)隊(duì)、時(shí)刻監(jiān)控代碼庫(kù)質(zhì)量、以及盡早暴露產(chǎn)品問(wèn)題的作用。因?yàn)闈L動(dòng)生成時(shí)刻都在不停的運(yùn)轉(zhuǎn)著，對(duì)于任何代碼簽入它都保持著警覺(jué)，會(huì)去自動(dòng)驗(yàn)證編譯是否成功，自動(dòng)化測(cè)試用例是否都能通過(guò)。它就像一個(gè)不知疲倦的“代碼守護(hù)者”一樣監(jiān)控著代碼庫(kù)，第一時(shí)間發(fā)現(xiàn)其中的任何問(wèn)題，將問(wèn)題通知給整個(gè)團(tuán)隊(duì)，從而避免了問(wèn)題的積累和拖延。這非常符合敏捷開(kāi)發(fā)中“今日問(wèn)題今日解決，不要拖到以后”的原則，它幫你最早的發(fā)現(xiàn)問(wèn)題、報(bào)告問(wèn)題，開(kāi)發(fā)團(tuán)隊(duì)則應(yīng)該建立制度要及時(shí)響應(yīng)滾動(dòng)生成所報(bào)告的問(wèn)題，把它作為Priority 為0 或1 的高優(yōu)先級(jí)問(wèn)題去對(duì)待和解決。

封閉簽入和滾動(dòng)生成都是來(lái)保護(hù)代碼庫(kù)的正確性和產(chǎn)品質(zhì)量，它們是否在功能上重復(fù)反而讓我們不敏捷了呢？其實(shí)兩者并不重復(fù)，只是各有側(cè)重，將它們搭配使用才會(huì)發(fā)揮其最大效能。

封閉簽入是在代碼進(jìn)入代碼庫(kù)之前進(jìn)行驗(yàn)證，簽入提交者一般希望竟快知道結(jié)果，以便決定下一步的工作，所以封閉簽入的時(shí)間（編譯和運(yùn)行測(cè)試用例）不要太長(zhǎng)（10-20 分鐘）。這也就決定了我們加入的測(cè)試用例不能太多，只添加那些高優(yōu)先級(jí)的測(cè)試用例，保證主要的用戶故事不被破壞。滾動(dòng)生成是在代碼簽入后在后臺(tái)執(zhí)行的，由于不存在著與用戶的交互等待，所以它執(zhí)行時(shí)間可以更長(zhǎng)（幾個(gè)小時(shí)），可以為它加入更多的測(cè)試用例，從而全面驗(yàn)證代碼庫(kù)的質(zhì)量，一旦有任何問(wèn)題它可以及時(shí)通知團(tuán)隊(duì)進(jìn)行修復(fù)，這種驗(yàn)證是在幾個(gè)小時(shí)或者每天都在發(fā)生的，保證了敏捷對(duì)頻繁測(cè)試的。

五、完整的自動(dòng)化測(cè)試解決方案——實(shí)驗(yàn)室管理

在談到軟件自動(dòng)化測(cè)試的時(shí)候，很多人會(huì)誤以為實(shí)現(xiàn)了自動(dòng)化測(cè)試用例就是自動(dòng)化測(cè)試，其實(shí)不然，自動(dòng)化測(cè)試僅是測(cè)試自動(dòng)化的一個(gè)重要步驟，絕對(duì)不等同于自動(dòng)化測(cè)試。一個(gè)完整的自動(dòng)化測(cè)試應(yīng)該包括：構(gòu)建、部署、執(zhí)行測(cè)試用例、分析測(cè)試結(jié)果并作出結(jié)論。在前面的自動(dòng)測(cè)試的收益公式中，我們可以看到減少自動(dòng)測(cè)試的維護(hù)成本，是提高自動(dòng)測(cè)試收益的重要因素之一。VS 2010 的實(shí)驗(yàn)室管理（Lab Management）與測(cè)試用例管理、生成管理、源代碼控制、工作項(xiàng)管理等功能相結(jié)合，為自動(dòng)化測(cè)試提供了這樣一個(gè)完整的解決方案，目標(biāo)就是要降低了自動(dòng)測(cè)試的運(yùn)營(yíng)和非維護(hù)成本，下面這張圖展示了實(shí)驗(yàn)室環(huán)境的系統(tǒng)構(gòu)架圖。

實(shí)驗(yàn)室管理功能充分利用了微軟的虛擬化技術(shù)，包括：Hyper-V 和 System Center Virtual Machine Manager （SCVMM），快速創(chuàng)建干凈的虛擬測(cè)試環(huán)境并進(jìn)行產(chǎn)品生成和部署，然后執(zhí)行指定的測(cè)試用例集，將結(jié)果以報(bào)表的形式呈現(xiàn)出來(lái)，方便對(duì)此產(chǎn)品質(zhì)量進(jìn)行分析，如下圖所示：

同時(shí)，利用虛擬技術(shù)的環(huán)境快照功能，對(duì)于那些難于復(fù)現(xiàn)或者環(huán)境相關(guān)的Bug，利用虛擬環(huán)境的快照技術(shù)，可以為開(kāi)發(fā)人員準(zhǔn)確的復(fù)現(xiàn)Bug 出現(xiàn)的環(huán)境，從而能夠快速的進(jìn)行診斷和及時(shí)修復(fù)。

總結(jié)

Visual Studio 2010 作為Visual Studio 系列中一個(gè)非常重要的版本，為測(cè)試人員和團(tuán)隊(duì)提供了一整套解決方案，包括：測(cè)試計(jì)劃和用例管理、創(chuàng)建自動(dòng)化測(cè)試用例、測(cè)試用例的自動(dòng)執(zhí)行、以及實(shí)驗(yàn)室管理等。這些功能強(qiáng)調(diào)了測(cè)試作為整個(gè)軟件過(guò)程的重要角色的作用，促進(jìn)了測(cè)試人員與其它角色的有效溝通與協(xié)作，非常適合于敏捷團(tuán)隊(duì)使用來(lái)完成測(cè)試工作。

工具不是萬(wàn)能的，但沒(méi)有合適的工具輔助也是萬(wàn)萬(wàn)不能的。對(duì)于工具在敏捷開(kāi)發(fā)的作用，應(yīng)該用辯證的觀點(diǎn)來(lái)看待。不能片面唯工具論，畢竟軟件開(kāi)發(fā)過(guò)程是人、工具和過(guò)程三者共同作用的結(jié)果，工具影響著人和過(guò)程，同時(shí)人和過(guò)程也影響著工具所能發(fā)揮的效力。所以這決定了工具的引入和部署應(yīng)該是一個(gè)漸進(jìn)的和逐步適應(yīng)的過(guò)程，特別是對(duì)Visual Studio 2010這樣比較大型和綜合性的工具。下面是三個(gè)向大家推薦的與Visual Studio 測(cè)試相關(guān)的微軟論壇，希望能夠?qū)Υ蠹矣兴鶐椭?/p>

Testing with Visual Studio Test Manager (MTM)

Visual Studio UI Automation Testing (includes CodedUI)

Visual Studio Team System - Testing

【編輯推薦】