軟件測(cè)試的兩種未來(lái)

黑暗未來(lái)

像流水線一樣測(cè)試

         在黑暗未來(lái)，ISO標(biāo)準(zhǔn)29119會(huì)告訴我們需要測(cè)試什么以及如何測(cè)試�！盁o(wú)論你做的是哪種類型的測(cè)試，它都會(huì)影響你�！奔词蛊鸩輼�(biāo)準(zhǔn)的人不知道你的業(yè)務(wù)也沒(méi)關(guān)系嘛；因?yàn)樗麄兪恰皩＜摇保麄冎朗裁捶绞绞呛玫姆绞�，比你更知道。“�?biāo)準(zhǔn)使用了四層過(guò)程模型，開(kāi)始有兩個(gè)層覆蓋測(cè)試策略和測(cè)試戰(zhàn)略。下一層轉(zhuǎn)向項(xiàng)目管理，后一層為所有測(cè)試級(jí)別定義了基礎(chǔ)測(cè)試過(guò)程，比如單元測(cè)試，系統(tǒng)測(cè)試，驗(yàn)收測(cè)試，以及測(cè)試類型（例如性能和可用性測(cè)試）。第2和3部分，與過(guò)程和文檔相關(guān)，特別與測(cè)試過(guò)程潛在的所有輸出緊密關(guān)聯(lián)，相當(dāng)于文檔部分定義的文檔。同時(shí)建議使用‘新工作項(xiàng)目’，這個(gè)將在測(cè)試過(guò)程改進(jìn)中看到第五部分內(nèi)容-假設(shè)一個(gè)測(cè)試產(chǎn)業(yè)每隔數(shù)十年沒(méi)有出現(xiàn)其他新的測(cè)試改進(jìn)模型。”是不是聽(tīng)起來(lái)很不錯(cuò)？他們不僅僅告訴你如何去做，還包括如何改進(jìn)-而不顧廣為人知的警告，“可能大的抱怨來(lái)源于IT標(biāo)準(zhǔn)不能滿足實(shí)際從業(yè)者的需求-我們中的很多人都會(huì)遇到這種‘空文’”。也不要擔(dān)心標(biāo)準(zhǔn)難以管理，當(dāng)前標(biāo)準(zhǔn)的第2部分草稿，是在編寫的這部分，“僅”100頁(yè)。

         注意和標(biāo)準(zhǔn)相關(guān)的還有標(biāo)準(zhǔn)的術(shù)語(yǔ)表。術(shù)語(yǔ)表用英語(yǔ)。將它翻譯成其他語(yǔ)言會(huì)增加復(fù)雜度和模糊性。讓我們所有人僅僅用英語(yǔ)測(cè)試吧。如果其他文化不喜歡。。。好吧，有點(diǎn)困難。反正也沒(méi)多少?gòu)乃麄兡切枰獙W(xué)習(xí)的東西。      

黑暗未來(lái)

推進(jìn)正統(tǒng)教育

Ÿ   所有測(cè)試人員必須通過(guò)多個(gè)容易通過(guò)的考試的認(rèn)證

Ÿ   反正測(cè)試不是真正需要專業(yè)技能

Ÿ   每個(gè)測(cè)試產(chǎn)業(yè)的從業(yè)者使用同樣的語(yǔ)言，并且按同樣的標(biāo)準(zhǔn)測(cè)

         在黑暗未來(lái)，評(píng)估測(cè)試人員的能力是基于記憶權(quán)威知識(shí)體系中測(cè)試術(shù)語(yǔ)的能力。上下文環(huán)境和理解說(shuō)明在黑暗未來(lái)沒(méi)有容身之處�？荚嚳偸切枰�，這樣便于考認(rèn)證，所以有多個(gè)認(rèn)證的選擇也是必須的。如果擔(dān)心這種方法不足以評(píng)估技能，不用擔(dān)心：測(cè)試反正不是一個(gè)特別需要經(jīng)驗(yàn)的行業(yè)。一些測(cè)試人員能夠編寫代碼讓工作自動(dòng)化，這個(gè)是一個(gè)好主意，因?yàn)闊o(wú)論從什么角度看測(cè)試總是一個(gè)枯燥、重復(fù)以及單調(diào)的任務(wù)。

    我們不希望測(cè)試人員和開(kāi)發(fā)人員（即程序員-程序員僅僅指黑暗未來(lái)里的開(kāi)發(fā)人員）親近。測(cè)試人員會(huì)意志薄弱以至于受到程序員負(fù)面的影響，所以這種親近會(huì)危害測(cè)試人員的目標(biāo)。測(cè)試人員可能會(huì)被誘導(dǎo)不要報(bào)bug。

    重復(fù)在黑暗未來(lái)中是非常重要的。我們想要一遍又一遍的跑同樣的測(cè)試，沒(méi)有變化，因?yàn)樽兓赡軐?dǎo)致不可預(yù)測(cè)性。發(fā)現(xiàn)和研究bug會(huì)讓我們脫離原定計(jì)劃

黑暗未來(lái)

測(cè)試和學(xué)習(xí)無(wú)關(guān)

Ÿ   測(cè)試關(guān)注證實(shí)、驗(yàn)證和確認(rèn)

Ÿ   測(cè)試人員檢查確認(rèn)規(guī)定的測(cè)試通過(guò)

Ÿ   探索和研究，往好處說(shuō)是品，往壞處說(shuō)是危險(xiǎn)

         在黑暗未來(lái)，測(cè)試是持續(xù)不斷的例行任務(wù)，機(jī)械化的活動(dòng)，即使它們是由人完成的。它和學(xué)習(xí)無(wú)關(guān)，和確認(rèn)我們已知的事情有關(guān)，回答我們知道答案的問(wèn)題，重復(fù)一遍又一遍同樣的無(wú)腦測(cè)試。在黑暗未來(lái)，沒(méi)有探索、研究或發(fā)現(xiàn)、學(xué)習(xí)的地方，也是沒(méi)有技能、創(chuàng)造性和想象力生長(zhǎng)的舞臺(tái)。也沒(méi)有詢問(wèn)客戶如何評(píng)估我們產(chǎn)品的空間。我們只是做我們被告知的，我們不學(xué)習(xí)任何東西。    

黑暗未來(lái)

測(cè)試被簡(jiǎn)化為無(wú)腦的檢查

“有腦”意味著“需要人類智慧”

一個(gè)“無(wú)腦”的活動(dòng)可以：

被不能思考的機(jī)器執(zhí)行（但是迅速并且精確）；或者被封閉思考的人類來(lái)執(zhí)行（慢并且不可靠）

黑暗未來(lái)

測(cè)試人員負(fù)責(zé)制

項(xiàng)目管理不夠成熟，不能做出合適的決定
 
         在黑暗未來(lái)，測(cè)試人員是質(zhì)量的看門人。我們決定何時(shí)開(kāi)始測(cè)試，僅僅當(dāng)產(chǎn)品和相關(guān)文檔按嚴(yán)格標(biāo)準(zhǔn)提供時(shí)，以及當(dāng)我們收到完整的、無(wú)歧義的、新的需求文檔時(shí)，我們開(kāi)始測(cè)試。我們決定產(chǎn)品質(zhì)量是否達(dá)到發(fā)布的要求。管理者必須得到我們的簽名和我們的允許，才能發(fā)布一個(gè)合格的產(chǎn)品。我們能夠中止發(fā)布，如果我們認(rèn)為產(chǎn)品不夠好。當(dāng)然我們自己不需要遵守這些標(biāo)準(zhǔn)，那不是我們的工作。在黑暗未來(lái)，我們的角色是告訴其他人他們什么做錯(cuò)了以及如何改正。在黑暗未來(lái)，測(cè)試人員是真正的項(xiàng)目管理者。

黑暗未來(lái)

測(cè)試人員負(fù)責(zé)制

測(cè)試人員不能控制日程、預(yù)算、產(chǎn)品 、團(tuán)隊(duì)、合約等等，但是我們?nèi)匀粚?duì)質(zhì)量負(fù)責(zé)。

黑暗未來(lái)

測(cè)量

Ÿ   我們測(cè)量

Ÿ   需求范圍，通過(guò)統(tǒng)計(jì)需求文檔數(shù)

Ÿ   測(cè)試覆蓋率，通過(guò)統(tǒng)計(jì)測(cè)試用例數(shù)

Ÿ   產(chǎn)品質(zhì)量，通過(guò)統(tǒng)計(jì)bug數(shù)

Ÿ   測(cè)試人員價(jià)值，通過(guò)統(tǒng)計(jì)bug報(bào)告的數(shù)量

Ÿ   程序員的產(chǎn)出，通過(guò)統(tǒng)計(jì)代碼行數(shù)

Ÿ   復(fù)雜度，通過(guò)統(tǒng)計(jì)代碼分支數(shù)

Ÿ   屬性各個(gè)值之間的相關(guān)性不重要

Ÿ   如此簡(jiǎn)單，小孩子也能做
 
         需求文檔、生產(chǎn)率、復(fù)雜度、測(cè)試覆蓋率、產(chǎn)品質(zhì)量以及測(cè)試人員價(jià)值與我們看到的成百上千的因素有關(guān)。然而大部分因素并不能明確的量化，過(guò)分簡(jiǎn)化的統(tǒng)計(jì)只能是誤入歧途。在黑暗未來(lái)，我們解決問(wèn)題的辦法是忽略他們。

         一個(gè)bug并不是這個(gè)世界上的普通的一件事情。一個(gè)bug是結(jié)構(gòu)化、充分思考的精神產(chǎn)物。它是特定人和特定產(chǎn)品之間的關(guān)系，比如其他的人可能不會(huì)把它視之為bug。甚至當(dāng)兩個(gè)或更多人認(rèn)為部分行為似乎一個(gè)bug時(shí)。他們也可能不同意這是個(gè)明顯的bug。盡管如此，在黑暗未來(lái)，我們會(huì)統(tǒng)計(jì)它們。越多的bug意味著越高的質(zhì)量；越少的bug意味著越低的質(zhì)量。這對(duì)測(cè)試人員同樣適用。我們會(huì)忽略所有測(cè)試人員帶給項(xiàng)目的其他活動(dòng)和維度的價(jià)值，通過(guò)統(tǒng)計(jì)他們bug報(bào)告的數(shù)量來(lái)測(cè)量他們的工作效率。

         在黑暗未來(lái)，我們不會(huì)做定性的測(cè)量、做第一手的觀察、看測(cè)試人員和開(kāi)發(fā)人員的交流，或者和實(shí)際用戶進(jìn)行溝通。我們不相信故事，只相信統(tǒng)計(jì)。然而我們不會(huì)擔(dān)心測(cè)量方法中的合理性或其他可能的問(wèn)題。我們只是簡(jiǎn)單的使用方法，比如應(yīng)該對(duì)每個(gè)需求文檔有一個(gè)可追溯的測(cè)試用例。不，等等！應(yīng)該是兩個(gè)！一個(gè)正向測(cè)試用例和一個(gè)負(fù)向測(cè)試用例。

         Cem Kaner說(shuō)過(guò)一個(gè)測(cè)試用例是我們想要問(wèn)這個(gè)產(chǎn)品的一個(gè)問(wèn)題。James Bach也多次說(shuō)過(guò)，一個(gè)測(cè)試用例是一個(gè)問(wèn)題的容器。在黑暗未來(lái)，我們?cè)u(píng)估工作質(zhì)量，是坐在辦公室里，統(tǒng)計(jì)每天早上進(jìn)進(jìn)出出的公文數(shù)量。我們不去考慮看一下其中的內(nèi)容。如果公文的數(shù)量越多，那顯而易見(jiàn)的表示公司的工作效率在提升。

         我們忽略簡(jiǎn)單統(tǒng)計(jì)背后隱藏的問(wèn)題，回避Cem Kaner和Pat Bond所著的Software Engineering Metrics:What Do They Measure and How Do We Know?(http://www.kaner.com/pdfs/metrics2004.pdf); Darrell Huff 經(jīng)典的How To Lie With Statistics; Gerald M. Weinberg所著的Quality Software Management， Vol. 2: First Order Metrics ; 尤其是Robert D. Austin所著的Measuring and Managing Performance in Organizations。愛(ài)因斯坦曾經(jīng)說(shuō)過(guò)“不是所有有價(jià)值的都能被計(jì)算，不是所有能計(jì)算的都有價(jià)值”。我們當(dāng)然也忽略了他。

糟糕的事情是黑暗未來(lái)

                                                           和很像           
 
         在黑暗未來(lái)，在項(xiàng)目管理比較便于測(cè)試人員操作時(shí)，他們會(huì)在幕后驅(qū)動(dòng)整個(gè)項(xiàng)目。即使測(cè)試人員明顯沒(méi)有什么權(quán)力，他們?nèi)匀粚?duì)所有質(zhì)量過(guò)失負(fù)責(zé)。因?yàn)樗麄兪谴a后的經(jīng)手人，于是看上去任何沒(méi)有被檢測(cè)到的問(wèn)題都是他們的過(guò)失。測(cè)試人員必須簽署文檔來(lái)決定產(chǎn)品是否可以發(fā)布，即使產(chǎn)品的發(fā)布是一個(gè)商業(yè)層面的決定，而不是技術(shù)層面的。