自動化測試用例數(shù)量是不是越多越好呢?并不一定。衡量自動化測試用例的產(chǎn)量有點(diǎn)類似于衡量一個應(yīng)用的代碼數(shù)量,并不是數(shù)量越多就越好。由于這是一個很簡單明了又方便計算的指標(biāo),常常被大家廣泛使用,但是一味追求數(shù)量,可能會造成產(chǎn)生大量無效的自動化測試用例這樣的結(jié)果。因此建議不要單獨(dú)使用該指標(biāo)來度量自動化測試,而是需要結(jié)合其他數(shù)據(jù)來計算自動化測試執(zhí)行效率和有效自動化測試用例比率等指標(biāo),從而來衡量自動化測試系統(tǒng)自身的成熟和完備程度。
和自動化測試用例數(shù)量一樣,執(zhí)行次數(shù)也并不是越多越好。該指標(biāo)適合用來衡量和展示自動化測試系統(tǒng)或平臺自身的能力,而并不能很好的體現(xiàn)其產(chǎn)生的實(shí)際價值。
自動化測試執(zhí)行成功率
自動化測試執(zhí)行成功率,一般會在單次自動化回歸測試的報告中展示,有時候在流水線中設(shè)置成功率的閾值,比如低于某個閾值x%的時候,視為自動化回歸測試不通過。該指標(biāo)是個很好的過程指標(biāo),但并不適合作為常規(guī)度量自動化測試價值的指標(biāo)。
自動化測試覆蓋率
自動化測試覆蓋率的高低,和被測系統(tǒng)的變更結(jié)合起來,能夠很好反饋系統(tǒng)所存在的質(zhì)量風(fēng)險。自動化測試覆蓋率,有測試用例覆蓋率、功能覆蓋率、接口覆蓋率和代碼覆蓋率等等。如果自動化測試能夠有很高的覆蓋率,也能夠幫助團(tuán)隊(duì)成員對系統(tǒng)和產(chǎn)品建立信心。只是目前很多團(tuán)隊(duì)的覆蓋率數(shù)據(jù)統(tǒng)計維度比較單一,而且也不太準(zhǔn)確,比如有些團(tuán)隊(duì)是通過人工統(tǒng)計的方式來計算了測試用例覆蓋率,但是并未考慮到測試用例本身就未覆蓋完全的情況。這種情況下,有可能雖然系統(tǒng)具備了較高的測試覆蓋率,但是仍然會有缺陷遺漏的風(fēng)險。
自動化測試的目的
既然以上的指標(biāo)并不能夠完全體現(xiàn)自動化測試的價值,那么我們應(yīng)該如何做呢?我們回歸自動化測試的價值本身,首先自動化測試目前階段并不能完全替代手工測試,而其目的是為了替代一些需要重復(fù)執(zhí)行的手工測試和執(zhí)行一些手工無法執(zhí)行的復(fù)雜而且容易出錯的測試等等。
推薦閱讀:
本文內(nèi)容不用于商業(yè)目的,如涉及知識產(chǎn)權(quán)問題,請權(quán)利人聯(lián)系SPASVO小編(021-60725088-8054),我們將立即處理,馬上刪除。