在項目中,測試人員考核往往成為項目經(jīng)理和測試經(jīng)理的一個難題,怎樣評估測試人員的工作?怎樣定義測試質(zhì)量的差別?本文通過從事測試工作多年中對不同項目的數(shù)據(jù)收集和網(wǎng)上有限資料的參考分析,思考總結(jié)出一套可行的方法,在此提供給大家。
長期以來,如何考核測試人員的工作是富有爭論的話題, 一個理想化的方法是收集測試階段之后項目階段的缺陷來確定系統(tǒng)測試的質(zhì)量。但是,這種方法的不可操作性在于:一是維護(hù)和實施階段的缺陷難于收集;二是缺陷貫穿產(chǎn)品的整個使用周期,無法窮盡,難于將時間段分割開來比較;三是成本過于龐大,時間跨度過長,起不到有效激勵的作用。能不能在項目過程中尋找可以評價測試人員工作的方法呢?這這個思路,本人摸索出一套有效的辦法。
首先聲明的是,第一,這套考核方發(fā)在一個功能點估算超過 10000 個的項目中經(jīng)過實踐,但是對于小項目而言,可能缺少足夠的數(shù)據(jù)和必要性;第二,項目組內(nèi)考核的成功不能意味著在測試部門內(nèi)可以采用類似的考核方法,僅提供一種參考方法,部門考核可能更多考慮投入工程的工作量大小和任務(wù)分配重要性;第三,除了量化指標(biāo)外,測試人員工作態(tài)度、工作能動性和技術(shù)學(xué)習(xí)意愿要通過定性分析來得到。
項目組測試人員考核主要包括工作效率和工作質(zhì)量兩大塊,工作效率用于考察活動,而工作質(zhì)量用于考察產(chǎn)出物質(zhì)量。由于考核基于測試過程進(jìn)行,因此必須在過程結(jié)束之后才能進(jìn)行。當(dāng)然,由于工程是分布提交測試的,每月可以根據(jù)實際情況進(jìn)行月考核,工程結(jié)束后或任務(wù)結(jié)束后在統(tǒng)一考核。按照傳統(tǒng)測試周期,測試過程分為:測試計劃、測試設(shè)計和測試執(zhí)行三個方面進(jìn)行。測試計劃屬于測試經(jīng)理的范疇,在后討論。測試人員主要是測試設(shè)計和測試執(zhí)行,測試經(jīng)理的考核可包含在測試人員的考核內(nèi),當(dāng)然,這部分考核也可以納入項目組中進(jìn)行?己酥笜(biāo)如下:
一 測試設(shè)計
工作效率相關(guān)指標(biāo)
文檔產(chǎn)出率 這項指標(biāo)值主要為測試用例文檔頁數(shù)除于編寫文檔的有效時間獲得。用于考察測試人員測試用例文檔的生產(chǎn)率大小。
公式:∑測試用例文檔頁數(shù)(頁) / ∑編寫測試用例文檔有效時間(小時)
參考指標(biāo):根據(jù)項目匯總得出平均在 1.14 頁 / 小時左右,高于此值為優(yōu),低于此值為差。
用例產(chǎn)出率 這項指標(biāo)值主要為上述指標(biāo)值的補(bǔ)充,用于考察測試人員測試用例產(chǎn)出率大小。測試文檔頁數(shù)可能包含的冗余信息較多,因此要查看文檔中測試用例的多少。方法是測試用例文檔中測試用例編號總和數(shù)除于編寫文檔的有效時間。
公式:∑測試用例數(shù)(個) / ∑編寫測試用例文檔有效時間(小時)
參考指標(biāo):平均 4.21 個用例 / 小時
工作質(zhì)量相關(guān)指標(biāo)
需求覆蓋率 計算測試用例總數(shù)之和除于與之一一對應(yīng)的功能點數(shù)之和,主要查看是否有功能點遺漏測試的情況。
公式:∑測試用例數(shù)(個) / ∑功能點(個)
參考指標(biāo): 100 %。如果連功能指標(biāo)都不能滿足 100 %覆蓋,起碼說明測試不充分。這個指標(biāo)收集起來相當(dāng)困難,如果存在需求跟蹤矩陣或者測試管理工具能把用例與需求一一對應(yīng)容易得多。
注意:有的功能是難于測試的,那么未能覆蓋到的需求要綜合分析,明確是測試人員遺漏?還是無法測試?這需要放入問題跟蹤表中進(jìn)行后續(xù)跟蹤;另外,有的功能點包含的信息較多或者有的用例包含幾個功能點,這時只能把重復(fù)的功能點或重復(fù)用例按一個計,難于區(qū)分的要做說明。
文檔質(zhì)量 測試用例進(jìn)行評審和同行評審發(fā)現(xiàn)的缺陷數(shù),或者將此缺陷數(shù)除于文檔頁數(shù)算出比率。此指標(biāo)考察測試人員文檔編寫的質(zhì)量如何。
公式:∑缺陷數(shù)(評審和同行評審)(個)
∑缺陷數(shù)(評審和同行評審)(個) / ∑測試用例文檔頁數(shù)(頁)
參考指標(biāo):由于評審是發(fā)現(xiàn)的缺陷數(shù)是不固定的,因此,這個指標(biāo)沒有可供參考的數(shù)值。如果缺陷數(shù)大小不能直接用于比較使用缺陷 / 頁方式進(jìn)行橫向?qū)Ρ取?/p>
文檔有效率 使用測試用例文檔進(jìn)行測試時發(fā)現(xiàn)的系統(tǒng)測試缺陷數(shù)除于此文檔頁數(shù)。用于考察文檔是由有效的指導(dǎo)了測試工作。
公式:∑缺陷數(shù)(系統(tǒng)測試)(個) / ∑測試用例文檔頁數(shù)(頁)
參考指標(biāo):平均 2.18 個缺陷 / 頁
注意:如果存在測試人員在測試時創(chuàng)建新文檔用于輔助測試時應(yīng)包含這一部分。
用例有效率 使用測試用例發(fā)現(xiàn)的全部缺陷除于測試用例數(shù)總和。這一指標(biāo)是上一指標(biāo)的補(bǔ)充指標(biāo),用于考察用例質(zhì)量是否較高
公式:∑缺陷數(shù)(系統(tǒng)測試)(個) / ∑測試用例數(shù)(個)
參考指標(biāo):平均 0.59 個缺陷 / 用例,也是說,每執(zhí)行兩個用例才得到 1 個缺陷,各工程有所不同,可以自己實踐一下