一. 軟件系統(tǒng)評(píng)估的基本概念
1、評(píng)估要素
評(píng)估具有五大要素：評(píng)估主體、評(píng)估對(duì)象、評(píng)估目標(biāo)、評(píng)估手段(準(zhǔn)則、方法、工具)、評(píng)估實(shí)施。
2、評(píng)估要求
評(píng)估應(yīng)具有實(shí)用價(jià)值，這要求評(píng)估的準(zhǔn)則、評(píng)估的方法、評(píng)估的效能指標(biāo)要面向用途，以評(píng)估目標(biāo)為導(dǎo)向，考慮到不同層次評(píng)估主體的不同需求。
3、評(píng)估質(zhì)量
指評(píng)估結(jié)果的可信度衡量，可通過可用性和可靠性來描述，可用性：指評(píng)估結(jié)果的可用性和一定有效性基礎(chǔ)上的評(píng)估效率；可靠性：是指一定可利用性基礎(chǔ)上的評(píng)估結(jié)果的正確性。
4、評(píng)估時(shí)效性
評(píng)估結(jié)果具有時(shí)效性，指應(yīng)從發(fā)展的觀點(diǎn)看待評(píng)估。由于情況條件的變化，認(rèn)識(shí)的深入，評(píng)估結(jié)果有一定的變化，因此，評(píng)估應(yīng)在實(shí)踐中反復(fù)檢驗(yàn)。
5、效能指標(biāo)限定性
效能指標(biāo)是在一定條件下得出的，具有一定的適應(yīng)范圍，使命任務(wù)和系統(tǒng)的配置不同，其評(píng)估對(duì)象的效能指標(biāo)也不盡相同，效能指標(biāo)值總體構(gòu)成約束條件空間內(nèi)的動(dòng)態(tài)曲線。
二. 軟件系統(tǒng)評(píng)估的分類
為了能夠?qū)�軟件系統(tǒng)作出科學(xué)的評(píng)估，需要綜合考慮軟件系統(tǒng)的各個(gè)方面的特性，對(duì)軟件系統(tǒng)進(jìn)行全方位的評(píng)估，我們根據(jù)軟件系統(tǒng)的性能、效能、經(jīng)濟(jì)性三個(gè)方面，把對(duì)軟件系統(tǒng)的評(píng)估分為三類：
1、經(jīng)濟(jì)性評(píng)估
經(jīng)濟(jì)評(píng)估主要從研制軟件系統(tǒng)的科技投資效益的角度來考慮的。從投資學(xué)角度來講，建設(shè)這樣的軟件系統(tǒng)，將花費(fèi)多少費(fèi)用，是否符合需求方的支撐能力？在追求系統(tǒng)高效能的同時(shí)，投資費(fèi)用卻要受到限制，不能超出需求方的經(jīng)濟(jì)水平，故只能采取折中的辦法。在投資前對(duì)多個(gè)被選方案分別進(jìn)行經(jīng)濟(jì)性能評(píng)估，然后由決策者從中選擇認(rèn)為是為可行的一種。經(jīng)濟(jì)性評(píng)估的主要內(nèi)容是費(fèi)用預(yù)測(cè)。
2、效能評(píng)估
系統(tǒng)效能，是預(yù)期一個(gè)系統(tǒng)滿足一組特定任務(wù)的程度的量度。它是系統(tǒng)的綜合性能的反映，是系統(tǒng)的整體屬性。效能評(píng)估，是要對(duì)系統(tǒng)進(jìn)行綜合分析，把系統(tǒng)的各項(xiàng)性能與任務(wù)要求綜合比較，終得到表示系統(tǒng)的優(yōu)劣程度的結(jié)果。
軟件系統(tǒng)的效能，可以細(xì)分為軟件系統(tǒng)的自身效能和應(yīng)用效能。自身效能是軟件系統(tǒng)本身固有的性能，它體現(xiàn)了軟件系統(tǒng)本身的完備性；應(yīng)用效能是軟件系統(tǒng)在應(yīng)用過程中的體現(xiàn)的效能，是對(duì)社會(huì)的貢獻(xiàn)。
3、性能評(píng)估
系統(tǒng)性能評(píng)估是對(duì)系統(tǒng)的單項(xiàng)指標(biāo)的評(píng)估，與效能相比，系統(tǒng)性能是的，針對(duì)于產(chǎn)品。而效能是比較抽象的，針對(duì)于用戶的。對(duì)于復(fù)雜的軟件系統(tǒng)，系統(tǒng)的性能指標(biāo)包擴(kuò)很多內(nèi)容，有關(guān)文獻(xiàn)把其分為三個(gè)層次：
第一，用戶層次；
第二，系統(tǒng)負(fù)責(zé)人層次；
第三，子系統(tǒng)設(shè)計(jì)者層次；
不同層次的工作人員，對(duì)系統(tǒng)性能指標(biāo)的側(cè)重程度是不一樣的。
三. 軟件系統(tǒng)評(píng)價(jià)的主要任務(wù)、應(yīng)掌握的原則、注意的問題
1、評(píng)價(jià)的主要任務(wù)有以下方面：
分析論證軟件系統(tǒng)的組成規(guī)模和方案優(yōu)劣
檢驗(yàn)軟件系統(tǒng)的完備性、一致性和正確性
論證軟件系統(tǒng)內(nèi)部要素的相互關(guān)系和對(duì)系統(tǒng)總體效能的影響
軟件系統(tǒng)結(jié)構(gòu)合理性分析
軟件系統(tǒng)效能指標(biāo)的靈敏度分析
2、應(yīng)掌握的原則和觀點(diǎn)
系統(tǒng)的觀點(diǎn)
軟件系統(tǒng)的效能不是系統(tǒng)各個(gè)子系統(tǒng)效能的簡(jiǎn)單總和而是有機(jī)綜合
滿意的觀點(diǎn)
軟件系統(tǒng)是一個(gè)復(fù)雜的信息系統(tǒng)，嚴(yán)格數(shù)學(xué)意義上的系統(tǒng)優(yōu)概念是不存在的，只能求得滿意的系統(tǒng)和可行的解
目標(biāo)和準(zhǔn)則的觀點(diǎn)
系統(tǒng)的優(yōu)劣是相對(duì)目標(biāo)和準(zhǔn)則而言的
3、要注意的問題：
所闡述的問題是否為實(shí)際性的問題
評(píng)估過程中所作假定的合理性問題
效能度量與任務(wù)目標(biāo)的相稱性問題
評(píng)估方案的合理性問題
評(píng)估模型正確性及敏感性問題
評(píng)估的可信度問題
四. 軟件系統(tǒng)評(píng)估存在的問題
對(duì)軟件系統(tǒng)評(píng)估理論和研究現(xiàn)狀的認(rèn)識(shí)是我們研究的起點(diǎn)，從中可以確定提
高的方向，目前對(duì)軟件系統(tǒng)的評(píng)估普遍存在以下幾個(gè)方面的問題：
1、多元化的評(píng)估標(biāo)準(zhǔn)
這是指評(píng)估的觀點(diǎn)不一致，標(biāo)準(zhǔn)不統(tǒng)一，各種評(píng)估結(jié)果之間缺乏對(duì)比性。這種非制度化、非標(biāo)準(zhǔn)化、非規(guī)范化的狀態(tài)造成了評(píng)估權(quán)威性的失落，使得相當(dāng)多的人對(duì)評(píng)估抱有一種“怎么都行”的態(tài)度。
2、效能指標(biāo)的無限定性
這是指效能指標(biāo)或者不與使命任務(wù)相聯(lián)系，或者不和具體的應(yīng)用環(huán)境相依存，脫離了約束條件而抽象存在。這種指標(biāo)對(duì)于指導(dǎo)具體使用是空泛無力的。
3、向技術(shù)指標(biāo)傾斜存
這是用若干技術(shù)指標(biāo)構(gòu)造效能指標(biāo)，甚至直接用用技術(shù)指標(biāo)代替效能指標(biāo)的做法，即把效能指標(biāo)建立在技術(shù)指標(biāo)之上。這樣的評(píng)估要么不能綜合地反映系統(tǒng)效能，要么不能可靠地反映出復(fù)雜多變的系統(tǒng)行為效果。
4、評(píng)估過程的不可重復(fù)性
如果評(píng)估過程不具有可重復(fù)性，會(huì)使評(píng)估結(jié)果失去必然性。
目前的評(píng)估方法和模型紛繁不一，其中影響較大的有SEA方法、系統(tǒng)動(dòng)力學(xué)方法、Petri分析法、試驗(yàn)床法、影響圖方法、步驟化指控評(píng)估結(jié)構(gòu)模型和層次分析法等方法和模型，這些方法和模型以評(píng)價(jià)目的為中心，從不同的角度探討了軟件系統(tǒng)的評(píng)價(jià)問題，在實(shí)際的應(yīng)用中得到了許多的積極成果，但也同時(shí)暴露出了需要繼續(xù)完善和進(jìn)一步發(fā)展的地方。因此，我們有必要對(duì)對(duì)這種理論現(xiàn)狀進(jìn)行分析研究，指明一些問題，在評(píng)估的思想和方法上闡明自己的觀點(diǎn)。
五. 軟件系統(tǒng)評(píng)估的步驟
通常的軟件系統(tǒng)評(píng)估由七個(gè)步驟組成，即：?jiǎn)栴}定義、確定系統(tǒng)邊界、過程定義、靜態(tài)與動(dòng)態(tài)集成、評(píng)估指標(biāo)確定、數(shù)據(jù)產(chǎn)生、指標(biāo)綜合。
1、 問題定義（Problem Formulation）：
是針對(duì)特定的問題提出決策者的需求和目標(biāo)。這一步驟的輸出是對(duì)問題的一個(gè)更精確的說明和描述，而且這一說明和描述可以翻譯成系統(tǒng)要達(dá)到的目標(biāo)。這個(gè)目標(biāo)又應(yīng)進(jìn)一步具體化為系統(tǒng)的實(shí)際目標(biāo)而且是可操作的。在這一步驟中，評(píng)價(jià)過程中涉及到許多的概念、想定及其它假定等。
2、 確定系統(tǒng)邊界（System Bounding）：
這一步驟是確定與問題有關(guān)的各種要素，包括：
物理實(shí)體（設(shè)備、軟件、人員等）；
結(jié)構(gòu)（組織、應(yīng)用環(huán)境、步驟、過程、協(xié)議、信息流和模式等）；
系統(tǒng)的功能說明；
邊界定義：子系統(tǒng)、系統(tǒng)、環(huán)境等。
3、 過程定義（Process Definition）：
這一步驟是在給定系統(tǒng)設(shè)置，運(yùn)行環(huán)境想定和任務(wù)的情況下，來定義完成任務(wù)所需的各種過程，如信息收集過程、數(shù)據(jù)處理過程和通信過程等。
4、 動(dòng)態(tài)與靜態(tài)集成（Integration of Statics and Dynamics）：
這一步驟的作用是把數(shù)據(jù)流、信息流以及過程功能與系統(tǒng)組織結(jié)構(gòu)聯(lián)系起來，同時(shí)將系統(tǒng)中的物理實(shí)體也與上述過程功能聯(lián)系起來。這里動(dòng)態(tài)與靜態(tài)分別表示不同的系統(tǒng)框架。靜態(tài)表示系統(tǒng)的物理實(shí)體及其結(jié)構(gòu)，這是因?yàn)榻Y(jié)構(gòu)變化隨時(shí)間變化是很慢的。而動(dòng)態(tài)則可以與過程實(shí)現(xiàn)的功能相比較，這些功能變化很快，通常過程模型中的動(dòng)態(tài)流可以用Petri網(wǎng)、數(shù)據(jù)結(jié)構(gòu)圖（DSD）或數(shù)據(jù)流圖（DFD）表示。
5、 度量指標(biāo)的確定（Specification of measures）：
確定系統(tǒng)的度量指標(biāo)或準(zhǔn)則，貫穿于前述四個(gè)步驟。
6、 數(shù)據(jù)產(chǎn)生步驟（Data Generation）：
本步驟是通過演習(xí)、仿真、試驗(yàn)或主觀判斷來完成軟件系統(tǒng)評(píng)價(jià)數(shù)據(jù)的收集工作。對(duì)于某一特定問題和運(yùn)行環(huán)境想定，關(guān)于步驟5中說明的各種指標(biāo)的數(shù)據(jù)可以直接獲得，也可間接推出的。
7、 度量指標(biāo)的綜合（Aggregation of measures）：
這是一個(gè)指標(biāo)的綜合評(píng)價(jià)和解析步驟。這一步驟的分析結(jié)果是直接用來回答在問題定義（步驟1）中由決策者提出的問題。通常，該步驟可以用來評(píng)價(jià)軟件系統(tǒng)方案的改進(jìn)程度、多方案的優(yōu)劣程度等。
小結(jié)
本文在總結(jié)目前有關(guān)軟件系統(tǒng)效能評(píng)估研究成果的基礎(chǔ)上，討論了軟件系統(tǒng)的評(píng)估理論問題，提出了軟件系統(tǒng)評(píng)估的基本概念、分類、主要任務(wù)、應(yīng)掌握的原則、注意的問題、存在的問題以及評(píng)估的步驟。這將有助于項(xiàng)目管理人員對(duì)軟件系統(tǒng)的評(píng)估工作。當(dāng)然，由于軟件系統(tǒng)的基礎(chǔ)理論體系還處于發(fā)展階段，作為軟件系統(tǒng)基礎(chǔ)理論一部分的評(píng)價(jià)技術(shù)和理論也還有待研究者進(jìn)一步探索，因此，發(fā)展和完善軟件系統(tǒng)評(píng)價(jià)技術(shù)和理論依然是需要我們繼續(xù)進(jìn)行探索的。
參考書目：
1.《安全軟科學(xué)的理論與應(yīng)用》 曲和鼎，王衡毅 天津科技翻譯出版社
2.《現(xiàn)代安全管理方法》 韓軍，劉占杰等 機(jī)械工業(yè)出版社
3.《MPA全集》 吳柏鴻等 企業(yè)管理出版社