性能測(cè)試指標(biāo)擬定參考

性能測(cè)試指標(biāo)

要點(diǎn)一：獲取用戶數(shù)信息

1）調(diào)查系統(tǒng)當(dāng)前和未來(lái)使用的用戶數(shù)

系統(tǒng)用戶數(shù)=本系統(tǒng)目前注冊(cè)的用戶數(shù)，注冊(cè)用戶數(shù)并不代表他會(huì)每天并且無(wú)時(shí)無(wú)刻的使用著。

在線用戶數(shù)=同時(shí)在線對(duì)系統(tǒng)進(jìn)行操作的用戶數(shù)量（相當(dāng)于混合場(chǎng)景）

并發(fā)用戶數(shù)=同時(shí)在線并且同時(shí)操作同一個(gè)功能（單場(chǎng)景添加集合點(diǎn)）

估算未來(lái)一到五年使用此用戶的數(shù)量，可以根據(jù)一些日志數(shù)據(jù)估算出來(lái)的。

2）調(diào)查系統(tǒng)當(dāng)前和未來(lái)的每日、月活躍用戶數(shù)

當(dāng)前活躍用戶數(shù)，即某天大概有多少用戶使用本系統(tǒng)：那么這部分?jǐn)?shù)據(jù)一說(shuō)來(lái)也就是當(dāng)前真正對(duì)系統(tǒng)構(gòu)成壓力的數(shù)量。

要點(diǎn)二：獲取業(yè)務(wù)數(shù)據(jù)量

1）調(diào)查當(dāng)前和未來(lái)背景數(shù)據(jù)量

因?yàn)閺?00條數(shù)據(jù)中查10條也許很快，但是未來(lái)數(shù)據(jù)量變成100w那你懂得...

2）調(diào)查當(dāng)前和未來(lái)業(yè)務(wù)每天使用的總筆數(shù)

每個(gè)用戶每天可能下多少筆單，平均需要多少次來(lái)執(zhí)行這個(gè)操作？那么根據(jù)用戶數(shù)，我們就可以確定每天下單的筆數(shù)。如50人，平均每人每天下10次，每次下100筆，那么總筆數(shù)就是50*10*100=50000筆。注意此數(shù)據(jù)根據(jù)TPS換算后，我們可以換算出系統(tǒng)的業(yè)務(wù)總處理量是否能達(dá)到這個(gè)數(shù)據(jù)，這也是一個(gè)很重要的指標(biāo)。

3）調(diào)查當(dāng)前和未來(lái)高峰時(shí)業(yè)務(wù)的總筆數(shù)

即上面所描述的特殊情況，這也是必須要考慮，并且拿到的數(shù)據(jù)。

要點(diǎn)三：場(chǎng)景業(yè)務(wù)的調(diào)查

1）系統(tǒng)關(guān)鍵、核心的業(yè)務(wù)

從系統(tǒng)亮點(diǎn)出發(fā)，以主要的業(yè)務(wù)邏輯點(diǎn)為第一核心：這些功能對(duì)系統(tǒng)或公司來(lái)說(shuō)往往具有舉足輕重的地位，無(wú)論怎樣都必須要優(yōu)先執(zhí)行滿足這以功能的性能測(cè)試

2）高訪問量的功能，經(jīng)常承受壓力的功能點(diǎn)

系統(tǒng)中表現(xiàn)在系統(tǒng)關(guān)鍵、核心業(yè)務(wù)前面必須要經(jīng)過的地方：比如對(duì)于百度搜索來(lái)說(shuō)，其核心業(yè)務(wù)是搜索功能，但是首先要面對(duì)的其高訪問量對(duì)是搜索輸入框加載的首頁(yè)，百度首頁(yè)加載即高訪問量的請(qǐng)求

3）業(yè)務(wù)復(fù)雜度高

往往說(shuō)來(lái)業(yè)務(wù)邏輯復(fù)雜度的都具備1、2點(diǎn)的要素，可能其功能使用的人數(shù)較少但是對(duì)系統(tǒng)有很嚴(yán)重影響：這些功能由于其業(yè)務(wù)邏輯具有的復(fù)雜度，往往出錯(cuò)的可能性也比較高，所以這些功能也是必須要進(jìn)行測(cè)試的。

要點(diǎn)四、與性能指標(biāo)指標(biāo)相關(guān)的調(diào)查

1、調(diào)查每秒事務(wù)數(shù)(TPS)

這是衡量系統(tǒng)處理能力的一個(gè)重要指標(biāo)，同時(shí)這個(gè)指標(biāo)在一定程序也關(guān)系到業(yè)務(wù)數(shù)量是否能夠及時(shí)完成，所以需要獲得。

估算方式一：BS類可以參考以下指標(biāo)估算：Vuser*TRequest/RPS=TPS（注意1Requset的含義為Resource=0的請(qǐng)求）。Resource=0的含義其實(shí)就是保證此次請(qǐng)求能夠真正到達(dá)服務(wù)器，去掉那些本地可以緩存的東西。

估算方式二：CS類可以參考每小時(shí)的業(yè)務(wù)數(shù)/3600s，這是沒辦法的辦法。

估算方式三：API類往往要求是Vuser*1API=TPS，由于公司的API都是提供給機(jī)構(gòu)用戶的，所以API要求往往比較高，所以需要保證其遠(yuǎn)算得非常快。

注：Vuser：虛擬用戶數(shù)；TRequest：事務(wù)中的請(qǐng)求數(shù)；RPS：平均響應(yīng)時(shí)間。

2、調(diào)查90％（或95％）響應(yīng)時(shí)間

只看平均時(shí)間是不太科學(xué)的，對(duì)于我們的系統(tǒng)來(lái)說(shuō)需要保證絕大多數(shù)的用戶其響應(yīng)時(shí)間都是非?？斓模晕覀儚?0％或95％用戶響應(yīng)時(shí)間為指標(biāo)的標(biāo)準(zhǔn)。如果拿不到，那么我們?nèi)钥梢怨浪悖?/span>

估算方式一：BS類，按通用的標(biāo)準(zhǔn)2一5一8的標(biāo)準(zhǔn)來(lái)進(jìn)行。不同業(yè)務(wù)，不同客戶類型要求不同，但對(duì)于我們的產(chǎn)品來(lái)說(shuō)絕大多數(shù)是不能超過5s

估算方式二：CS類，根據(jù)處理的數(shù)據(jù)量其時(shí)間不同，但一般說(shuō)來(lái)是不能超過15s的。

估算方式三：API類，從行業(yè)的角度來(lái)說(shuō)，一般要求是毫秒級(jí)（<500ms)

3、平均響應(yīng)時(shí)間和TPS的波動(dòng)率

這是對(duì)響應(yīng)時(shí)間的補(bǔ)充，要求其系統(tǒng)響應(yīng)時(shí)間應(yīng)盡量穩(wěn)定，TPS的波動(dòng)率受測(cè)試方法和思考、間隔時(shí)間的影響。可參考以下的計(jì)算方式：T=（TPS標(biāo)準(zhǔn)差/TPS平均值）*100％一般說(shuō)來(lái)小于10％T= (RPS標(biāo)準(zhǔn)差/RPS平均值）*100％一般說(shuō)來(lái)小于10%

第一類前端性能測(cè)試（客戶端）

B/S：HttpWatch、FireBug、YSlow、JS內(nèi)存泄漏、大數(shù)據(jù)量下的功能測(cè)試、瀏覽器長(zhǎng)時(shí)間運(yùn)行的穩(wěn)定性測(cè)試等。

C/S：內(nèi)存泄漏、CPU使用、顯卡使用等：

網(wǎng)絡(luò)性能測(cè)試：利用工具分析網(wǎng)絡(luò)傳輸以及延時(shí)等，為寬帶拓展做鋪墊。

第二類服務(wù)器端性能測(cè)試

性能測(cè)試，是指以性能預(yù)期目標(biāo)為前提，對(duì)系統(tǒng)不斷施加壓力，驗(yàn)證系統(tǒng)在資源可接受范圍內(nèi)，是否能達(dá)到性能預(yù)期。（即：系統(tǒng)是否滿足預(yù)定的性能目標(biāo)？）

負(fù)載測(cè)試，是指對(duì)系統(tǒng)不斷地增加壓力或增加一定壓力下的持續(xù)時(shí)間，直到系統(tǒng)的某項(xiàng)或多項(xiàng)性能指標(biāo)達(dá)到臨界值，例如某種資源已經(jīng)達(dá)到飽和狀態(tài)等：（即，最大并發(fā)數(shù)是多少？在什么時(shí)候，響應(yīng)時(shí)間不可接受”系統(tǒng)的服務(wù)器資源瓶頸是什么？）

穩(wěn)定性測(cè)試，是指被測(cè)試系統(tǒng)在特定硬件、軟件、網(wǎng)絡(luò)環(huán)境條件下，給系統(tǒng)加載一定業(yè)務(wù)壓力，使系統(tǒng)運(yùn)行一段較長(zhǎng)時(shí)間，以此檢測(cè)系統(tǒng)是否穩(wěn)定，一般穩(wěn)定性測(cè)試時(shí)間為n*12小時(shí)。（即系統(tǒng)在一般壓力條件下，是否可以提供連接不斷的優(yōu)質(zhì)服務(wù)？系統(tǒng)在長(zhǎng)時(shí)間最大壓力條件下，是否崩潰？）

4、測(cè)試前環(huán)境的檢查收集

環(huán)境檢查包括服務(wù)器的架構(gòu)以及部署方案，服務(wù)器的配置、中間件的參數(shù)配置，以及需求、功能測(cè)試報(bào)告、API調(diào)用方式等。服務(wù)器的配置需要收集生產(chǎn)環(huán)境與實(shí)測(cè)試環(huán)境的服務(wù)器的配置。主要收集：

CPU：型號(hào)、核心、速度、核數(shù)、倍頻、總線速度，己耗費(fèi)平均CPU

內(nèi)存：總物理內(nèi)存、所在磁盤的虛擬內(nèi)存、可用物理內(nèi)存

磁盤：轉(zhuǎn)速（如是舊有電腦，在執(zhí)行前最好磁盤碎片整理一下）

網(wǎng)卡：一般是100Mb，專用網(wǎng)絡(luò)可能在1000MB以上。

業(yè)務(wù)——跟據(jù)客戶實(shí)際使用情況，劃分業(yè)務(wù)比例：某個(gè)功能在一段時(shí)間內(nèi)的使用頻率：每天使用此功能大概有多少次？在多長(zhǎng)時(shí)間內(nèi)會(huì)操作此功能？如設(shè)計(jì)腳本用例為：登錄>進(jìn)入單表查詢（70％）>通過目錄導(dǎo)航（80％）>檢索>下載（80％），根據(jù)功能的重要性，這個(gè)用例應(yīng)該首先要測(cè)試單場(chǎng)景，并且并發(fā)數(shù)也可能比其它的功能大一些，所以需要設(shè)置集合點(diǎn)。其它業(yè)務(wù)相對(duì)于使用得少一些的則可以將其與上面的用例組合成混合場(chǎng)景：其它場(chǎng)景也可以繼續(xù)細(xì)分。

思考時(shí)間——觀察、推測(cè)用戶操作這一個(gè)過程的時(shí)間以一個(gè)正常用戶使用系統(tǒng)業(yè)務(wù)的角色，錄制腳本隨機(jī)產(chǎn)生，隨后根據(jù)實(shí)際情況調(diào)整其值：在運(yùn)行場(chǎng)景的時(shí)候，以50％至120％的比例隨機(jī)使用思考時(shí)間

5.持續(xù)時(shí)間用戶操作此功能的時(shí)間段，采用二八定理，取80％的場(chǎng)景時(shí)間：注意用戶操作此功能時(shí)間段，如果是業(yè)務(wù)類軟件，中午的時(shí)間要去掉：

6.加載和退出方式一般采用緩慢登錄的方式，以便觀察當(dāng)用戶數(shù)降低時(shí)其服務(wù)器的資源情況。但登錄和退出功能除外，更多的登錄和退出是集中在一個(gè)時(shí)間段。

標(biāo)簽：性能測(cè)試，性能測(cè)試指標(biāo)