软件开发规范_工程_系统测试规程

XXXXXXXXXXXXXXXX有限公司

软件开发规范

系统测试规程

文档名称 版本号 创建人 创建日期 保密分类 系统测试规程 V1.0 EPG 2011年3月2日 普通商密 系统测试规程

文档修订记录

版本号 V1.0 变化状态 C 简要说明 初次创建 变更日期 2011-3-2 变更人 EPG 审批日期 审批人 *变化状态：C = 创立，A = 增加，M = 修改，D = 删除

2

系统测试规程

目 录

1

引言........................................................................................................................................... 4 1.1 目的 .................................................................................................................................. 4 1.2 范围 .................................................................................................................................. 4 1.3 缩写和术语 ...................................................................................................................... 4 2 规程概述 ................................................................................................................................... 4

2.1 简介 .................................................................................................................................. 4 2.2 预测试结构图 .................................................................................................................. 5 2.3 系统测试结构图 .............................................................................................................. 5 2.4 相关过程 .......................................................................................................................... 6 3 职责矩阵 ................................................................................................................................... 7 4 预测试活动描述 ....................................................................................................................... 8

4.1 进行测试准备 ............................................................................................................... 8

4.1.1 活动流程图 ....................................................................................................... 8 4.1.2 活动说明 ........................................................................................................... 8 4.1.3 裁剪指南 ........................................................................................................... 8 4.2 执行预测试 ................................................................................................................... 9

4.2.1 活动流程图 ....................................................................................................... 9 4.2.2 活动说明 ........................................................................................................... 9 4.2.3 裁剪指南 ........................................................................................................... 9

5 系统测试活动描述 ................................................................................................................. 10

5.1 制定测试计划 ............................................................................................................. 10

5.1.1 活动流程图 ..................................................................................................... 10 5.1.2 活动说明 ......................................................................................................... 10 5.1.3 裁剪指南 ......................................................................................................... 12 5.2 设计测试案例 ............................................................................................................. 12

5.2.1 活动流程图 ..................................................................................................... 12 5.2.2 活动说明 ......................................................................................................... 13 5.2.3 裁剪指南 ......................................................................................................... 13 5.3 实施测试 ..................................................................................................................... 14

5.3.1 活动流程图 ..................................................................................................... 14 5.3.2 活动说明 ......................................................................................................... 14 5.3.3 裁剪指南 ......................................................................................................... 15 5.4 进行测试总结 ............................................................................................................. 15

5.4.1 活动流程图 ..................................................................................................... 15 5.4.2 活动说明 ......................................................................................................... 16 5.4.3 裁剪指南 ......................................................................................................... 16

6 测试标准 ................................................................................................................................. 17

1. 系统测试准入标准 ..................................................................................................... 17 2. 系统测试暂停/继续标准 ................................................................................................... 17 3. 系统测试准出标准 ............................................................................................................ 17 附件 ................................................................................................................................................ 19

3

系统测试规程

1 引言

1.1 目的

为明确系统测试工作的操作方式、部门职责及总体流程,提高系统测试工作效率和质量。本文档描述执行系统测试所涉及的角色、活动、工作产品，为执行系统测试有关的活动建立指导规范。

1.2 范围

本规程适用于系统软件项目的系统测试。

1.3 缩写和术语

无

2 规程概述

2.1 简介

预测试是指在系统测试实施前，为加快测试人员对业务需求的理解及对系统的理解，同时为了加快项目整体进度，对软件开发产品实施的功能性测试。

预测试通常包括以下主要活动：  测试准备  预测试执行

系统测试是指为验证跨系统的外联交易接口连通性而实施的测试，主要目的是发现并消除接口实现中存在的报文格式与设计规范不符合的技术性缺陷，检验完整的软件配置项能否和系统正确连接，并满足系统/子系统设计文档的要求，

4

系统测试规程 是对整体系统功能进行全面测试和验证的过程。 系统测试通常包括以下主要活动：  制定测试计划  设计测试案例  实施测试  测试总结

有序地、高质量地执行这些活动会对产品质量产生重要影响。

2.2 预测试结构图

<预测试规程>核心角色测试需求分析活动测试工作量评估指派测试人员测试要点编写测试案例编写测试案例执行缺陷管理《测试案例》关键产品测试经理测试工程师《测试工作量评估表》《测试要点》预测试流程测试经理测试工程师软件开发工程师 图2.2 预测试规程结构图

2.3 系统测试结构图

5 系统测试规程

<系统测试流程>核心角色定义测试范围制定资源计划识别组织结构测试计划活动关键产品测试经理测试工程师制定进度计划和测试策略定义系统测试支持过程管理制定培训计划文档化测试计划《系统测试计划》设计测试案例定义测试顺序测试设计测试经理测试工程师调整测试案例评审测试案例组织进行测试实施阶段培训《系统测试案例》测试版本发布冒烟测试执行测试案例管理缺陷回归测试测试执行测试经理测试工程师环境工程师软件开发工程师测试过程总结测试总结 测试经理测试结果总结审查测试报告《系统测试报告》《系统测试特殊流程审批单》

图2.3 系统测试规程结构图

2.4 相关过程

参考《技术评审规程》获得评审方法有关的内容。 参考《配置管理规程》获得配置管理有关内容。

6

系统测试规程

3 职责矩阵

角色 ► 活动▼ 测试经理测试工程师环境工程师项目经理软件开发工程师业务人员组织配置管理工程师 测试准备    评估测试工作量 分配测试人员 编写测试要点 R R - - S R R R R R R R R - C - S R S S S R S R R - - R R R S S - - - I - S R R R R - S R R S R S S - - - - S S - S S S I - - - - - - - R S S S S - - - - - - - - - S S - S - C - - - S - S S - - - - - - - - - S S C - S - S - - - - - S - S S S S S - - - - - C C C C - S - I S - C C - S S - - C C C - - - - - - - - - - - - S - - - - - - - S S - - - - - 7 预测试    编写测试案例 执行测试案例 缺陷管理 制定测试计划        定义测试范围 制定资源计划 识别组织结构 制定进度计划和测试策略 定义系统测试支持管理过程 制定培训计划 文档化测试计划 设计测试案例      设计测试案例 定义测试顺序 调整测试案例 评审测试案例 组织进行测试实施阶段培训 实施测试      测试版本发布 冒烟测试 执行测试案例 管理缺陷 回归测试 进行测试总结   总结测试过程 总结测试结果

系统测试规程

 审核测试报告 R S - S S S - 其中：R=负责、A=批准、S=支持、I=通知、C=咨询 表3.1 RASIC职责矩阵

4 预测试活动描述

4.1 进行测试准备

4.1.1 活动流程图

<测试准备>输入活动输出1、评估测试工作量q业务需求说明书2、分配测试人员3、编写测试要点q系统测试工作量q测试要点步骤·业务需求说明书已评审·测试资源可用参考准则·测试工作量已评估 图4.1.1测试准备活动流程

4.1.2 活动说明

1、评估测试工作量

需求评审完成后，测试经理根据业务需求说明书，评估测试工作量。 2、分配测试人员

测试经理根据需求的难易程度，分配相应的测试工程师，测试工程师开展后续工作。

3、编写测试要点

测试工程师根据业务需求说明书，开始编写测试要点。

4.1.3 裁剪指南

无

8

系统测试规程

4.2 执行预测试

4.2.1 活动流程图

<预测试执行>输入活动输出1、编写测试案例q测试要点q业务需求说明书2、执行测试案例3、缺陷管理q测试案例步骤·业务需求说明书已评审·测试资源可用参考准则·NA·缺陷管理指南 图4.2.1 执行预测试活动流程

4.2.2 活动说明

1、编写测试案例

测试工程师根据测试要点编写测试案例。

2、执行测试案例

测试工程师根据软件开发人员提交的版本，采用边开发边测试的迭代小循环方式执行测试案例。

4.2.3 裁剪指南

对于非重大项目可不执行。

9

系统测试规程

5 系统测试活动描述

5.1 制定测试计划

5.1.1 活动流程图

<制定测试计划>输入活动1、定义测试范围2、制定资源计划q软件需求说明书q业务需求说明书q系统设计说明书步骤输出3、识别组织结构4、制定进度计划和测试策略5、定义系统测试支持过程管理6、制定培训计划7、文档化测试计划q系统测试计划·技术及用户等文档已评审·测试资源可用参考准则·测试计划已完成q《系统测试计划》模板 图4.2.1 制定系统测试计划活动流程

5.1.2 活动说明

1、定义测试范围

立项之初，项目经理根据分工确定测试经理，测试经理牵头系统测试工作的各项活动、管理测试活动及向项目经理或上级领导报告系统测试的执行状况。

测试经理指派测试分析工程师通过参与前期的项目活动了解系统业务和软件需求，依据业务需求说明书、软件需求说明书、系统设计说明书等工作产品识别测试范围。若存在非功能测试需求，请参考《安全测试指南》和《性能测试指南》。

测试范围主要包括两项内容：本次测试范围、未纳入本次测试范围。  本次测试范围：本次测试编写的测试列表、测试案例涉及的范围。  未纳入本次测试范围：属于业务需求范围，或属于开发技术文档中的范围，但由于种种原因本次不对其编写测试列表和案例，不执行的测试范围。

10

系统测试规程

2、制定资源计划

测试经理识别系统测试对测试资源的需求，包括但不限于：  硬件和网络  操作系统、数据库  测试工具  测试数据  测试人员

测试经理通过和测试支持工程师沟通，确定测试环境申请和环境验收时间；确定测试数据和测试工具。

测试经理根据测试范围对测试工作量进行估算，并与测试部门经理沟通，确定测试人员及进出场时间。

3、识别组织结构

测试经理与相关干系人沟通，确认项目人员组织结构，包括但不限于：  决策组组长及决策组成员  软件开发工程师

 测试支持工程师，包括：测试部门配置管理员、环境支持人员、工具支持人员等

 测试分析工程师，测试执行工程师  业务人员

4、制定进度计划和测试策略

测试经理根据工作量估算结果，人员进出场安排，整个项目计划和资源状况，进行任务分解，制定里程碑，编写测试总体进度计划。

测试经理根据测试总体进度计划，制定测试策略，应包含测试效率相关策略、测试质量相关策略。

5、定义系统测试支持过程管理

测试经理经过与项目经理和软件开发工程师的沟通，制定风险管理过程、沟

11

系统测试规程

通管理过程和问题管理过程。将上述管理过程通知到所有干系人。

6、制定培训计划

测试经理识别测试组技能需求，根据实际情况，列出培训内容和培训计划。

7、文档化测试计划

按照测试计划模板，编制《系统测试计划》。

5.1.3 裁剪指南

活动“1、定义测试范围”、活动“2、制定资源计划”、活动“3、识别组织结构”、活动“4、制定进度计划和测试策略”、活动“5、定义系统测试支持过程管理”、活动“6、制定培训计划”、活动“7、文档化测试计划”的相关内容对于小型项目、任务型项目可不执行。

5.2 设计测试案例

5.2.1 活动流程图

<设计测试案例>输入活动输出1、设计测试案例q软件需求说明书q业务需求说明书q系统设计说明书步骤2、定义测试顺序3、调整测试要点及案例4、评审测试案例5、组织进行测试实施阶段培训q系统测试案例q测试案例评审报告·准则·沟通、风险、问题等管理流程已确定缺陷管理流程已培训到所有干系人.N/A参考q《系统测试案例》模板

图4.3.1 设计测试案例活动流程

12

系统测试规程

5.2.2 活动说明

1、设计测试案例

测试工程师根据测试要点编写《系统测试案例》。

2、定义测试顺序

测试工程师根据业务流程制定测试案例执行顺序，此活动需在以下三种业务被包含时执行：

 针对行外系统联调项目，根据联调时间表制定案例执行顺序；  针对基金、理财产品特殊性，制定案例执行顺序和批处理顺序；  针对特殊交易，如年终报表、月报表等，制定案例执行顺序。

3、调整测试案例

需要时，测试工程师根据需求和设计变更有关文件，修订《系统测试案例》。

4、评审测试案例

测试经理组织相关干系人进行测试案例评审，或根据项目情况进行案例审查，会议形式的测试案例评审形成《系统测试案例评审报告》。

关于评审的步骤和方法，请参考《技术评审规程》。

5、组织进行测试实施阶段培训

测试经理根据测试培训计划，识别测试设计阶段培训需求，在业务人员协助下组织实施培训。

5.2.3 裁剪指南

无

13

系统测试规程

5.3 实施测试

5.3.1 活动流程图

<实施测试>输入活动输出1、测试版本发布q系统测试计划q系统测试案例q系统测试案例评审报告2、冒烟测试3、执行测试案例4、管理缺陷5、回归测试·案例设计已评审·执行正式测试前，冒烟测试需通过·待测产品相关文档已提交qNA参考准则步骤q《缺陷管理指南》

图4.4.1实施测试活动流程

5.3.2 活动说明

1、测试版本发布

开发阶段测试结束后, 项目经理发起测试版本发布流程，环境工程师部署测试版本到测试环境。

2、冒烟测试

冒烟测试是系统测试的首个阶段，测试对象是每一个需要正式测试的软件版本，目的是确认软件基本功能正常，系统各主流程功能均能正常实现，保证测试版本的可测试性。

（1）开发部门提供集成测试报告。测试工程师接到集成测试报告，并在测试版本部署完成后，开展冒烟测试。

（2）新建系统项目或改造类重大及重要项目需开展冒烟测试。冒烟测试通过标准为测试案例通过率大于（含）90%。

（3）未通过冒烟测试的项目，系统测试进入暂停阶段，直到再次执行冒烟测试并达到通过标准，方可进入下一环节。

14

系统测试规程

3、执行测试案例

（1）在系统冒烟测试通过后，测试工程师按系统测试计划开展相关测试工作。

（2）测试工程师监控系统测试工作的状态，包括测试进度、测试风险、测试问题解决情况、测试案例执行情况等，并对影响测试工作的相关风险组织分析，提出改进措施，及时安排落实相关事项。

4、回归测试

回归测试是指修改了旧代码后，重新进行测试以确认修改没有引入新的错误或导致其他代码产生错误，是系统测试的一个组成部分。

在全面测试执行完成之后，测试部门安排对项目开展回归测试。新建系统项目或改造类中型（含）以上项目均需开展回归测试，如因时间、进度等特殊原因无法开展回归测试的项目，需经测试部门审批。

5.3.3 裁剪指南

无

5.4 进行测试总结

5.4.1 活动流程图

<进行测试总结>输入活动输出1、总结测试过程q 系统测试计划q 系统测试案例2、总结测试结果3、审核测试报告q 系统测试报告q 系统测试特殊流程审批单步骤准则· N/A· 系统测试报告已评审q 《系统测试报告》模板q 《系统测试特殊流程审批单》模板参考 图4.5.1 测试总结活动流程

15

系统测试规程

5.4.2 活动说明

1、测试过程总结

测试经理收集测试过程数据，根据测试报告模板编制《系统测试报告》。《系统测试报告》的内容包括但不限于：

1) 测试过程概况  测试案例执行情况；  测试的实际进度和工作量； 2) 测试结果及缺陷分析  测试需求覆盖率分析；  测试案例覆盖率分析；  缺陷分类解决率分析； 3) 遗留缺陷分析； 4) 测试结论；

《系统测试报告》提交项目经理。

2、测试结果总结

测试经理编制测试结果总结，在《系统测试报告》中文档化，内容包括但不限于：

 测试经验教训  测试改进方案

3、测试报告审核

因外界条件制约，系统测试结果未达到系统测试准出标准，但需进入验收测试环节的项目，经测试部门和开发部门分管领导审批。

5.4.3 裁剪指南

无

16

系统测试规程

6 测试标准

1. 系统测试准入标准

序号 1 2 准入标准 对于实施冒烟测试的项目，冒烟测试通过率高于（含）90% 集成测试报告提交，测试报告中包含案例执行状况和缺陷状况（重要及重大项目适用）

2. 系统测试暂停/继续标准

序号 1 2 3 4 项目暂停，已无测试必要 冒烟测试通过率低于90%（即冒烟测试未通过） 因开发原因导致测试执行偏差率（包括测试计划执行偏差及测试案例通过偏差）高于50% 上一轮测试发现的致命级缺陷、严重级缺陷解决率未达到100%、5 6 7 8 警告级缺陷解决率未达到90%以上，上述条件有一项未满足（经业务人员认可情况除外） 一轮次内缺陷一次修改成功率低于90%，则暂停测试执行 测试环境，测试数据，测试人员等等测试必备条件不再具备或发生变化导致测试不能进行，则暂停测试执行 项目组确定的可以暂停的其他条件 暂停条件 由于程序、环境原因导致测试无法进行 恢复以上的条件并由测试部门审核同意，测试可以继续

3. 系统测试准出标准

序号 1 2 3 4 5 6 开发人员评审） 测试案例执行率达到100%（经业务人员及开发人员认可确因测试环境和测试数据不具备无法测试的案例除外） 致命级缺陷、严重级缺陷级缺陷解决率达到100% 警告级缺陷解决率达到75%以上，且未解决缺陷得到缺陷决策人员认可 建议类缺陷所有未解决缺陷均得到缺陷决策人员认可 测试过程产生的文档完整、可查 准出条件 测试案例的功能覆盖率达到100%（测试方案及案例经过业务及 17

系统测试规程

7 测试报告经过审批，测试报告中包含案例执行状况和缺陷状况

18

系统测试规程

附件

1.1 《软件开发规范_工程_系统测试_模板_系统测试计划》 1.2 《软件开发规范_工程_系统测试_模板_测试案例》 1.3 《软件开发规范_工程_系统测试_模板_系统测试报告》

19