2023年7月28日发(作者：)

2020年第41卷 第11期软 件SOFTWARE2020Vol. 41, No.11基金项目论文基于软件性能的系统测试（1.南华大学软件学院，湖南衡阳 421001;2.南华大学机械学院，湖南衡阳 421001）的总体大纲及其具体要求。然后讨论了软件系统测试的组织管控，具体分析了系统测试的组织分层及其流程管控，分析了测试的三层组织，给出了流程管控的一般形式图。最后对软件系统测试的实施进行了探讨，其中对实施系统测试的四个主要方面进行了深入具体分析。其中，对正常和全负荷性能测试给出了主要测试项目和内容；对兼容性测试的实施重点分析探讨了数据共还对并发竞争负载测试和容量测试作了具体分析。关键词：软件测试；系统测试；软件性能中图分类号：TP311.56

享兼容性；对硬件配套性测试的实施给出了测试项目和测试方法；对极端条件和负荷加强测试，除给出了测试项目和内容外，文献标识码：A DOI：10.3969/.1003-6970.2020.11.001摘　要：首先概述了软件系统测试的背景和国内系统测试存在的不足，然后基于实际调查和经验总结初步提出了系统测试谭李孟清1 张莹2 王玉林2本文著录格式：谭李孟清，张莹，王玉林.基于软件性能的系统测试[J].软件，2020，41（11）：01-05+41System Testing Based on Software Performance(1. Software School, University of South China, Hengyang Hunan 421001;TANLI Mengqing1,ZHANG Ying2,WANG Yulin22. Mechanical Engineering School, University of South China, Hengyang Hunan 421001)fi rstly. The compendium of system testing and its brief requirements are primarily proposed based on scientifi c

【Abstract】：In this paper, the background of system testing and insufficiency in China are demonstrated

summarization and practical investigation. Then, the organization of management and control for system testing

is discussed with organization layering and management and control fl ow in detail, in which, three-layer structure

is given and general fl ow-control-graph is put forward. Consequently, the execution of system testing and four key

aspects are discussed in detail. For performance testing under regular and full-load, the main testing items and

testing, the main testing items and testing methods are discussed; for ultimate-condition and enhancement testing,

besides the main testing items and contents, the two aspects including concurrent load testing and capacity testing

are emphasized.【Key words】：software testing;system testing;software performancecontents are proposed; for compatibility testing, data sharing compatibility is mainly analyzed; for confi guration

0引言中得到了深入应用和快速发展，但在实践中也出现了各种各样的缺陷和问题。为保证软件产品的质量，不给国家和民众造成不应有的损失，必须将软件测试作为软件生产必不可少的非常重要的环节。由于软件缺陷业已造工业界的实践者认可[1-3]。但须重视的是，还必须加强基金项目：南华大学基金项目随着计算机软件技术的发展，软件产品在生产生活软件的系统测试，因为基于性能的系统测试是决定软件产品质量档次的重要手段和提升用户信心的主要措过去出现的软件缺陷和主要原因先做个回顾。施[4-6]，如图1所示。以下基于软件系统测试角度，就（1）缺陷实例1―北京奥运会售票系统出现瘫痪。成的种种损失，软件测试已经为学术界的纵多研究者和2008年北京奥运会售票系统刚开始运行不久，于2007年10月30日上午11时瘫痪。出现此次事故的原因是网络带宽容量超出负荷。此实例说明软件系统在极端条作者简介：谭李孟清（1967―），男，南华大学软件学院博士，研究方向：软件工程、软件测试技术、软件质量保证。第41卷 第11期软 件SOFTWARE件和负荷加强条件下的测试必不可少，同时也说明软件系统没有通过全面的系统测试是不能交互运行的，不能发生问题后再补救测试。12月3日，美国火星探测器在着陆时失踪。故障评估（2）缺陷实例2―美国火星探测器失踪。1999年轻性能现象，本质原因是发展初期必然存在的“能用就行”观念。（3）国内软件存在严重兼容性问题，须加强。实际上，这也是历史的原因引起了国内软件重功能委员会调查其原因时，发现极有可能是着陆时计算机系在做火星探测器的测试工作时，虽然对机械操纵部分和计算机控制系统部分各自进行了小组测试，但没有合起来一起进行系统测试。此实例表明软件本身完成集成测试或确认测试后还必须和硬件及执行机构一起进行系统测试。（3）缺陷实例3―法国Ariane火箭-V型发射失统的数据位意外置位导致触点开关关闭推进器而造成。性。前者主要是指软件自身各版本之间以及和衍生软件之间存在兼容性问题，后者主要是指软件和通用流行操作系统与平台以及其他软件之间存在兼容性问题。因国内系统和平台软件处于发展完善阶段，基于国产操作系统和平台与流行应用软件之间的兼容性问题将存在相当长的一段时间。（4）国内软件存在大量易用性问题，须改进。部的兼容性，另者是软件与其他软件系统/平台的兼容软件兼容性体现在两个方面，一者是软件本身内败。1996年6月4日，法国Ariane火箭-V型在库鲁爆自毁。为此导致欧洲航天局超过70多亿美元的巨大用应进行严格的系统性能测试，不能依靠想象。航天中心首次发射。可是因为计算机系统的整型加速度值产生溢出导致惯性导航系统对火箭控制失效，被逼引损失。这次事故的原因实际上是V型火箭错误地延用IV型火箭的定位软件造成的。此实例说明军用软件重年10月30日美国Lynchburg学院的Thomas R. Nicely在一次实验中用奔腾PC机解决一个除法问题时，记录了一个想不到的结果并得出了错误的结论。最后因特尔为处理这个精度出错的软件缺陷花掉了4亿多美元。此对此要求的极端条件和负荷加强测试必不可少。实例表明精度是一些软件产品不可忽略的要求，因此针（4）缺陷实例4―美国因特尔奔腾处理器错误。1994国内软件不仅在人机界面和视角效果上存在易用性问题，而且在操作上也存在较严重的易用性问题。员，应重视。易用性是一个近来普遍得到关注的软件检测指标，（5）国内缺少技能熟练能从事系统测试的测试人因各个方面的原因和许多条件的限制，国内缺少技能熟练能从事系统测试的测试人员。无论是架构分析师，还是测试工程师，还是一般测试技术员，都必须从技术体系从新技术发展从走向世界等各个方面加快培养。系统测试的意识和过程管控，加快软件测试技术的基础技术研究和应用研究[8-10]。1.1 测试项目的大纲为提升中国软件产品的质量和档次，必须加强软件1 系统测试的主要测试项目

和我国的大国地位是不相称的。就基于软件性能的系统测试来讲，其主要不足[7]有：因国内软件产业起步晚，到二十世纪八九十年代才当前，国内计算机软件的发展取得了不少成绩，但图1 系统测试的意图Fig.1 The intention of system testing（1）国内存在普遍的重开发轻测试问题，应改变。分出来成为独立的开发实体，还根本没有“软件测试”一词。因此，基于历史的原因，普遍的重开发轻测试还继续存在。加强。（2）国内软件产品普遍存在重功能轻性能，希图2 系统测试主要测试项目的大纲Fig.2 The compendium of main testing item of system

testing2谭李孟清 张莹 王玉林：基于软件性能的系统测试行的测试类型。进行系统测试的根本原因是，软件除了容、易用性和特殊情况下也能正常运行等要求。系统测体的管控规定。软件的系统测试是一种集成测试和确认测试之后进2.2 系统测试的流程管控要实现规定的功能以外，还必须满足规定的安全、兼试之测试项目的大纲见图2，各个软件开发公司可根据自身软件产品和用户群的具体实际进行细化，并作出具1.2对执行测试项目的具体要求实际情况进行安排。因为对大多数时间紧任务重的软件项目，集成测试和系统测试是测试的重点。因此，对此类软件项目，在进行系统测试时，必须采取措施改进测试，此条目测试通过之后，再进行其他测试项目[12-13]。试流程提升效率。一般可先进行正常和全负荷性能测安全性测试→兼容性测试→硬件配套性测试→极端条件系统测试的一般顺序是：正常和全负荷性能测试→系统测试一般应进行流程管控，并按被测试软件的况灵活处理。对普通软件的系统测试，有的测试项目可以不做，或做部分项目，并注意以下的协调处置。试，失效性测试内容放入极端条件和负荷加强测试。件进行要求[11]。测试项目的安排注意不要千篇一律，应结合实际情和负荷加强测试→恢复测试→易用性测试，在每种测试的转换之间应设置必要的进出入条件。在实际执行中注意灵活处理，应注意：（1）对无硬件配套要求的软件可不做硬件配套性测试。（2）对已有副本保存的工程软件不安排易用性测试。可不做重复备份恢复测试。（3）对级别低的小软件也可

（1）正常和全负荷性能测试中，只进行通过性测（2）安全性测试可按软件的实际等级要求进行测试，例如一般CAD软件的安全性没必要按军用航天软试，以管控成本和提升有效性。（3）兼容性测试和硬件配套测试应合理安排外包测（4）易用性测试可依据安装用户或用户群进行测试。（5）极端条件和负荷加强测试是国防或军用软件必系统测试所需的测试要求和条件比其他的测试类型须做的测试项目，但应依据用户实际情况进行增减。2系统测试的组织与管控要严格，也是技术性最强的测试类型，一般还要搭建测升工作效率，保证任务的实施完成。2.1系统测试的组织3 系统测试的实施图4 系统测试的流程管控Fig.4 The management and control fl ow of system testing试环境或平台。因此，应有合理的的计划和组织，以提系统测试具有一系列的各种形式的测试项目，通过仅要由测试员进行具体的测试操作，并且还必须由测试工程师搭建测试环境，组织测试数据，有时还得进行测试技术和测试工具的员工培训。以下主要讨论工程软件系统测试实施中的四个方系统测试是所有测试工作中技术性最强的一种，不总结提升，可得出系统测试管控的组织分层，可见图3。其中，系统测试的组织与管控一般可分为三层：组织监督层、监控层和实施操作层。组织监督层确定系统测试的方针与策略，对整个系统测试进行组织监督，提升软面：正常和全负荷性能测试，兼容性测试，硬件配套性测试，极端条件和负荷加强测试。3.1 正常和全负荷性能测试的具体实施件产品质量，持续保持用户信心。监控层以计划、监控和考核等职能方式完成测试计划的制订更新、测试过BUG报告。程的监控以及对测试团队员工进行考核。实施操作层设计更新测试用例、执行具体的测试、完成测试报告和

测试软件在正常和全负荷条件下各个性能指标是否能满软件正常和全负荷性能测试是指用手工或自动方式足规定要求。软件正常和全负荷性能测试的主要测试项目和内容见图5，分三种情况：单功能负载测试，重点个功能或比较复杂庞大的工程软件应做重点功能负载测功能负载测试和主要功能负载测试。对单功能或只有一个重点功能的工程软件只做单功能负载测试。对具有多试和主要功能负载测试，具体可依据软件规模和用户要求来定。各种情况的测试分为响应时间测试和资源占用测试两个部分，其中资源占用测试又包括单机硬件资源和网络系统资源两种，细节划分见图5。正常和全负荷性能测试应在超过最低软硬件配置的图3 系统测试的组织与管控Fig.3 Organization and control of system testing3第41卷 第11期软 件SOFTWARE条件下执行，一般工程软件的基本配置应按被测试软件应根据科学技术的发展和测试条件的改善做更新改进。具体情况来定。软件正常和全负荷性能测试的测试项目

是统一标准的格式。对自身兼容性，应保证各版本的相平台的支持兼容。对他容性，主要是保证和其他应用软据保存格式，对程序代码进行白箱测试―静态审查，看行各种操作，看是否能正常执行。（2）数据转换兼容性。互兼容和应用软件的交互兼容，并能保证和操作系统/件的交互兼容，并保证和操作系统/平台的支持兼容。数据存储兼容性主要进行以下测试：（a）针对每一种数据，打开查看，看是否是相应的格式。如有必要还需进数据转换兼容性包括被测试软件各版本之间、和其是否符合相应的标准要求。（b）对每一种格式保存的数图5 正常和全负荷性能测试的主要测试项目和内容Fig.5 The main testing items and content of performance

testing under regular and full-load他应用软件之间以及操作系统/平台之间的数据转换兼容。数据转换兼容性一般分为输入兼容性和输出兼容测试，检查输入的数据是否转换为正确的新格式。输出检查输出的数据是否转换为正确的新格式。3.3 硬件配套性测试的具体要求3.2 兼容性测试的具体要求性。输入兼容性的测试应针对软件每一种兼容格式进行兼容性的测试也应针对软件每一种兼容格式进行测试，硬件配套性测试是指使用人工或自动手段测试软硬件配套性测试的测试项目一般有独立输入设备、和其他软件或系统/平台能否正确地协作和共享信息并软件兼容性测试是指使用人工或自动手段测试软件满足规定要求的过程。软件兼容性测试的主要测试项目个部分。自身兼容性是指被测试软件不同版本之间及其和自身软件簇同种软件之间的兼容，他容性是指被测试软件和其他软件或系统/平台之间的兼容。被测试软件性测试。在自身兼容性测试中，自身应用兼容性和自身到条件情况下采用仿真测试，并经过审查。

和内容见图6，主要有自身兼容性测试和他容性测试两件的配套硬件或执行机构是否满足规定要求的过程。（1）硬件配套性测试的测试项目。是独立单版本可只做他容性测试，不然必须做自身兼容支持兼容性依据被测试软件具体情况执行。软件兼容性测试的基本方式主要运用实际测试，在条件困难或达不独立输出设备、输入输出设备和执行机构四个部分，更据科学技术和配套硬件的发展进行改善和更新。具体的划分可见图7。硬件配套性测试的测试项目应根图6 兼容性测试的主要测试项目和内容Fig.6 The main testing items and content of compatibility

testing兼容性是两个重点。其中数据共享兼容性可分为两种情况―数据存储兼容性和数据转换兼容性。此处的“数据”是泛指，主要有一般数据（文本）、图片类数据和声像类数据。（1）数据存储兼容性。数据存储兼容性是指被测试软件保存的数据应保证4在工程软件的测试中，数据共享兼容性和交互操作图7 硬件配套性测试的主要测试项目和内容Fig.7 The main testing items and content of confi guration

testing（2）硬件配套性测试的测试方法。测试方法主要有：判定表/Decision Table、因果图/硬件配套性测试大多是一种黑箱测试，可运用的Cause-and-Eff ect Diagram、正交实验法/Orthogonal 谭李孟清 张莹 王玉林：基于软件性能的系统测试Experimental Design、成对测试法/Pair-wise Testing和基本选择测试法/Basic Choice Testing，具体选用哪种应根据实际情况确定。3.4 极端条件和负荷加强测试的具体实施正常运行，主要针对桌面版单机运行软件；网络测试主要是测试软件在网络上以所能承载的最大负荷运行能否统的软件。（3）时空变更极端条件测试的实施要求。保证不出现故障和差错，主要针对网络版运行数据库系对国防或军用软件，必须做时空变更极端条件测图8，主要有本机测试和环境测试两个部分。本机测试又分为静态测试和动态测试两部分，其中静态测试依据硬件和软件分别进行测试。从软件角度的测试中，有两个条目的测试任务最重，一个是并发竞争负荷测试―又测试又一般表现为单个重复重负荷测试和多个重复重负试的特别要求。荷测试。对国防或军用软件，还应有时空变更极端条件测

软件极端条件和负荷加强测试的主要测试项目见试。主要有四个测试项目：（a）考查数据是否能保存完好持久不损坏的测试项目。（b）考查数据输入能否在遇的测试项目。（d）考查软件能否在遇到意外情况后能否和硬件一起尽快转移继续处理的测试项目。4 结果和讨论软件产品的系统测试对软件产品的质量提升和保证叫“压测”，另一个是容量测试。在工程软件中，容量（c）考查整个软件在遇到意外情况后能否独立转移处理到意外情况后能否尽快转移继续灵活处理的测试项目。用户的信心具有决定性意义，并且也是所有测试工作中技术性最强的一种测试类型。因为我国软件的系统测试还缺乏一套科学的界定，作者这里提出一个初步的划分和大概的细则，和大家商榷。在软件系统测试的管控和实施中，应依据具体的实际情况进行安排，有几点要注试的协调。（4）注意外包测试的合理安排。一般地，有安全性测试。（4）兼容性测试。（5）硬件配套性测试。参考文献意：（1）注意国防或军用软件系统测试的加严。（2）注意安全性测试的分级。（3）注意通过性测试和失效性测图8 极端条件和负荷加强测试的主要测试项目和内容Fig.8 The main testing items and content of ulti-mate-condition and enhancement testing五个条目应作为质量保证的重点进行管控：（1）正常和（1）并发竞争负荷/负载测试―“压测”的实施要求。并发竞争负荷/负载测试主要测试被测试软件在极全负荷性能测试。（2）极端条件和负荷加强测试。（3）端并发竞争负荷下的性能表现，是一种失效性测试。在并发竞争负荷/负载测试中，并发用户数指标一般从大于120%全负荷起，递增幅度可取120%全负荷~1000%全及时间间隔进行合理组合。因此，可采取以下的并发竞负荷。并发负载测试工具应有针对性选用，并经过审批。为提升测试的有效性，应对并发用户数和事务数以争负荷/负载测试策略：（a）并发用户数和每个模拟用以类似批处理的方式顺序运行不同并发用户数的模拟用[1] Per ines for conducting and reporting

Software Engineering,2009,14(2): study research in software engineering[J].Empirical

[2] cs in software engineering[M].New

Jersey:Yourdon Press Upper Saddle River,1979.[3] Jeremy ry,James ,Juergen Empirical Framework for Comparing Effectiveness

of Testing and Property-Based Formal Analysis[C]//Program Analysis for Software Tools and al:Lisbon,2005:160-170.论),2017,394(24):40-41+44.工程,2003,33(11):dings of the ACM SIGPLAN-SIGSOFT Work on

[4] 王蕊.软件系统性能评测与性能调优概述[J].信息与电脑(理[5] 陈站华,杨斌.Client/Server结构软件的性能测试[J].无线电[6] 孙婷,卢英明,陈中伟.软件系统性能测试方法及流程规划[J].5户运行的事务数都采用固定值。（b）并发用户数按固定户，每个模拟用户运行的事务数固定。（d）并发用户数同脚本，模拟真实的访问情况。（2）容量测试的实施要求。时间间隔递增，每个模拟用户运行的事务数不限。（c）固定，每个模拟用户运行的事务数不限，以一段时间持续运行脚本，然后手动停止。（e）不同模拟用户运行不容量测试可有两种方式：单机测试和网络测试。单机测试主要是测试软件在本地单机最大负荷条件下能否······

下转第��页袁帅 王天琪 彭微等：便携式充气背心复苏机的单片机控制系统研究况的参数数据进行记录和备份以供查询[5]。背心式的设计可以进行折叠压缩，便于携带或固定存放于人流密集器所传来的放大信号精细，有效的控制带形件下的气囊装置起伏已达到调节按压心脏的力度。扰，通过频率滤波对信号完成QRS波的检测，便于第（2）心电监测：感受心电信号，抑制外界微小干（1）充气背心：快速包裹住患者胸廓后，根据传感新乡:新乡学院,2018.的场所，如车站、商场、敬老院等。其整套系统还包括：药文献电子杂志,2018,5(93):197.[4] 李鹏,杨帅,赵赫.浅谈心肺复苏技术在我国的普及[J].临床医[5] 付亚军.一次性包皮环切缝和器治疗包皮过长(包茎)的疗效观察与探讨[J].医药与保健,2015(3).微计算机信息,2005(9).[6] 朱品伟,乔学亮,陈建国.一种基于单片机的心肺复杂系统[J].一负责人观看并记录。指令，实现人机交互，直观有效的观测患者的心电变化。直径，通过电信号智能的分辨患者的体型，视情况充盈不同体积的气体，以适合不同人群的条件。除气囊，完成CPR过程。（5）微型电动气泵:可以有效的控制气体进入和排（6）简易人工呼吸气囊：通过人工产生通气，对无（3）触摸屏显示：可以高效，快捷输入简单的操作津科技大学,2012.大学,2015.[7] 胡亮.智能轮椅运行状态无线监控系统的研究[M].天津:天[8] 于方艳.多端口便换器拓扑及功率管理研究[M].扬州:扬州[10] 王毅峰,温希东.基于CAN总线的数据采集模块的设计[J].微计算机信息,2005(22)63-64+10.[11] 陈永强.《2015 美国心脏协会心肺复苏及心血管急救指南更新》解读[J].中华护理杂志,2016,51(2):253-256.果研究[J].中国社区医师,2017,33(18):121-122.用[J].当代医学,2017,23(11):88-89.[12] 罗美,曾琪.院前急救中便携式呼吸机应用的方式与应用效[13] 易朝科.车载呼吸机在急危重患者院前急救及转运中的应[14] 罗朝汉,王海林,次珍.便携式呼吸机在急诊危重症患者中的应用[J].实用中西医结合临床,2017,25(6):65-66.[15] 朱亚丽,徐琴,孙岚,等.便携式呼吸机在危重患者院内安全转运中的应用[J].蚌埠医学院学报,2016,41(1):120-122.[16] 邓明勇.多功能便携式呼吸机在危重患者院前院内急救中的应用探讨[J].临床医学研究与实践,2016,1(21):153-154.（4）硅传感器：可以精确的感受患者胸廓的位置、[9] 张洪双.红外遥控预付费水表研究[M].南京:河海大学,2003.呼吸患者进行强迫通气，对通气障碍患者患者进行辅助呼吸，维持和增加机体通气量，纠正威胁生命的低氧血量[17]。参考文献[1] 刘天华,乔学亮,陈建国.具有监护功能的便携式心肺复苏机的设计[J].医疗卫生装备,2005(06):7-8.中科技大学,2005.[2] 刘天华.智能便携式心肺复苏机的设计与实现[M].武汉:华[3] 徐彦立.腹部心肺复苏创新技术临床应用效果研究分析[D].······

上接第�页自动化与仪器仪表,2018,219(01):166-169.电工程,2005,35(2):ring of Shewhart Chart Based on Function

the 4th Annual International Conference on Information

System and Artifi cial Intelligence ISAI2019,Changsha:2019:123-130.学,2005.[12] 唐凌遥.软件回归测试管理技术[D].长沙:国防科学技术大[13] Mengqing TanLi,Yan Jiang,Xiang -box

on Computer Science,Communication and Network

Security,Sanya:DEStech Publications,Inc.,2019:ch for Software Testing Based on Fat-property[C]//

[7] Information on ,2019-2020.[8] 陈站华.资源卫星任务安排测试方法的研究与实现[J].无线[9] Mengqing TanLi,Yan Jiang,Yulin l inspection

International Conference on Mechanical,Electronic and

Publications,Inc.,2018:15-16.36(9):117-120.[10] 许媛媛.基于CBR的测试用例复用方法研究[J].软件,2015,[11] Dan Tang,Mengqing TanLi,Yan t Quality

41of cutting and machining based on manufacturing

Information Technology ICMEIT2018,Shanghai:DEStech

integration for Manufacturing Factory[C]//Proceedings of

quality for shop floor[C]//Proceedings of the 2018

Proceedings of the 2019 International Conference