信息系统性能效率评估方法.pdf

计算机测量与控制 ()C o m p u t e r M e a s u r e m e n t&C o n t r o l 试验与评价技术 收稿日期:;修回日期:.基金项目:广东省市场监督管理局科技项目(Z Z ).作者简介:黄文财(),男,广东湛江人,硕士,工程师,主要从事软件测试、性能测试等方向的研究.引用格式:黄文财,吴新杰,朱晓鹏,等信息系统性能效率评估方法J计算机测量与控制,():文章编号:()D O I:/j c n k i /t p 中图分类号:T P 文献标识码:A信息系统性能效率评估方法黄文财,吴新杰,朱晓鹏,钟远生,(广东产品质量监督检验研究院,广州 ;国家市场监管重点实验室(智能机器人安全),广州 ;工业和信息化部 电子第五研究所,广州 )摘要:针对当前信息系统性能效率评估模型简单、评估结果具有随机性和模糊性的问题,给出一种信息系统性能效率评估方法;该方法分析并绘制信息系统性能效率执行框架图,构建评估指标,应用改进的功效系数法从多层级角度归一化评估指标的评分,基于权重间的对比性和冲突性,构建综合多位专家主观权重和客观权重的多权重组合赋权法,既克服单一专家的主观偏向性,又综合考量主客观权重优点,并采用云模型结合组合赋权权重以自然语言描述性能效率综合评估结果,克服综合评估的模糊性与随机性;最后,将该方法应用于某大型C RM信息系统,结果表明该C RM系统综合评估等级为适中性能,基本满足性能效率的要求,该结果与预案评审结果一致,验证了该方法在性能效率评估中的有效性和适用性.关键词:信息系统;性能效率评估;改进的功效系数法;多权重组合赋权;云模型E v a l u a t i o nM e t h o do f I n f o r m a t i o nS y s t e mP e r f o r m a n c eE f f i c i e n c yHUANG W e n c a i,WUX i n j i e,Z HUX i a o p e n g,Z HONGY u a n s h e n g,(G u a n g d o n gT e s t i n gI n s t i t u t eo fP r o d u c tQ u a l i t yS u p e r v i s i o n,G u a n g z h o u ,C h i n a;N a t i o n a lK e yL a b o r a t o r yf o rM a r k e tS u p e r v i s i o n(I n t e l l i g e n tR o b o tS a f e t y),G u a n g z h o u ,C h i n a;T h eF i f t hE l e c t r o n i cR e s e a r c hI n s t i t u t e,M i n i s t r yo f I n d u s t r ya n dI n f o r m a t i o nT e c h n o l o g y,G u a n g z h o u ,C h i n a)A b s t r a c t:A i m i n ga t t h ep r o b l e mt h a t t h ec u r r e n te v a l u a t i o nm o d e lo f i n f o r m a t i o ns y s t e mp e r f o r m a n c ee f f i c i e n c yi ss i m p l e,a n dt h ee v a l u a t i o nr e s u l t s a r e r a n d o ma n d f u z z y,a n i n f o r m a t i o ns y s t e mp e r f o r m a n c e e f f i c i e n c ye v a l u a t i o nm e t h o d i sp r o p o s e d T h em e t h o da n a l y z e sa n dd r a w s t h e i n f o r m a t i o ns y s t e mp e r f o r m a n c ee f f i c i e n c ye x e c u t i o n f r a m e w o r kd i a g r a m,b u i l d s t h ee v a l u a t i o n i n d i c a t o r s,a p p l i e s t h e i m p r o v e de f f i c i e n c yc o e f f i c i e n tm e t h o dt on o r m a l i z e t h ee v a l u a t i o n i n d i c a t o r s c o r e s f r o mam u l t i l e v e l p e r s p e c t i v e,a n db u i l d st h em u l t iw e i g h t c o m b i n a t i o nw e i g h t i n gm e t h o dt h a t c o m b i n e s t h es u b j e c t i v ew e i g h t a n do b j e c t i v ew e i g h t o fm u l t i p l ee x p e r t sb a s e do nt h ec o n t r a s t a n dc o n f l i c tb e t w e e nw e i g h t s,w h i c hn o to n l yo v e r c o m e s t h es u b j e c t i v eb i a so f as i n g l ee x p e r t,b u t a l s oc o m p r e h e n s i v e l yc o n s i d e r s t h ea d v a n t a g e so f s u b j e c t i v e a n do b j e c t i v ew e i g h t s,c o m b i n e dw i t h t h e c o m b i n a t i o no fw e i g h t i n gw e i g h t s,t h e c l o u dm o d e l i su s e dt od e s c r i b et h ec o m p r e h e n s i v ee v a l u a t i o nr e s u l t so fp e r f o r m a n c ee f f i c i e n c yi nn a t u r a l l a n g u a g ea n do v e r c o m et h ef u z z i n e s sa n dr a n d o m n e s so f t h ec o m p r e h e n s i v ee v a l u a t i o n;F i n a l l y,t h em e t h o d i s a p p l i e d t oa l a r g e c u s t o m e r r e l a t i o n s h i pm a n a g e m e n t(C RM)i n f o r m a t i o ns y s t e m,t h er e s u l t ss h o wt h a t t h ec o m p r e h e n s i v ee v a l u a t i o ng r a d eo f t h eC RMs y s t e mi sm o d e r a t e,w h i c hb a s i c a l l ym e e t st h er e q u i r e m e n t so fp e r f o r m a n c ee f f i c i e n c y T h er e s u l t sa r ec o n s i s t e n tw i t ht h ep l a nr e v i e wr e s u l t s,w h i c hv e r i f i e st h ee f f e c t i v e n e s sa n da p p l i c a b i l i t yo f t h em e t h o d i nt h ep e r f o r m a n c ee f f i c i e n c ye v a l u a t i o n K e y w o r d s:i n f o r m a t i o ns y s t e m;p e r f o r m a n c ee f f i c i e n c ye v a l u a t i o n;i m p r o v e de f f i c i e n c yc o e f f i c i e n tm e t h o d;m u l t iw e i g h tc o m b i n a t i o nw e i g h t i n g;c l o u dm o d e l引言信息系统是以计算机为核心,融合数据处理、信息管理、决策支持、办公自动化为整体的人、机、信息资源一体化系统.当前,信息系统日益复杂、用户急剧增加、数据存储量巨大和操作行为趋于多元化,信息系统关注的重点不再仅仅是功能正确性,系统的性能效率表现也越受重视.信息系统性能效率测试是采用测试工具(如L o a d R u n n e r、J M e t e r等)最大限度模拟信息系统存在大量活跃用户且用户高度聚集的业务场景的多种负载状态,测试性能效率指标,分析并评估测试数据,判断信息系统满足性能效率程度.在 I S O/I E C 标准中认为,软件的效率决定于时间特性、资源利用性和容量三大子特征.在 G B/T 中,性能效率被分割为时间特性、资源利用性、容量和性能效率的依从性四大子特性.年,性能 效 率 测 试 被 单 独 撰 写 成 国 家 标 准 G B/T ,该文件详细描述了大型信息系统性能效率质量测度指标、测试过程,提高指标的覆盖率,由此可见,信息系统性能效率测试重要性不明而喻.投稿网址:w w wj s j c l y k z c o m第期黄文财,等:信息系统性能效率评估方法 性能效率评估具有以下优点:)基于信息系统性能效率测试的评估结果,可评估信息系统的执行效率、资源占用、系统容量等系统能力;)分析评估信息中指标的异常状态,定位性能效率的系统瓶颈,为改善信息系统性能效率提供依据;)根据评估信息多次试验,调整,验证信息系统的良好配置,实现信息系统的调优.因此,构建全面覆盖时间效率、资源利用、最大限度的容量、性能效率依从性的指标、选择合理、科学的评估模型,对定位系统瓶颈、系统调优有重要意义.但目前信息系统性能效率评估方面还存在诸多问题:)缺乏从多层级(合格、良好、优秀)角度出发评价指标数据;)评估模型简单,现有的信息系统性能效率测试模型过分依赖于专家的专业知识和经验,或对客观的测试数据简单地线性加权,模型简单,评估结果不够合理、科学;)性能效率的评估过程和结果具有随机性和模糊性,需要科学的方法解决表达语言中随机性、模糊性以及两者之间的关联性的问题.图性能效率指标目前评估方法有基于专家偏好的主观赋权法,包括层次分析法、专家调查法、关联矩阵法等,有基于实际测量数据的客观赋权法,包括熵值法、变异系数法、主成分分析法等.然而,主客观赋权法均存在一定的缺陷,主观赋权过分依赖专家的专业能力和经验,主观意识过强,脱离实际数据,缺乏科学性;客观赋权法依赖于数据,缺乏相关经验知识的考虑.为了融合主客观的优点,采用组合赋权法 ,包括最小二乘的线性组合法、乘法合成归一法等,既考虑专家的经验知识,又保留数据的严谨性,可应用 于 多 属 性 决 策 问 题 和 风 险、质 量、可 靠 性 等评估.本文设计一种信息系统性能效率评估方法,可综合评估信息系统的性能效率能力.首先,构建评估指标,采用改进的功效系数法从多层级角度(合格点、良好点、优秀点)归一化指标数据;其次,使用C R I T I C法,基于权重之间的对比性和冲突性构建多权重组合赋权法,既克服单一专家的主观随意性,又综合考量主客观权重优点,最后基于云模型理论,克服综合评价的模糊性与随机性.基于组合赋权云模型的信息系统性能效率评估方法 评估指标的评价归一化)性能效率评估指标的选择;通过逐一调查分析信息系统运行流程的每一阶段、每一环节,绘制了信息系统性能效率执行框架图(见图),分别由输入单元、待测信息系统、控制单元、指标监视单元部分组成,其中,输入单元是通过负载发生器模拟多用户并发执行负载脚本记录的用户操作信息.控制单元决定性能效率流程顺序、控制数据流的流向.指标监视单元监控待测信息系统性能指标的实时信息,包括信息系统运行效率的时间特性、所使用资源数量和类型利用图信息系统性能效率执行框架图程度的资源利用率、最大限量满足需求的容量和遵循相关标准程度的依从性.选择此个指标作为一级指标,在一级指标之下构建多项二级指标,如图所示.)波动性指标数据评价的归一化;针对平均吞吐量、容量与信息系统的类型、性质、服务器容量、用户的需求等有关,不同的信息系统的评分标准不一,满足用户需求程度也不同,数据波动性大,不易评价的问题,采用通过专家打分法,根据满足需求的程度越高,分值越高的原则打分,取值范围为,.)稳定性指标数据评价的归一化;考虑时间特性(除平均吞吐量)、资源利用性、性能效率依从性数据波动性较小,趋于稳定,数据之间具有可比性,可基于数据范围归一化评价该指标,但依然存在以下问题:)性质、量纲不一;如时间特性强调运行效率、性能效率的依从性遵循相关标准的程度,且两者数值单位也不一致;)数量级别不在同一等级;如资源利用性强调资源利用程度,取值范围为,时 间 特 性 的 取 值 为,N,其 中N;)缺乏对不同层级的分数的划分,且不能体现性能效率合格、良好、优秀等层级的分数.针对以上问题,采用功效系数法,可将指标数据一一映射到同一区间,但传统功效系数法直接采用线性映射方式归一化指标数据,且不同样本数据最大值和最小值不统一,出现同一指标数据的投稿网址:w w wj s j c l y k z c o m计算机测量与控制第 卷 相同数值,在不同样本数据中归一化的结果不一致,导致数据不具备可比性.因此,在传统功效系数法基础上,设置层级点(合格点、良好点、优秀点),划分性能效率指标数据为不同等级区间,基于范围设置双边约束临界值,规范最大值和最小值,通过改进的功效系数法归一化指标数据,其步骤如下:)设置双边约束临界值;选择固定的不可接受临界值和最佳性能效率值为双边约束临界值 Im i n,Im a x,映射到固定区间,;)数据指标离散化;选择层级点(合格点Ih、良好点Il、优秀点Iy)为离散点,划分指标数据到多个固定标准化区域,并一一对应 不 同的 功 效 系 数值 Gm i n,Gh,Gl,Gy,Gm a x ,其中Gh,Gl,Gy分别为层级点的功效系数值,Gm i n,Gm a x分别为双边约束临界值的功效系数值;)数据同向化;将数据类型统一转变为数值越大性能效率越小的极小型,如性能效率的依从性,该指标为极大型,采用倒数法转化为极小型;)归一化指标数据;基于相邻区间的功效系数值的差值,计算标准值,结合该标准化区域的功效系数值,采用改进的功效系数法计算评估数据的分数,使得不同指标评估数据转化到同一数量级,克服量纲、数量级等特征不一致的问题,其中改进的功效系数如式()所示:N o r m a ld a t aGm a xyIb e s tIyyIyIb e s t(Gm a xGy)GyIb e s tyIyIlyIlIy(GyGl)GlIyyIlIhyIhIl(GlGh)GhIlyIhIl o wyIhIh(GhGm i n)Gm i nIhyIl o wGm i nyIl o w()评估权重的计算为了克服单一专家的主观随意性,又综合考量主客观权重优点,让三位专家采用层次分析法给出性能效率的主观权重,采用熵权法基于历史数据计算出客观数据评估权重,再采用C R I T I C法,基于权重间的对比性和冲突性构建多权重组合赋权法,优化组合权重的方法,提高权重的合理性、科学性和严谨性.)主观评估权重的计算;为了将复杂的性能效率评估指标层次化、结构化,将时间特性、资源利用性、容量以及性能效率的依从性等划分成层次化结构;采用层次分析法,构造包含目标层、准则层、指标层的递阶层次指标结构,综合考虑专家专业知识和经验,主观构建判断矩阵,经一致性校验后获取主观评估权重再将其归一化,提高权重的合理性.)客观数据评估权重的计算;为了避免权重计算主观偏好过强的情形,利用数据的方差变异程度越小,信息熵会越大,代表对应的权重值越小原理,采用熵权法客观计算经过标准化处理的历史评估数据的概率、推算指标的信息熵和信息效用值,归一化后取的指标的权重,客观计算评估权重,提高评估权重的科学性和严谨性.)组合权重的计算;综合考虑专家专业知识和经验和数据的严谨性,采用组合赋权法综合考量主客观权重优点,提高权重的合理性、科学性.)组合权重的优化.性能效率指标性质不一、数量众多,特别是二级指标分配不均,单一专家求解权重容易造成主观随意性,为了克服这一现象,设计一种由三位专家采用层次分析法主观赋权,结合熵权法的组合权重办法,提高权重赋值的合理性、科学性和严谨性.然而,多权重的组合赋权不仅主观、客观权重赋值之间存在差异,并且不同专家间的主观权重赋值由于知识储备、工作经验不一而导致多个主观权重的赋值也会存在一定的偏差,这些偏差导致权重之间的不一致,相关性较低,因此,为提高权重间的相关性,缩短差异,首先设置权 重 系 数,再利 用C R I T I C法的对比性和冲突性构建组合赋权,其中,对比性利用标准差的形式衡量同一个指标在不同评价权重之间取值差距大小,标准差越大,说明波动越大,即评价权重在此指标的取值差距越大,权重系数赋值也因设置较高;冲突性使用皮尔逊相关系数法表示权重之间的正相关性,若相关性较小,其冲突性越大,其权重系数应设置较大.通过设置权重系数的大小,减少权重间的差距,提高相关性,其计算过程为:)依据三位专家的主观权重(W,W,W)和熵权法的客观权重W设置权重系数.WWWWW()其权重系数,满足约束条件:()构建权重矩阵 W,W,W,W,计算权重数据的对比性和冲突性如式()和式()所示:jni(xi jxj)n()其中:xi j,xj分别表示指标i第j个权重和第j个权重的平均值.jnk(rk j)()式中,rk j是指标k和j之间的相关系数,使用皮尔逊相关系数法表示.)设置信息量为中间值,有机结合对比性和冲突性,综合衡量权重的相对重要性,信息量计算公式如下:Sjjjjnk(rk j)()其中:j表示对比性量化数值.投稿网址:w w wj s j c l y k z c o m第期黄文财,等:信息系统性能效率评估方法 表性能效率主客观权重值一级指标主观权重客观权重组合权重WWWWW二级指标主观权重客观权重组合权重WWWWW时间特性B C C C C C 资源利用性B C C C C 容量B C C C 性能效率依从性B C )计算权重系数,根据权重数据的对比性和冲突性,采用C R I T I C法计算权重系数,其中,权重的重要性越大其权重系数越大.jSjnjSjjnk(rk j)nj(jnk(rk j)()依 式()最 后 所 求 得 的 权 重 系 数j为 ,代入式()计算的主客观权重和组合权重如表所示.由表可知,三位专家的主观权重在一级指标中顺序都为:BBBB,而客观权重的顺序为BBBB,缺乏合理性,这是由于客观权重过度依赖于实测数据,缺乏相关知识经验的支撑,而组合权重保留了主观权重的合理性,其顺序与主观赋权一致.其次,三位专家的主观权重中,B比B权重都相差过大,这是由于脱离实际数据,过度强调主观意识造成的,而组合权重结合数据的严谨性,缩小B与B之间的差距.因此,基于C R I T I C法的对比性和冲突性的组合赋权法综合考虑了主观因素和客观因素,不仅保证权重间的层次顺序,又有效缩小了权重间过大的差距,具有合理性和有效性.信息系统性能效率的评估基于云模型理论的定性、定量之间的转换,结合组合赋权权重转换为云模型,生成以自然语言描述性能效率综合评估结果 ,克服综合评价的模糊性与随机性.)评估等级的构建.根据系统满足性能效率的程度,构建多个等级区间描述性能效率综合评分的模糊评语集,包括极低性能、低性能、适中性能、良好性能、优秀性能个评估等级,再采用云特征计算公式求出等级区间的云模型特征值,构建的评估等级如表所示,其中云特征计算公式为:E xs(Mm i nMm a x)E ns(Mm a xMm i n)H esk E ns()式中,E xs为期望值,Mm i n,Mm a x分别为最大、最小边界,k为熵E ns和超熵H es之间的线性关系值.表评估等级评语集评估等级描述云模型特征参数(E xs,E ns,H es)U极低性能完全不能满足信息系统的性能效率要求,系统极其不稳定,随时出现性能瓶颈,信息系统容易崩溃(,/,/)U低性能不能满足 信 息 系 统 的 性 能 效 率 要求,系统不稳定,大概率出现性能瓶颈,信息系统可能崩溃(,/,/)U适中性能基本满足 信 息 系 统 的 性 能 效 率 要求,系统基本稳定,能保证高并发下的基本功能,但依然存在出现性能瓶颈的风险(,/,/)U良好性能满足信息系统的性能效率要求,在高并发下系统能运行良好,出现性能瓶颈概率小(,/,/)U优秀性能完全满足 信 息 系 统 的 性 能 效 率 要求,在高并发下系统能运行优秀,系统稳定,信息系统崩溃概率极低(,/,/)标准模型的绘制.基于评估等级的云模型(如表),采用正向云发生器,绘制出性能效率的标准模型,作为评价的衡量尺度.)二级指标的云模型特征参数的计算.为了提高测试数据的可信度,多次测试数据,剔除异常值,采用逆向云发生器转换数据,计算出二级指标云模型的个数字特征,投稿网址:w w wj s j c l y k z c o m计算机测量与控制第 卷 结果为E xi,E ni,H ei,其计算公式如式()所示:E xiXE ninnjxjE xiH eiS(E ni)()其中:X,S分别是多次测量数据平均数和方差.)一级指标和综合评价云模型特征参数的计算;二级指标的云模型特征参数E xi,E ni,H ei,结合该指标的组合权重,通过公式(),综合成一级指标云模型的数字特征(Y x,Y n,Y h),同理,综合评价云模型特征参数又二级指标的云模型特征参数,结合该指标的组合权重计算可得.Y xni WiE xiY nni WiE niY hni WiH ei()模糊评估结果的生成,将一级指标和综合评价云模型特征参数绘制成云模型,生成综合云模型的基本形态,与标准模型比较,进而判断一级指标和综合评价云模型的隶属度,再结合表的评估等级,生成以自然语言描述性能效率综合评估结果,克服综合评价的模糊性与随机性.系统验证选择国内某大型工业机器人制造企业C RM信息系统为例,该系统需满足数据实时性强,交互性强、系统稳定性高等需求.随着企业业务的快速地发展,C RM系统中客户量、交易量、任务量、商机展现量快速增长,并由此而产生的数据量急剧增加.为了获取更贴近真实C RM系统的日常业务应用,选取关键业务且资源的占用率高、业务使用频率、数据实时性强的商机提交、任务创建、客户交易信息查询、商机查询、任务查询组成并发的混合业务场景,其中,指标中平均响应时间、平均周转时间取多个业务的平均值.选择典型业务且是数据分析基础的客户交易信息查询场景作为压力测试场景.为了提高测试数据的可信度,采用多次测量(次)指标数据(如表的测试数据).再采用式()所示的改进的功效系数法结合表中多层级评价的层级点(合格点、良好点、优秀点),归一化评估指标的评价,结果如表所示.二级指标的云模型特征参数通过公式()处理的评估数据,将此结果结合公式()计算一级指标的云模型特征参数结果如表所示,同理获取性能效 率 综 合 评 价,其 结 果 为(,).最后将上述获取的云模型特征参数依次绘制如图所示,由于性能效率依从性B 趋于稳定,不具备模糊性,故不使用云模型绘制.绘制的评估云模型如图所示,图中黑色云模型为评价衡量尺度的标准模型,灰色云模型为评价模型,其都显正态分布,趋于稳定,表明该云模型有效.由图(d)可表 C RM信息管理系统性能效率数据指标测试数据评估指标归一化结果C C C C C C C C C C C C C 表多层级评价的层级点指标Ib e s tIyIlIhIl o w平均响应时间 响应时间的充分性 平均周转时间 周转时间的充分性 处理器平均占用率 内存平均占用率 I/O设备平均占用率 带宽占用率 性能效率依从性/表C RM信息管理系统性能效率数据二级指标二级指标云模型特征参数(E xi,E ni,H ei)组合权重一级指标一级指标云模型特征参数(E xi,E ni,H ei)C(,)C(,)C(,)C(,)C(,)B(,)C(,)C(,)C(,)C(,)B(,)C(,)C(,)C(,)B(,)C(,)B(,)知评价模型位于U和U之间且趋于U,为了确保综合评价结果的准确性,基于文献 中云模型相似度度量方法计算其相似度,可以得出与U更为相似,根据最大隶属度原 则,该C RM系 统 综 合 评 价A的 等 级 为 适 中 性 能投稿网址:w w wj s j c l y k z c o m第期黄文财,等:信息系统性能效率评估方法 图性能效率云模型(U),即该系统基本满足信息系统的性能效率要求,系统基本稳定,该结果与预案评审结果一致.由图可知,B,B和B隶属度分别为U、U、U,可以看出,一级指标中,时间特性隶属度最高,结果为良好性能(U),表明时间特性满足信息系统对该属性的性能效率要求,资源利用性和容量隶属度为U,隶属度偏低,评估等级为适中性能;仅基本满足信息系统对资源利用的要求.分析导致该隶属度的原因可知,资源利用性拉低了性能效率的整体的评分,通过深入分析,该C RM信息系统运行多年,积累的客户信息、交易数据数量巨大,且频繁访问造成内存I/O的频繁读写,导致C P U使用率、带宽占用率过高,造成资源利用性评分过低.因此建议投入更多设备提高该C RM信息系统容量,包括扩大服务器规模、增加内存设备,提高网络带宽,以适应数据量和交易量日益增加的需求.结束语性能效率评估可分析系统瓶颈,为改善信息系统性能效率、实现系统调优提供依据,设计改进的功效系数法从多层级(合格、良好、优秀)角度出发评价指标数据,使用C R I T I C法的对比性和冲突性构建综合多位专家主观权重和客观权重的多权重组合赋权法,不仅克服单一赋权的局限,也克服单一专家求解权重容易造成主观随意性的问题,为归一化评估指标、组合赋权提供新的方案,本文构建的信息系统性能效率评估方法的结果表明具有良好的适用性,云模型的定性、定量之间的转化,有效克服评估中模糊性与随机性问题,为性能效率的评估提供了技术支撑.参考文献:陈国青,任明,卫强,等数智赋能:信息系统研究的新跃迁 J管理世界,():HANX,YUT,L OD P e r f l e a r n e r:l e a r n i n gf r o mb u gr e p o r t st ou n d e r s t a n da n dg e n e r a t ep e r f o r m a n c et e s tf r a m e sC/r dI E E E/A CMI n t e r n a t i o n a lC o n f e r e n c eo nA u t o m a t e dS o f t w a r eE n g i n e e r i n g(A S E),I E E E,:董慧,姜瑛,杨洋A P P软件性能效率研究 J计算机工程与应用,():J AV E DO,D AWE SJH,HAN M,e ta l P e r f C I:at o o l c h a i nf o ra u t o m a t e dp e r f o r m a n c e t e s t i n gd u r i n gc o n t i n u o u s i n t e g r a t i o no fP y t h o np r o j e c t sC/t hI E E E/A CMI n t e r n a t i o n a lC o n f e r e n c eo nA u t o m a t e dS o f t w a r eE n g i n e e r i n g(A S E),I E E E,:I n t e r n a t i o n a lO r g a n i z a t i o nf o rS t a n d a r d i z a t i o n,T e c h n i c a lC o m m i t t e e I S O/I E CJ T C,I n f o r m a t i o nt e c h n o l o g y S u b c o mm i t t e eS C,s y s t e m sa n ds o f t w a r ee n g i n e e r i n g:s y s t e m sa n ds o f t w a r eq u a l i t yr e q u i r e m e n t sa n de v a l u a t i o n(S Q u a R E):s y s t e m a n ds o f t w a r eq u a l i t ym o d e l sMI S O,G B/T 系统与软件工程系统与软件质量要求和评价(S Q u a R E)第 部 分:系 统 与 软 件 质 量 模 型 S 全国信息技术标准化技术委员会系统与软件工程性能测试方法 SG B/T 肖祥春,李伟洪,王丽软件性能效率测试能力验证研究与实践 J电子元器件与信息技术,():徐鑫,白雪莲,金超强基于性能测试软件的服务器功耗实测研究 J制冷学报,():P R A D E E P S,S HA RMA Y K A p r a g m a t i ce v a l u a t i o no fs t r e s sa n dp e r f o r m a n c e t e s t i n gt e c h n o l o g i e s f o rw e bb a s e da p p l i c a t i o n sC/Am i t yI n t e r n a t i o n a lC o n f e r e n c eo nA r t i f i c i a l I n t e l l i g e n c e(A I C A I),I E E E,:投稿网址:w w wj s j c l y k z c o m计算机测量与控制第 卷 AV R I T Z E R A,ME NA S CHE D,RU F I NO V,e ta l P P T AM:p r o d u c t i o na n dp e r f o r m a n c et e s t i n gb a s e da p p l i c a t i o nm o n i t o r i n gC/C o m p a n i o no f t h e A CM/S P E CI n t e r n a t i o n a lC o n f e r e n c eo n P e r f o r m a n c eE n g i n e e r i n g :王浩,李兵,贺倩筠,等基于改进物元信息熵的计量生产设备健康度评价模型 J中国测试,():林文硕,周荣生,田慧丽,等基于组合权重T O P S I S的配电网调度水平评估 J/O L电力系统及其自动化学报:伍建军,杨钥姣,王振飞基于组合权重的微型机器人可靠性分配方法研究 J制造业自动化,():L IQ,Z HANG T,YU Y E v a l u a t i o no ft h ed u r a b i l i t yo fb r i d g e t e n s i o nc a b l e sb a s e do nc o m b i n a t i o nw e i g h t i n gm e t h o du n a s c e r t a i n e dm e a s u r et h e o r yJ S u s t a i n a b i l i t y,():张玉,魏华波基于C R I T I C的多属性决策组合赋权方法J统计与决策,():孙延浩,张涛,王涛,等基于云模型和组合赋权法的高速铁路行车调度系统可靠性 评 估 J铁 道 运 输 与 经 济,():周航,陈仕阔,张广泽,等基于功效系数法和地应力场反演的深埋长 大 隧 道 岩 爆 预 测 研 究 J工 程 地 质 学 报,():张兆宁,石峰基于组合赋权云模型的塔台管制系统运行安全评 估 J/O L安 全 与 环 境 学 报:何永贵,刘江基于组合赋权云模型的电力物联网安全风险评估 J电网技术,():李海林,郭崇慧,邱望仁正态云模型相似度计算方法 J电子学报,():(上接第 页)信初始信号的预处理,引入多端C NN算法,构建通信信号识别器,提取幅值、相位、频率等通信信号特征参数,通过特征匹配得出信号调制类型与强度的识别结果,实现通信信号自动调制识别.从实验结果可以看出,优化设计识别方法的调制类型识别率无论是有无干扰信号均达到了 以上,与对比方法相比,其提高了 以上,并且调制强度识别平均误差最高仅为 ,比对比方法降低了约 以上,由此可知,优化设计方法能够有效地识别有、无干扰两种通信信号的调制类型与强度,且在识别性能方面具有明显优势.优化设计的通信信号自动调制识别方法对于推动通信事业发展具有重要意义.参考文献:宋万均,方宇强,马志昊一种通信信号调制识别的自动神经网络结构搜索算法 J电视技术,():张天骐,汪锐,安泽亮,等基于多端特征融合模型的M I MO O F DM系统盲调制识别 J信号处理,():向建,高勇基于G RU C NN并联神经网络的自动调制识别 J电讯技术,():崔天舒,崔凯,黄永辉,等卷积神经网络卫星信号自动调制识别算法 J北 京 航 空 航 天 大 学 学 报,():张承畅,余洒,徐余,等人工神经网络在调制识别中的应用综述 J重庆邮电大学学报(自然科学版),():闫文君,凌青,张立民四阶时延矩S T B C O F DM信号调制方式识别 J信号处理,():林冲,闫文君,张立民,等通信信号调制识别综述 J中国电子科学研究院学报,():高思丽,应文威,郭贵虎,等基于R e s N e t_N S C S的通信信号调制识别 J电讯技术,():秦博伟,蒋磊,郑万泽,等基于半监督生成对抗网络的通信信号调制识 别 算 法 J空 军 工 程 大 学 学 报(自 然 科 学版),():杨洪娟,时统志,李博,等基于联合特征参数的卫星单混信号调制 识 别 研 究 J电 子 与 信 息 学 报,():高岩,石坚,马圣雨,等基于D r o p B l o c k双模态混合神经网络的无 线 通 信 调 制 识 别 J电 信 科 学,(