基于层次分析法的金融信创系统评估体系的构建.pdf

栏目编辑：梁丽雯 E-mail:liven_2024年第1期4040Research|信息化论坛一、引言信创即信息技术应用创新产业，是当前国家经济发展的新动能，也是国家信息化发展战略的重要组成部分。从历史上看，中国IT产业的发展一直遵循欧美的标准进行规划和制定，存在很多软硬件产品过于依赖海外厂商的情况，关键技术受限制以及信息安全泄露等问题日益严重。为了提高我国信息化水平和数字经济实力，保护网络信息安全，我国将信创纳入国家信息化发展战略，从信息化环节核心组件入手，建立国产IT架构和标准，提高产业链实力。近年来，信创发展迅速，各个领域正在积极应用信创技术推动数字化转型。通过改造和新建信息化系统，逐步完成了信创整体布局，并积累了丰富的行业经验。但与此同时，也出现了基础软硬件自主创新能力不足、业务系统平台适配存在缺陷和产品之间适配程度影响信创过渡等新的挑战。金融系基于层次分析法的金融信创系统评估体系的构建 中信建投证券股份有限公司赵彦清刘正新郭伟杰赵思宇樊奇桢摘要：近年来，信息技术应用创新产业（以下简称“信创”）迎来了快速发展的时期。随着国家“十四五”规划的实施，整个金融信创行业预计将迎来发展高峰。由于金融信创的主体以市场化机构为主，所以相关系统的性能、稳定性、适配性和安全性等方面比传统要求更高。因此，文章提出了一个金融信创综合评估体系。首先，对信创基础硬件展开性能测试，为评估体系提供数据支撑；其次，运用该评估体系对目前主流的信创基础硬件进行性能测试评分，并利用层次分析法证明了该体系的有效性和合理性。信创系统评估体系能反映金融信创系统在各个方面的表现，为相关部门和企业提供科学的依据和决策支持，从而为用户提供更加稳定和优质的金融服务。关键词：信息技术应用创新产业；金融信创；金融行业；性能测试；层次分析法作者简介：赵彦清（1992-），男，山西临汾人，工程硕士，信息技术部经理，研究方向：软件测试等；刘正新（1971-），男，安徽来安人，信息技术部总监，研究方向：自动化测试、自动化运维等；郭伟杰（1986-），男，北京人，工程硕士，信息技术部高级副总裁，研究方向：性能测试、稳定性测试等；赵思宇（1990-），男，北京人，工学硕士，信息技术部高级经理，研究方向：性能测试、自动化测试等；樊奇桢（1991-），男，陕西西安人，理学硕士，信息技术部高级经理，研究方向：软件测试等。收稿日期：2023-09-15栏目编辑：梁丽雯 E-mail:liven_2024年第1期4141Research|信息化论坛统对整个社会的经济运行和社会秩序都有着重要的影响，所以金融信创领域的发展显得尤为重要。本文聚焦金融信创领域，结合金融行业对系统稳定性、性能和安全性的运维需求，通过对不同信创系统进行系统性的性能测试，利用层次分析法构建了一套合理的金融信创系统评估体系，为整个行业信创系统评估提供参考。本文设计的信创评估体系有助于从多维度分析金融信创系统的质量和性能，促进并推动金融信息化及信创产业的发展，为我国的信息化建设和数字经济的发展注入新的动力。二、信创基础硬件指标概述从计算机系统组成的架构来看，计算机的底层硬件是计算机系统的物理组成部分，是整个系统运行的物质基础，包括中央处理器（CPU）、内存（RAM）、硬盘驱动器、显卡、网卡等。这些部件是计算机系统执行计算、存储和输出数据的基础，计算机系统组成如图1所示。针对信创基础硬件，按照系统功能角度来进行性能测试，包含的性能测试指标项如下。（一）CPU性能CPU是整个微机系统的核心，其性能大致反映微机的性能，因此性能指标十分重要。评估CPU主要算力性能指标有10种，本文选取常用的5种指标，包括：Interger Math，整数类型32位和64位的加减乘除运算；Floating Point Math，浮点数类型32位和64位的加减乘除运算；Random String Sorting，在特定时间段内，对数组的随机字符串进行排序；Single Thread，单个线程池单位时间内处理能力；SSE，128位寄存器加减乘除运算。（二）内存性能内存是计算机的重要部件之一。其是外存与CPU进行沟通的桥梁，计算机中所有程序的运行都在内存中进行。本文选取反映内存性能相关的4种指标，包括：Cpoy，复制操作，先访问一个内存单元读出其中的值，再将值写入到另一个内存单元；Scale，乘法操作，先从内存单元读出其中的值，作一个乘法运算，再将结果写入到另一个内存单元；Add，加法操作，先从内存单元读出两个值，做加法运算，再将结果写入到另一个内存单元。Triad，将Copy、Scale、Add 3种操作组合起来进行测试。（三）磁盘性能磁盘是计算机主要的存储介质，可以存储大量的二进制数据，磁盘性能越高，电脑进行读写的速度越快。本文选取反映磁盘性能相关的6种指标，包括：Sequential Read，磁盘顺序读取数据的能力；Ramdon Read，磁盘随机读取数据的能力；Sequential Write，磁盘顺序写入数据的能力；Ramdon Write，磁盘随机写入数据的能力；70%SR+30%SW，70%顺序读取，30%顺序写入；70%RR+30%RW，70%随机读取，30%随机写入。（四）网络性能计算机网络主要是由一些通用的、可编程的硬件图1计算机系统组成架构一般来说，信创包括基础硬件、基础软件、应用软件、信息安全四大板块。其中，基础硬件主要包括芯片、服务器/PC、存储、交换机、加密机等；基础软件包括数据库、操作系统、中间件等；应用软件包括OA办公软件、ERP和其他软件；信息安全包括硬件安全、软件安全、安全服务等各类产品。栏目编辑：梁丽雯 E-mail:liven_2024年第1期4242Research|信息化论坛互连而成的。本文选取反映网络性能相关的3种指标，如下：Transfer，间隔时间内传输的总流量；Bandwidth，间隔时间内的最大吞吐量；Retr，重发包数。三、层次分析法结构模型研究层次分析法是一种定性和定量相结合的、系统化的、层次化的分析方法。其通过对多个决策因素进行层次分解，对比各因素之间的相对重要性，最终确定一个最优决策。通过建立层次结构模型，使决策者能够从复杂的信息中提炼出关键因素，并在此基础上做出决策。（一）构建层次分析结构图各个系统的性能测试功能模块对应着不同的评价指标。通过对各个指标因素之间的关系进行分析，构建出整个系统的层次结构，得出的层次结构如图2所示。图2系统整体层次结构（二）构造判断矩阵判断矩阵是评估各指标重要性的一种有效依据。通常可以采用专家打分法或多专家加权平均法为各项指标进行关联打分。例如，当讨论Ci与Cj中的不同指标对于上层某元素的影响程度时，往往需要将重要指标进行量化，利用同一层次对其上一层次某元素的重要性评估值来求取该层次的单排序权重。而要评估这些元素相互之间关系的重要程度，需要将所有元素进行两两比较，相对重要程度记为Cij（见表1所列）。表2判断矩阵指标项12n11C12C1n2C1211C2nnC1n1C2n11表1判断矩阵的标度定义标度值标度含义1i元素比j元素同等重要3i元素比j元素稍微重要5i元素比j元素明显重要7i元素比j元素强烈重要9i元素比j元素极端重要2，4，6，8上述相邻判断的中间标度值倒数若i元素对j元素的标度值为aij，则j元素对i元素的标度值为aji 根据表1的标度定义，可以建立关于n个元素的判断矩阵表，见表2所列。（三）判断矩阵一致性检验判断矩阵构建需要利用特定的数学计算公式，以获取特征向量和最大特征值，以便进行一致性检验。只有所得数值通过一致性检验，才能将特征向量确定为权重。如果不符合一致性检验的标准，需要重新构建判断矩阵。一致性检验未通过可能是由于评估者对矩阵的知识不足或计算错误所致。通常可以采用算术平均法（和积法）和几何平均法（方根法）来求解判断矩阵R，进而进一步求解出判断矩阵的特征向量W和特征根，然后通过公式（1）求一致性校验指标CI。判断矩阵的一致性程度与CI有联系，若CI越小，判断矩阵的一致性程度就越好，反之越差。CI=max-nn-1 （1）一致性校验通过，根据公式（2）判断。CR=0.1CIRI （2）栏目编辑：梁丽雯 E-mail:liven_2024年第1期4343Research|信息化论坛满足则得到某个指标下的元素的相应权重W，否则需要重新构造判断矩阵进行计算。RI值与n阶的矩阵相关，可以通过查表的方式得知对应的RI值。（四）最终评价值最后，根据公式（3）可以计算出不同指标下对应的权重的最后评价分，其中n代表二层指标的个数，m代表三层指标的个数。Di=Wj Rij,i=1,2,nj=1m （3）四、基于层次分析法的信创服务器指标权重确认本节采取基于层次分析法的信创系统指标权重确认方法，具体步骤如下所示。（一）构建信创资源层次分析结构图 通过章节二中列出的信创资源相关的性能项及各个指标项，采用层次分析法的三层结构，具体为目标层、准则层（一级指标）和指标层（二级指标）。这种多层指标体系的建立，从软件测试的角度，能够更深入地了解信创系统资源，以多个维度和层次来评估，从而能够更清晰地研究最终的评价结果。信创资源的系统层次分析结构如图3所示。（二）构造判断矩阵及一致性检验本文涵盖了两层指标体系，第一层为性能测试功能层，包括CPU性能、内存性能、磁盘性能和网络性能；第二层为各性能测试项的评判性能标准的指标项。1.第一层指标权重将第一层指标按照CPU性能、内存性能、磁盘性能和网络性能进行评估排序。根据判断矩阵的定义打分，对第一层指标进行评分后，得出第一层指标的判断矩阵为：C1=1 6 3 51/6 1 1/5 1/21/3 5 1 41/5 2 1/4 1利用层次分析法计算判断矩阵C1的特征向量W1、最大特征根max、一致性检验指标CI以及CR分别为：W1=0.5492 0.0622 0.2865 0.1003，max=4.132，CI=0.044。由于n为4，故RI=0.90，得出CR=0.4890.1CIRI。满足一致性要求，所以第一层指标权重为：W1=0.5492 0.0622 0.2865 0.1003T2.第二层指标权重（1）CPU性能的二级指标初始权重。CPU性能包含5个二级指标，可以得出CPU性能二级指标判断矩阵为：C2=1 1/3 1/4 1/7 2 3 1 5 1/2 8 4 1/5 1 1/4 7 7 2 4 1 91/2 1/8 1/7 1/9 1进而求得判断矩阵特征向量W2=0.0629 0.3011 0.1420 0.4608 0.0333T，计算可得CR=0.08550.1，满足一致性要求，所以CPU性能下的二级指标权重为：W2=0.0629 0.3011 0.1420 0.4608 0.0333T（2）内存性能的二级指标初始权重。内存性能包含4个二级指标，可以得出内存性能二级指标判断矩阵为：C3=1 3 2 51/3 1 1/4 31/2 4 1 51/5 1/3 1/5 1图3系统整体层次结构栏目编辑：梁丽雯 E-mail:liven_2024年第1期4444Research|信息化论坛进而求得判断矩阵特征向量：W3=0.4531 0.1369 0.3443 0.0658T，计算可得CR=0.06000.1，满足一致性要求，所以内存性能下的二级指标权重为：W3=0.4531 0.1369 0.3443 0.0658T（3）磁盘性能的二级指标初始权重。磁盘性能包含6个二级指标，可以得出磁盘性能二级指标判断矩阵为：C4=1 1/8 1/4 1/5 1/2 1/38 1 6 7 4 54 1/6 1 1/3 2 35 1/7 3 1 3 45 1/4 1/2 1/3 1 1/23 1/5 1/3 1/4 2 1进而求 得 判 断 矩 阵 特 征 向量W4=0.035 6 0.5046 0.1195 0.1957 0.0671 0.0734T，计算可得CR=0.09530.1，满足一致性要求，所以磁盘性能下的二级指标权重为：W4=0.0356 0.5046 0.1195 0.1957 0.0671 0.0734T（4）网络性能的二级指标初始权重。网络性能包含3个二级指标，可以得出网络性能二级指标判断矩阵为：C5=1 5 8 1/5 1 4 1/8 1/4 1 进而求得判断矩阵特征向量W5=0.7334 0.1991 0.0675T，计算可得CR=0.08110.1，满足一致性要求，所以内存性能下的二级指标权重为：W5=0.7334 0.1991 0.0675T综上所示，第一层和第二层的各级指标均已通过矩阵一致性校验，避免了专家打分法主观性导致矩阵各个元素存在的逻辑互斥的问题。（三）权重总排序通过计算第一层指标权重和第二层指标权重之积，可以得出此次信创资源指标体系总权重，整理归纳出层次总排序。为了更清晰地呈现，使用表3来表示各级指标地权重排名，用W表示层次指标权重单排序，用W表示层次指标权重总排序。表3层次分析法权重一级指标W二级指标WWCPU性能0.5492Interger Math0.062 9 0.034 5Floating Point Math0.301 1 0.165 3Random String Sorting0.142 0 0.078 0Single Thread0.460 8 0.253 1SSE0.033 3 0.018 3内存性能0.0622Cpoy0.453 1 0.029 0Scale0.136 9 0.008 8Add0.344 3 0.022 1Triad0.065 8 0.004 2磁盘性能0.2865Sequential Read0.035 6 0.010 2Ramdon Read0.504 6 0.144 6Sequential Write0.119 5 0.034 2Ramdon Write0.197 50.056 170%SR+30%SW0.067 10.019 270%RR+30%RW0.077 60.022 2网络性能0.1003Transfer0.733 40.073 5Bandwidth0.199 10.020 0Retr0.067 50.006 8栏目编辑：梁丽雯 E-mail:liven_2024年第1期4545Research|信息化论坛通过层次分析法，计算得到与信创相关的18个指标的初始权重为：（0.034 5、0.165 3、0.078 0、0.253 1、0.018 3、0.029 0、0.008 8、0.022 1、0.004 2、0.010 2、0.144 6、0.034 2、0.056 1、0.019 2、0.022 2、0.073 5、0.020 0、0.006 8）。五、信创系统性能测试实例（一）测试环境准备本文是对基于层次分析法的信创资源指标体系的评估研究。因此，测试环境均采用桌面虚拟化设备，增加了一套非信创系统配置作为对照组，两套测试环境的系统参数配置尽可能保持一致，确保对照组实验的准确性。实验软硬件主要参数配置包括：CPU为16核处理器，虚拟内存为32 G，磁盘空间为700 G，操作系统分别为Kylin V10和CentOS7.3，网络带宽均为同机房百兆带宽。（二）测试步骤及方法系统性能评测，主要从下面4个方面展开：一是采用PassMark Performance Test对CPU进行性能测试，记录CPU的型号、主频、睿频等信息，记录相关性能指标数据，如浮点运算、整数运算等；二是采用Stream对内存进行性能测试，记录内存的型号、容量、频率等信息，记录相关性能指标数据，如读取速度、写入速度和复制速度等；三是采用Fio对磁盘进行性能测试，记录磁盘的型号、容量、接口类型等信息。记录相关性能指标数据，如随机读取速度、随机写入速度、顺序读取速度和顺序写入速度等；四是采用Iperf对网络进行性能测试，记录网络接口的类型、带宽等信息，记录相关性能指标数据，如上传速度、下载速度和网络重连等。（三）测试结果对照测试数据进行汇总，得到测试环境的得分矩阵为R，将传统系统作为对照，对其测试的数据进行百分制处理，同时将信创系统的数据与上述章节计算的各个指标的权重值进行乘积，最终得到两个待测系统的最终性能得分（见表4所列）。由表4可以看到，信创系统加权得分为69.78，传统系统加权得分为99.18。（四）测试结论与分析通过评估模型结果可以看出，传统系统整体评分高于信创系统30%左右，说明信创整体建设能力有待进一步提升。对各个指标项的加权得分进行比较，可得知两者得分差主要集中在CPU指标下的浮点计算和单线程计算。通过查阅相关资料，浮点运算主要通过CPU中专门的浮点处理器来实现，不同架构的CPU，其浮点处理器的实现细节不同，从而产生不同的差异；单线程执行效率不高，表明处理单个任务时间可能会更长。从软件测试的角度考虑，信创系统的CPU性能低于传统系统，因此，在处理需要大量使用CPU的业务时，需要进行横向扩展。在内存性能方面，信创系统高于传统系统，因此，对于大量使用内存的业务，不需要担心内存的影响。在磁盘性能方面，信创系统略逊于传统系统，但差距仅为5%左右，在可接受范围内。在网络性能测试方面，信创系统略逊于传统系统，但经过实际测试发现，在相同的网络状态下，传统系统出现多次网络丢包的情况，因此，从稳定性角度考虑，信创系统的网络性能更优于传统系统。六、结束语本文结合系统性能测试和层次分析法，提出了一套金融信创系统评估体系。该体系利用层次分析法对系统各功能模块的指标进行层次化分析，并最终通过评分直观地展示了整个信创系统的性能。通过对信创系统和传统系统进行性能测试，能够了解各系统之间的差异性，为金融领域信创系统的发展提供参考，并为运维团队的稳定运维提供了现实的实用建议。以下是可以进一步完善的几个方面。首先，层级分析法是一种主观权重分配法，其计栏目编辑：梁丽雯 E-mail:liven_2024年第1期4646Research|信息化论坛表4测试数据统计测试功能测试指标信创系统传统系统信创加权得分传统加权得分CPU测试Integer Math60 68565 7493.1863.452Floating Point Math21 06950 0026.96716.533Random String Sorting37 44740 1077.2807.798Single Thread7112 1438.39625.306 SSE7 35218 7020.719 1.828 内存测试Copy91 882.855 313.34.821 2.903 Scale90 841.167 581.91.179 0.877 Add82 232.980 233.82.260 2.205 Triad83 192.876 375.80.459 0.421 磁盘测试Sequential Read496 640501 6151.009 1.019 Ramdon Read460 800494 62213.468 14.457 Sequential Write173 524182 2533.260 3.424 Ramdon Write152 680174 8594.895 5.606 70%SR+30%SW425 786442 5861.848 1.921 70%RR+30%RW398 567435 4272.035 2.223 网络测试Transfer4354.95.759 7.353 Bandsidth 36.8471.563 1.996 Retr 0210.677-0.142 合计69.7899.18算结果受到专家主观判断的影响，因此，在实际应用中其结果可能会存在一定的不准确性。为了解决这个问题，可以通过不断完善专家打分机制，来得到更加准确和可靠的结果，例如，通过引入更多的专业人士参与获取加权评分，或者建立一套更精细的评分标准。其次，在测试阶段更多的是基于硬件环境展开测试，可以进一步扩展到软件环境层面。例如，除了对CPU、内存、磁盘等硬件进行性能测试外，还可以对信创相关的数据库和中间件等软件进行测试，以更全面地评估整个信创系统的性能。最后，丰富和完善测试方法。除了已有的性能测试外，还可以引入功能测试、稳定性测试和异常测试等。这些测试方法的引入将使信创系统评估体系更加科学、合理和完善。FTT参考文献：1倪光南.坚持信创科技自立自强建设网络强国和数字中国J.信息安全研究，2021(1):2-3.2阳岁红，于英涛，方镭.基于信创环境的运维管理系统设计与实践J.电子技术与软件工程，2022(8):248-252.3周波.虚拟机内存管理与性能对比测试的研究D.上海：上海交通大学，2013.4罗洋.基于AHP-熵权法的综合能源系统多指标评价研究D.北京：华北电力大学，2021.5张宙，全华斌，郑伟平.信创产品在线适配测试品质管理平台技术研究J.长江信息通信，2022(7):137-139.6吴忠贺.发力金融信创，神通数据库助力行业创新变革J.金融科技时代，2022(2):37-39.