运载火箭测发控系统服务器集群虚拟化的设计与实现.pdf

第 40 卷 2023 年第 s1 期上海航天（中英文）AEROSPACE SHANGHAI（CHINESE&ENGLISH）运载火箭测发控系统服务器集群虚拟化的设计与实现魏永国，张海波，欧阳李青，陈锴迪，赵新航（上海航天电子技术研究所，上海 201109）摘要:利用虚拟化技术构建运载火箭测发控系统，通过对测发控系统计算机资源需求进行分析，使用服务器集群将系统所有计算机资源池化，按照测发控业务需求对计算机资源进行了划分。设置系统业务虚拟机（VM），利用虚拟桌面管理软件 Fusion Access进行管理控制，实时监测服务器集群运行情况，故障自动报警。利用系统服务器集群高可用性（HA）和容错技术（FT）功能，消除了运载火箭测发过程的单点故障。通过实验验证，该系统提高了测发控系统计算机资源利用率，摆脱系统对计算机硬件资源的依赖。计算机状态迁移、负载动态均衡及故障隔离等功能，减少了计算机系统宕机的频率，降低设备维修成本，提高了系统高可靠性。关键词:服务器集群；虚拟化；运载火箭；测发控；虚拟机（VM）中图分类号:TP 274 文献标志码:A DOI:10.19328/ki.20968655.2023.s1.016Design and implementation of Server Cluster Virtualization for Launch Vehicle Testing and Control SystemWEI Yongguo，ZHANG Haibo，OUYANG Liqing，CHEN Kaidi，ZHAO Xin Hang（Shanghai Aerospace Control Technology Institute，Shanghai 201109，China）Abstract:This paper adopted virtualization technology to build the test system of the launch vehicle.By analyzing the computer resource requirements of the testing and control system，it designed server clusters to share all the computer resources.Dividing the computer resources according to the system business and setting up virtual machines，the virtual desktop management software Fusion Access was used for management，control，real-time monitoring of server cluster operation，and fault alarms.The system server cluster HA and FT functions were used to eliminate the single point of failure in the system test and launch process.Through verification experiments result，the system shows the ability to improve the utilization rate of computer resources in the testing and control system on computer hardware failures and owns high availability functions such as automatic fault isolation，reducing computer system downtime，reducing equipment maintenance costs，and improving system reliability.Key words:server cluster；virtualization；launch vehicle；launch vehicle testing and control system；virtual machine（VM）0引言 近年来，随着运载火箭高密度的发射频率，运载火箭测试发射控制系统（以下简称测发控系统）在运载火箭测试发射过程中愈显重要。测试发射流程中，需要对主控计算机、实时处理传输的转发计算机、数据管理共享的数据库服务器等大量计算机资源进行调度，因此对其稳定性和可靠性保障提出了更高要求。这些关键计算机通常采用双机冷备份冗余设计，出现单台计算机故障时，重新启动计算机或更换备份计算机会导致火箭测发流程中止、重启或取消，严重影响运载火箭的“0秒”点火和卫星等飞行器的精确入轨。收稿日期：20230413；修回日期：20230609作者简介：魏永国（1985），男，硕士研究生，高级工程师，主要研究方向为运载火箭测试发射控制等。115第 40 卷 2023 年第 s1 期上海航天（中英文）AEROSPACE SHANGHAI（CHINESE&ENGLISH）采用双机冷备份冗余设计，主机切换备机的过程中，必须进行物理状态切换，应用软件需重新运行，程序运行节点无法保持，无法做到无缝衔接。采用单台计算机对应单台应用服务，不仅应用开发维护繁杂，而且资源利用率低，造成不必要的浪费。本文利用虚拟化技术，构建运载火箭测发控系统。通过汇总计算机资源逻辑，按系统应用关键等级重新分配，实现测发控系统计算机功能热备冗余，大幅提高计算机资源利用率，摆脱系统对计算机硬件资源的依赖问题。同时，具有计算机状态迁移、负载动态均衡、故障隔离等高可用功能，可减少计算机系统宕机频率，降低设备维修成本，提高系统可靠性1。1测发控系统计算机资源需求分析 运载火箭测发控系统按照功能及远程测发的布局模式，将计算机资源分为前端测试类和后端数据处理类，前端测试类主要完成运载火箭现场测试，后端数据处理类是测发控系统计算机资源布局的核心区域，实现测发控系统数据调度、流程控制显示、数据处理判读显示等功能，见表 1。2测发控系统服务器集群虚拟化实现 2.1虚拟化技术虚拟化技术（Virtualization）是一种将物理资源（如计算机、存储器等）抽象成可重行分配的逻辑资源 的 技 术2，可 使 一 个 中 央 处 理 器（Central Prossessing Unit，CPU）达到多个 CPU 并行运算的效果，从而实现在一台计算机内同时运行多个操作系统。此外，应用程序能够在各自独立的环境中运行，互不干扰，提升计算机资源的利用效率。该技术利用虚拟化管理软件，将实际存在的计算机资源进行虚拟化后，再次整合并将其分配给用户使用。利用实际存在的有限计算机资源，构建更多的虚拟计算机资源，并且在这些虚拟计算机系统中可以实现实体物理计算机系统的功能，即为虚拟化技术的本质。随着计算机技术的持续发展，处理能力不断增强，虚拟化技术在实现物理服务器资源整合、数据中心资源配置优化、保障数据处理及业务连续高可靠运行等方面具有明显技术优势，对于软件开发测试，服务器运维、计算机故障处理等应用场景具有广阔的前景3-4。虚拟化技术按照构建层次划分，主要包括网络虚拟化、存储虚拟化、服务器虚拟化、桌面虚拟化、应用虚拟化等5。2.2系统构建本文采用虚拟化服务器集群技术，构建运载火箭测发控系统，架构如图 1 所示。系统中所有计算机资源均集中在服务器集群中，进行统一分配管理。各功能计算机通过服务器集群配置对应虚拟机（Virtual Machine，VM）账户，其中主控计算机、转发计算机、数据库计算机等关键单机各使用两台VM，两台 VM 之间利用“心跳”信号实时监测，当一台 VM 出现故障时，另一台 VM 后台立即启动迁移程序，接管故障 VM 的运行任务，继续执行上层运行程序，切换时间为毫秒级，基本保障了系统中关键单机故障时的无缝衔接。其他非关键计算机共享表 1计算机资源需求Tab.1Computer resource requirements序号123456计算机名称前置测试计算机主控计算机转发计算机数据库 Web服务器专用显示判读终端通用用户终端数量/台3232430基本功能及数据定义多线程模拟量采集、I/O控制、时序及遥测量接收、模发激励等多线程测试流程控制、箭地的装订信息等电源参数转发、PLC指令转发、测试信息转发、TCP指令转发等查询、插入、更新维护系统内部数据，进行多线程运算等电磁阀性能、稳定系统、程配判读等控制系统、动力系统、外安系统、遥测系统参数判读等操作系统Windows 7Windows 7Windows 7Windows Server 2008Windows 7Windows 7流量预计/(MBps1)2021020202关键计算机是是是否否否116第 40 卷 2023 年第 s1 期魏永国，等：运载火箭测发控系统服务器集群虚拟化的设计与实现所有对应 VM 资源，在系统运行过程中，按照当前运行状况，动态调整分配所有计算机资源，使各计算机均可在合理资源配置内运行。系统中前后端其他测试设备（实体机）通过箭地接口连接箭上设备，这些测试设备挂接在测发控系统冗余局域网内，为运载火箭测发过程提供可靠保障。2.3虚拟化服务器集群设计服务器集群（Cluster）是将多台服务器集中联系起来，共同完成同一种服务。多台服务器并行的运算能力可获得更高的计算速度，网络存储设备可获得更大的存储空间。采用集群中服务器热备技术，在服务器集群运行过程中，其中任何一个节点故障都不会影响整个服务器系统的正常运转。消除了系统单点，可以实现服务器的热备冗余7-9。在测发控系统构建过程中，使用华为公司的服务器集群，利用 Fusion Access 软件，在服务器集群中虚拟出测发控系统各个业务 VM，这些 VM 和实体物理计算机在测发控系统计算机中的应用职能上完全一样，和实体物理计算机相比，服务器集群虚拟分配出来的 VM 可共同支配服务器集群中的物理资源，包括处理器、物理内存、网络资源和存储空间等底层的计算机硬件资源。虚拟化服务器集群架构如图 2 所示。用华为E9000刀片服务器为基础，连接形成物理集群，配备了大量处理器、内存和存储资源；应用华为 Fusion sphere 云平台将物理服务器转换为虚拟服务器，实现物理资源共享，同时创建 VM 管理器。VM 管理器是虚拟化服务器集群的控制中心，可允许管理员创建、配置、监视和管理虚拟服务器，并对终端桌面和转发服务器等业务 VM 进行分配。利用负载均衡器可确保每个物理服务器都具有相等的负载，避免过度使用部分服务器导致性能出现问题。为了进一步完善冗余备份功能，需要设置双机集群和软件，确保测发控系统中重要单机运行的可靠性。该设计中，将服务器集群中创建的 VM 进行单独隔离，在使用过程中，可以保障本 VM 不受其他用户分配的 VM 状态影响，避免由于其他 VM 操作系统故障或应用程序崩溃影响本 VM 的运行，还可实现对测发控系统服务器集群硬件资源的精准分配和优化配置。在该设计中，需要进行资源池设计、桌面虚拟化设计、统一软硬件管理、计算机资源划分，以及对高可用性（High Availability，HA）模式和容错技术（Fault Tolerance，FT）模式的应用。2.3.1资源池设计根据测发控系统业务需求，在华为刀片服务器上安装华为公司的虚拟化管理软件，将服务器资源池化。汇总所有物理服务器中的计算机资源（包括CPU、存储设备及网络资源等）并集中管理，形成一个资源池，然后通过虚拟化技术，将这些资源按需分配给应用程序或服务。资源池化后分组成虚拟桌面基础架构（Virtual Desktop Infrastructure，VDI）桌面服务器、应用虚拟化服务器等应用集群，在应用集群中创建业务 VM。这些业务 VM 可替代传统的实体计算机，实现测发控业务服务。资源池化设图 1虚拟化运载火箭测发控系统架构Fig.1Virtual launch vehicle test and control system architecture图 2集群虚拟化架构Fig.2Cluster virtualization architecture117第 40 卷 2023 年第 s1 期上海航天（中英文）AEROSPACE SHANGHAI（CHINESE&ENGLISH）计实现多用户资源共享，可以提高资源利用率，降低成本，提高灵活性和可扩展性。如图 3所示。2.3.2桌面虚拟化设计桌面虚拟化是虚拟化技术的一部分，将多个VM 部署在同一个物理主机上，每个 VM 上安装操作系统和应用软件，用户可以通过远程连接的方式访问 VM。本设计利用 Fusion Access软件，采用高清保真（High Definition Plasma，HDP）网络桌面协议，远程访问和控制 VM 的桌面，该协议可提供高清的图像显示和音频传输等服务，同时保证低延时和高性能应用。应用华为 Fusion sphere 云平台与 HDP 协同工作，可为用户提供完备的桌面虚拟化解决方案，主要内容如下：1）根据用户需求及应用程序要求解决 VM 配置，包括 CPU、内存、硬盘空间等；2）使用 Fusion Access软件创建和管理 VM，确定 VM 部署方式和管理方式；3）使用 Web界面的方式远程访问 VM，设置用户认证、访问控制、VM 故障隔离等安全措施；4）合理分配 VM 之间的共享资源，使 VM 之间负载均衡，确保 VM 应用的性能及网络延时；5）考虑 VM 中的数据管理，包络备份、存储、恢复等功能；6）实时监控 VM 和物理主机 CPU 利用率、内存利用率、硬盘空间、运行环境等状态，为用户提供安全、可靠及高效的使用体验。虚拟化桌面如图 4所示。使用 Fusion Access桌面虚拟化方案具有以下优势10。1）集综合控制及管理于一体：虚拟桌面运行于后台数据中心上，对 VM 进行配置、管理和运维；2）数据安全：Fusion Access软件将数据信息保存在后台数据中心上，确保数据安全；3）无差别体验：配置的 VM 与实体物理计算机用户体验一致；4）降低成本：统一管理和维护可以降低资源成本和运维、开发及测试成本。测发控系统业务应用中，在客户终端上利用虚拟化桌面设置不同的登录账户和密码，登录不同的VM，可满足测发控系统中各功能业务的测试需求。2.3.3统一软硬件管理应用 Fusion Access软件，对服务器集群中的所有计算机资源进行集中管理，采用 B/S 软件架构模式，实现远程控制访问用户 VM、后台数据中心及后台服务器集群管理。1）计算资源池计算资源池为用户提供 CPU、内存空间等计算资源。在服务器上安装 Fusion Access软件，在同一台服务器上创建多台业务 VM，提供虚拟桌面，安装操作系统和应用程序等，可以为用户提供基础应用和开发环境。2）存储资源存储资源为虚拟桌面 VDI提供系统空间、数据空间及桌面云管理空间，并存放在主用存储上。主存储根据数据类型的不同，可划分不同的数据逻辑单元（Logical Unit Number，LUN）。数据类型主要包括 Windows 系统数据、管理数据和用户数据等。如图 5所示。2.3.4计算机资源划分测发控系统计算机按照关键等级分为测试流程相关的计算机和非流程计算机，根据系统应用的图 3服务器集群资源池Fig.3Server cluster resource pool图 4虚拟化桌面Fig.4Virtualization desktop118第 40 卷 2023 年第 s1 期魏永国，等：运载火箭测发控系统服务器集群虚拟化的设计与实现关键等级划分，分配不同的计算机资源。按照计算机功能需求，在 CPU 计算、内存占用和存储空间使用上各有侧重。具体的计算机资源划分见表 2；针对 不 同 计 算 机 资 源 需 求，集 群 中 VM 资 源 分 配见表 3。2.3.5HA模式和 FT模式VM 是利用虚拟化管理软件，构建出由实体计算机组成的相同计算机，通常情况下分布在不同的服务器集群或同一个服务器集群，VM 之间相互独立，相 当 于 运 行 在 每 个 物 理 服 务 器 上 的 单 独进程11。VM 运行时，其管理单元虚拟机监视器（Virtual machine monitor，VMM）作为物理服务器和 VM 之间的中间层，可提供资源管理和其他服务，便于 VM有效地共享物理服务器的计算机资源。各 VM 向VMM 发送心跳信号，当心跳信号中断时间超过设定时间时，会触发 VM HA 模式或 FT 模式，以保证业务运行的可靠性。1）HA实现原理HA 是一种实现 VM 自动故障转移的技术，也是衡量一个虚拟化平台是否达到应用水平的重要指标12。在虚拟化平台中，一台物理的服务器上运行着多台 VM，如果服务器出现硬件故障或宕机，HA 模式会自动将 VM 转移到其他健康的主机上，从而确保 VM 的高可用性。HA 通过管理软件监测到的心跳信息来决定VM 的可用性。如果在用户指定的时间内没有收到图 5虚拟化管理界面Fig.5Virtualization management interface表 2计算机资源划分Tab.2Computer resource table序号123456计算机名称前置测试计算机主控计算机转发计算机数据库服务器专用显示判读终端通用用户终端数量3222430基本配置需求CPU 4核内存 8G存储 1TCPU 4核内存 8G存储 100GCPU 4核内存 8G存储 100GCPU 8核内存 8G存储 1TCPU 4核内存 8G存储 100GCPU 4核内存 8G存储 100G关键计算机是是是是否否功能侧重CPU 运算多线程运算CPU 运算多线程运算CPU 和内存CPU 运算和内存CPU 运算和内存备注实体机HA容错HA容错HA容错HA容错HA容错表 3VM 分配Tab.3Virtual machine allocation table序号12345678910VM 种类主控计算机转发计算机数据库服务器专用显示判读终端通用用户终端vCenter服务器View connection服务器View composer服务器MS SQL服务器AD服务器数量23243011111操作系统Windows 7Windows 7Windows server2008Windows 7Windows 7Windows server 2008Windows 2008Windows 2008Windows 2008Windows 2008配置4核 CPU；8GB内存；100GB用户盘4核 CPU；8GB内存；100GB用户盘8核 CPU；8GB内存；1T数据盘4核 CPU；8GB内存；100GB用户盘4核 CPU；8GB内存；100GB用户盘2核 CPU；16GB内存；120G数据盘4核 CPU；12GB内存；120G数据盘2vCPU；12GB内存；120G数据盘2vCPU；12GB内存；120G数据盘2vCPU；8GB内存；80G数据盘注：序号 68为虚拟化系统内部使用。119第 40 卷 2023 年第 s1 期上海航天（中英文）AEROSPACE SHANGHAI（CHINESE&ENGLISH）心跳，监控模块认为该 VM 发生故障，就会重新在集群中分配一块资源，将故障的 VM 在新的资源中重新启动。VM 的硬盘数据为永久保存，因此通过HA 恢复的 VM 相当于物理 PC 机的重新启动，原本写入硬盘的数据并未丢失，但临时存取器（Random Access Memory，RAM）中的数据不再存在。两台 VM 通过相互监测心跳信号实现 HA 功能的原理如图 6所示。HA 的特点是没有多占用集群资源池的资源，但其恢复过程需要一定时间（数十秒或数分钟），且应用程序需要重新启动并运行，对于测发控系统应用而言，与流程无关的计算机实体（如判读终端等）可以采用 HA 方式，缩短平均故障恢复时间，提升系统可靠性。2）FT实现原理FT 可为 VM 系统提供更高级别的可用性，通过创建两台完全相同的 VM，在故障发生时及时进行主备机切换替代，确保 VM 应用的连续性。FT允许用户对 VM 进行保护设置，防止主 VM 发生数据、事务或连接丢失等故障。HA 通过重新启动 VM 来解决 VM 故障，因此其缺点即存在宕机时间（几十秒到几分钟）。FT 通过主辅 VM 热切换的模式，与 HA 相比，FT 在可用性、数据保护、业务连续性等方面性能更优。在应用 VMFT 模式时，需要设置两台同样的VM（主 VM 和辅助 VM），如图 7所示。服务器集群管理系统会在另一台物理服务器上启动一个与原本一模一样的副本（称为辅助 VM），通过虚拟锁步（vLockstep）方式确保主 VM 和辅助 VM 的状态在VM 的指令执行的任何时间点均相同，虚拟锁步通常随主 VM 一起运行。服务器集群管理系统实时监测主 VM 上发生的输入和事件，并同步发送到正在另一主机上运行的辅助 VM 上。确保主 VM 和辅助 VM 始终保持在线状态，对于 VM 发生的故障可立即实现接替工作，保证用户业务流程无中断，为计算机系统提供 FT12。主 VM 和辅助 VM 的内存、寄存器状态、堆栈状态、虚拟 CPU 状态、存储以及所有虚拟硬件的动态信息均得到无缝热迁移，因此在一般情况下，用户不会遭遇服务中断和数据丢失的情况13。在 FT 模式下，主 VM 和辅助 VM 运行于不同的物理服务器上，因此单台物理服务器的硬件损坏不会对 FTVM 业务造成影响。如果主 VM 上运行的应用程序出错，不会触发 FT 机制；当主 VM 的操作系统（即运行于 VM 上的 Windows7）造成宕机（如蓝屏等）时，FT 机制会重启该 VM，应用程序业务无法恢复。对于操作人员和用户而言，VM 的键盘、鼠标输入和显示器的输出都在瘦终端上实现，瘦终端硬件配置简单，因此故障率相对于 PC 而言也较低，根据华为虚拟化用户手册 V5.0提供的数据，瘦终端的年失效率3%。瘦终端即使损坏，也仅相当于物理 PC 机的显示器、键盘、鼠标损坏，程序仍在集群中正常运行，只需更换另一台瘦终端即可。3试验验证及结果分析 3.1试验结果在 测 发 控 系 统 虚 拟 化 服 务 器 集 群 中，利 用Fusion Sphere 平台，远程登录 Fusion Computer 界面，开启不同客户 VM，监测客户端的内存使用率、CPU 占用率，综合在线瘦终端数量等因素，对客户端计算机关键资源的使用情况进行监控评估，系统性能评价见表 4。图 6HA实现原理Fig.6Principle of HA mode图 7FT实现原理Fig.7Principle of FT mode120第 40 卷 2023 年第 s1 期魏永国，等：运载火箭测发控系统服务器集群虚拟化的设计与实现3.2结果分析由表 4 可见，随着用户在线人数数量的增加，CPU 使用率和内存使用率的增加速率越来越慢，在用户数达到 41个之后相对稳定，而且没有出现服务器 CPU 使用率和内存使用率报警的情况，表明该系统在用户数量较多的情况下，服务器集群可以正常运行，能够适应大型试验任务的需求。为 验 证 虚 拟 化 服 务 器 集 群 的 可 靠 性，通 过Fusion Computer界面分别模拟各类测试处理。1）模拟瘦终端故障。系统测试流程中，断开其中瘦终端客户端电源，在其他瘦终端上使用原登录账户登录原 VM，VM 上应用软件运行正常，业务无影响；2）模拟 VM 主动软件迁移。系统测试流程中，选择一台 VM 进行“迁移”，选中的 VM 按照指令从一台物理服务器迁移到另外一台物理服务器中，整个过程 VM 和应用软件运行正常，无延时；3）模拟 VM 被动软件迁移（HA 模式下）。系统测试流程中，选择一台服务器，选择“下电”软件将该服务器上运行的 VM 关闭，在另外一台服务器上重新启动，VM 的重启时间约 4 min，应用软件需要重新运行；4）VM 被动硬件故障迁移试验（HA 模式下）。系统测试流程中，拔下一台服务器电源，VM 在另外一台服务器上重新启动，重启时间约 2 min；5）VM 的热备冗余试验（FT）。系统测试流程中，拔下 FT 集群中主用服务器电源（FT 模式下，仅能适用于 Windows server 2008 系统）VM 通信延时约 1 s，数据通信无丢失，VM 自动迁移到备用服务器中，应用软件运行正常。经过测试，该虚拟化服务器集群在终端虚拟化、HA、FT 方面可满足测发控系统业务需求，提高系统可靠性。4结束语 本文利用虚拟化技术构建测发控系统，将系统中所有的计算机资源共享管理，实现了测发控系统服务器集群虚拟化设计。按业务功能重新分配集群中的计算机资源，提高了系统中计算机资源利用率，解决了系统中服务器及用户终端计算机故障影响运载火箭测发流程节点等问题，消除了单点故障。通过试验验证，虚拟化服务器集群可满足测发控系统各业务需求，提高了测发控系统可靠性。参考文献1 苑顺周，李东.虚拟化技术在安检分层管理系统中的应用 J.警察技术，2021，1：80-83.2 李慧，邵静.基于最小化网络通信量的校园区域网虚拟化云数据中心构建 J.2020，15：18-22.3 刘志波，徐莉.服务器虚拟化技术在数据中心中的应用J.网络安全技术与应用，2018（10）：16-17.4 徐金生.基于 VMware 虚拟化技术的中职校数据中心设计与应用 D.江苏：南京邮电大学，2020.5 李辉.基于 Vmware 虚拟化技术的服务器集群的架构与应用 D.湖南：湖南大学，2017.6 詹声冠.基于 VMware 虚拟化技术的数据中心研究与试验 D.吉林：吉林大学，2015.7 陈治，刘明.服务器虚拟化技术及其应用 J.民营科技，2012，5：111-112.8 储久良，李玲.虚拟化技术在高校数据中心的应用 J.实验室研究与探索，2012，31（12）：67-71.9 钱忠民.基于 VMware vSphere的虚拟化架构的应用与实现 D.江西：华东交通大学，2017.10 华为桌面云官网.Fusion Access EB/OL.2017-04-12 http：/support.H VMWare 官 网.VMware Horizon 7 EB/OL.2016.https：/ 祝忠方.基于 VMware vSphere平台的服务器虚拟化技术在高校信息化建设中的应用 J.数字技术与应用，2018，36（12）：100-101.13 刘庆磊，信师国，李晓琳.虚拟化技术在 IT 运维管理中的应用研究 J.信息技术与信息化，2010，（1）：43-45.表 4系统性能评测Tab.4System performance evaluation在线瘦终端/台10203041CPU 使用率/%4.3510.5816.6427.13内存使用率/%12.1419.7725.3638.97121