医院信息系统容灾体系研究.pdf

C o m m u n i c a t i o n&I n f o r m a t i o n T e c h n o l o g y N o.4.2 0 2 3通信与信息技术2 0 2 3 年第4 期(总第2 6 4 期)医院信息系统容灾体系研究宋阳，邹健，周昕西南医科大学附属医院，四川泸州6 4 6 0 0 0摘 要：为保证医院数据安全和业务连续，解决医院容灾问题，研究了医院信息系统容灾体系建设方案。通过收集医院信息系统故障案例，总结故障类型及原因，研究容灾技术和管理制度，形成了容灾体系，验证是否达到预期目标。按照此体系设计并完成西南医科大学附属医院信息系统容灾系统建设，在真实故障中实现业务迅速恢复，数据未丢失，达到预期容灾效果。结果表明医院有必要建成信息系统容灾体系，可有效应对信息系统故障。关键词：容灾体系；信息系统故障；数据安全；业务连续中图分类号：R 1 9 7.3文献标识码：A文章编号：1 6 7 2-0 1 6 4(2 0 2 3)0 4-0 0 1 3-0 41 前言十三五以来，“互联网+医疗健康”工作取得重要成绩。信息系统一方面为医院传统医疗业务提供信息化服务，另一方面实现精准防疫、远程诊疗，有效防止交叉感染，保障了医护人员安全，推进了工作的开展凹。随着对信息系统的依赖性增加，国家和各级医院愈发重视信息系统稳定性和容灾能力。国家卫健委在2 0 2 0 年发布电子病历分级评估和医院智慧服务分级评估相关文件，将容灾能力作为评判医院信息化水平的重要标准，以评促建，落实各医疗机构开展容灾建设1 2 1。医院信息系统可能遭遇各种故障，也面临来自内外各方的安全威胁。容灾建设涉及到硬件、软件、制度及人员管理等大量工作。通过研究文献资料，归纳整理信息系统故障类型，研究容灾技术手段和管理方法，提出容灾体系，并以西南医科大学附属医院为例，按照规划进行建设，并检验真实故障发生时的容灾效果。2 医院信息系统故障类型互联网信息技术普及后，医院信息系统故障率升高。根据中国医院协会信息专业委员会(C H I M A)调查，2 0 1 8 年至2 0 1 9 年度，参与调研医院的核心系统非计划停机至少一次的比例为5 6.8 6 其中三级以下医院故障率更高3。具体故障类型如表1 所示：经卡方检验可知，三级医院与三级以下医院在服务器硬件故障、网络故障、机房故障和自然灾害方面具有极显著性差异 P 0.0 1 ,在数据库故障方面具有显著性差异 P 0.0 5 P 。表1 核心系统非计划停机情况 按医院级别分层三级医院 N=9 7 4 三级以下医院 N=9 3 5 核心系统非计划停机原因数量比例数量比例数据库故障服务器硬件故障网络故障机房故障操作系统故障病毒造成人为故障自然灾害无未知原因不知道2 0 3 12 0.8 4%1 9 8 2 0.3 3%1 8 4 1 8.8 9%1 0 6 1 0.8 8%6 46.5 7%5 55.6 5%4.7 2%4 61 41.4 4%4 3 0 4 4.1 5%1 51.5 4%1 61.6 4%1 5 32 4 52 3 91 4 57 86 24 23 73 2 63 31 71 6.3 6%2 6.2 0%2 5.5 6%1 5.5 1%8.3 4%6.6 3%4.4 9%3.9 6%3 4.8 7%3.5 3%1.8 2%为准确建立容灾体系，在C H I M A 调研基础上进一步总结故障类型和原因，分为物理故障和逻辑故障进行整理。2.1 物理故障(1)机房环境故障。机房环境可能受多种因素影响，类型包括：温度过高：精密空调外机过脏；内机滤网未清洗；压缩机高压或施压；空调电路故障田。电力失效：市电中断；U P S 机器故障或电池故障；配电柜过载；三相供电不均；接地失效或未接地时遭遇雷击；机房线路老化造成短路5。新风故障：新风系统未清洗造成机房扬尘。水浸：机房外墙未做防水或防水失效；室内墙体管道渗水；机房湿度高，内外温差大造成冷凝水。震动：新建筑修建，原有建筑改造时因爆破产生震动。生物入侵：昆虫、老鼠等生物入侵机房。(2)网络故障。网络故障类型包括：设备故障：硬件设备长期在线，导致设备C P U、内存、磁盘、风扇等部件损坏。线路故障：光纤或网线线路老化；生物破坏。配收稿日期：2 0 2 2 年1 1 月1 4 日；修回日期：2 0 2 3 年6 月1 4 日1 3通信与信息技术2 0 2 3 年第4 期(总第2 6 4 期)置不当：不同厂商设备不兼容；设备私接；设备同频段干扰；设备配置错误。网络攻击：网络窃听；网络欺骗攻击；拒绝服务攻击。(3)计算和存储设备故障。主要原因是服务器或存储设备部件损坏，性能下降或整体宕机。2.2 逻辑故障(1)数据错误。因各种因素导致数据成为“脏”数据而无法使用，类型包括：设计不当：数据库设计问题；应用程序设计问题；业务或数据流程设计问题。配置错误：数据库配置错误；应用服务配置错误；版本和兼容性错误。操作错误：软件维护操作错误；使用人员操作错误。(2)数据删除。有来自内外的两种威胁，包括：内部人员误操作或恶意删除。外部人员恶意攻击，如网络入侵、木马植入、病毒感染等。(3)数据泄露。数据泄露主要因为技术漏洞或监管不足，造成数据泄露或被窃取，不一定导致业务崩溃，但会带来更加严重后果和影响。3 医院容灾体系规划参考等级保护要求向，规划四个方面的容灾体系，研究了各个方面的技术手段和管理办法。3.1 容灾物理环境(1)构建双活数据中心。双活数据中心位于同城或同院区不同机房，无主备之分，互为备份并同时提供服务。承载医院所有业务，提供物理空间、网络、计算与存储资源的冗余，机房整体故障发生时业务自动切换，是容灾体系的总保障。(2)机房设计。严格参考机房设计标准8,满足物理建设要求：避免水浸，远离震动，做好防尘、防电磁、防生物入侵保护。(3)电力保障。大型医院需接入双路高压市电，同时自备发电机和U P S 电源1 9 1。机房三相供电均衡并且通过U P S稳压。U P S 电池容量根据机房设备功率调整，保证自备发电机生效前正常供电。(4)温度保障。机房使用风冷或水冷，冷却系统采用“N+1”冗余模式。合理布设机柜位置，冷热通道封闭隔离。3.2 容灾通信网络与区域边界(1)网络设备及链路冗余。内外网物理隔离，内网对外交互数据使用网闸。院区间和院内主干线路使用光纤并保证链路冗余。使用核心、汇聚、接入三层网络结构，核心设备堆叠。谨慎使用生成树协议避免环路出现产生网络风暴。灵活运用路由优先级，保证路由冗余及故障时自动跳转。有效配置并使用负载均衡设备。(2)安全设备及策略。准入控制、入侵检测、病毒防护、终端管理、堡垒机等设备旁挂于主链路。防火墙和路由器等三层设备配置最小访问控制策略，避免未授权用户接入内网。及时更新系统和软件补丁及病毒库，避免安全事件发生。(3)审计设备及策略。监控数据流向，避免核心数据泄露。3.3 容灾计算资源(1)双活存储。双活存储技术是部署两套存储，通过硬件存储网关或存储控制器，同步两套存储底层数据0 。任意存储出现磁盘或计算故障时，服务可延续。双活存储主要用于保存结构化数据，是医院信息系统的核心数据。(2)超融合资源池。超融合技术是虚拟化的一种扩展，在同一套设备中具备计算、网络、存储和服务器虚拟化等资源，还包括软件备份、快照技术、重复数据删除、在线数据压缩等元素，且多套设备可通过网络聚合 0 。超融合资源池可用于部署数据库及各类应用服务器。由于存在多副本机制，可保证业务数据至少保存双副本，在单个硬件节点故障时，备份副本可支撑业务连续和数据安全。有条件的情况下可部署跨院区的故障域，提升容灾级别。(3)数据库备份。数据库有全备、增量备份和差异备份等备份策略。根据备份数据量和恢复速度可实际选取“全备+增量备份”或“全备+差异备份”,保全备份时间节点前的数据。若考虑恢复时间粒度更小，则可以选取数据库容灾方法，即基于软件的数据复制技术，实现不同的硬件平台、操作系统和数据库之间的数据复制1 ,保证数据实时同步。(4)连续数据保护。使用传统备份间隔时间长、资源开销大、恢复时间不可预估；数据容灾复制技术需要完备的数据稽核手段，验证数据是否可用，且操作较复杂；两种方法都有业务中断时间。连续数据保护是基于存储块级的持续数据保护手段。通过捕捉卷或者磁盘上块级数据改动，提取数据改动的I O 指令形成I O 日志，传输到容灾和备份系统进行存储。连续数据保护具备强大的实时同步功能，可选择同步时间颗粒度，存储同步不消耗主机资源，操作简单，恢复迅速 1 2 1,主要用于保护部署各类应用服务、中间件等虚拟化服务器，迅速恢复到故障时间节点，也可以与数据库备份配合，保护2 4 小时内的数据库数据，2 4 小时外数据从备份恢复。在虚拟化愈发普及的情况下，连续数据保护是保证医院业务连续和数据安全的重要手段，也是容灾体系重要一环。3.4 容灾管理制度(1)建立标准的管理机构，从顶层开始重视医院容灾体系。确定专职管理人员，重视人员职业技能，加强培训并确定考核办法。(2)建立标准的容灾制度和应急预案，故障发生时使用合理手段迅速定位，按照标准流程操作，避免人为操作失1 4运营一线医院信息系统容灾体系研究误引发二次事故。事后详细分析原因，形成故障报告。(3)完善巡检制度。容灾演练需常态化，避免容灾体系流于形式。4 院区容灾体系建设情况4.1 建设内容根据规划，院区容灾体系建设如图1 所示：(1)新老院区位于两江交汇处，距离约1 3 公里，院区内各有一个主机房和汇聚机房，属于同城异地机房，做到了容灾物理环境隔离。机房按照B 类机房设计，保证电力供应，温度管控。(2)院区间通过双运营商波分设备连接，每家运营商部署两条不同路由的光纤。院内核心交换机、汇聚交换机分别部署于两个机房，通过冗余光纤线路完成堆叠。做到通信网络线路和设备冗余。(3)设置专属D M Z 区，主链路部署防病毒网关、上网行为管理等设备，主链路旁挂态势感知、安全探针、准入控制等设备。完成区域边界管控。(4)双院区部署两套双活存储，放置核心结构化数据，存储之间I O 复制，完成数据连续保护。双院区部署超融合资源池，形成跨院区故障域，放置各种虚拟化应用服务器。完成了部分容灾计算资源保护。(5)设立合理的组织架构，信息化由院长直管。网络管理中心设定专职岗位，定期培训并进行演练，形成管理制度、演练手册、应急预案等相关文档。完成了容灾管理制度。重健中心局区机房核心文视机监内受换机，推音线路中心院区诊机房一探尤纤线路黑通波分设备核心交热机合眼务数院区内文换机担分线路核心交换机联通波分设备核心交热机图1 西南医科大学附属医院容灾体系建设结构图4.2 故障案例(1)故障案例1:2 0 2 0 年5 月5 日雷暴天气。市变电站遭受雷击，老院区双路供电失效，同时院内U P S 电池故障，导致老院区机房整体断电，新院区供电正常。此时跨院区双活存储与超融合资源池已建成。核心数据库放置于双活存储中，断电后未出现中断。虚拟化应用服务器位于超融合资源池中，断电后跨故障域副本立即于新院区重启，业务中断时间不超过1 0 分钟。(2)故障案例2:2 0 2 0 年7 月1 6 日暴雨。老院区主机房修建时间较长出现渗水，部分机柜受到影响。为保证物理设备安全，中断机柜电源。断电前有计划迁移物理设备承载的虚拟服务器到新院区，业务未中断。(3)故障案例3:2 0 2 0 年1 1 月2 4 日安全测评工作。测评过程中发现超融合资源池底层操作系统N F S 共享漏洞，核实完成后由于操作不严谨，误删除资源池中所有虚拟服务器文件。由于删除操作属于逻辑操作，双副本同时清除。此时还未上线连续数据保护，但超融合资源池自带缓存保护，业务未中断，数据未丢失。后续进行了文件恢复工作。院区持续开展容灾建设已有三年，在以上故障案例发生时，已建成双活数据中心，故成功抵御两次严重物理故障。在逻辑保护上，虽成功抵御一次误删除事件，但不具备连续数据保护，不能保证数据可实时回滚，仍需持续加强建设。5 结语医院需要通过容灾保障信息系统数据安全和业务连续。完备的容灾体系应包含硬件、软件、制度和人员管理等方面的工作。建立详细的容灾体系，使用成熟的容灾技术，明确各岗位分工职责，规范操作流程并加强演练，有助于故障发生时迅速定位，快速恢复，保证医院业务正常开展。参考文献 1 杨永燕，李晶晶.盘点医疗信息化2 0 2 0 年十大事件 E B/O L .(2 0 2 0-1 2-3 0)2 0 2 3-3-2 0 .h t t p s:/w w w.c h i m a.o r g.e n/H t m l/N e w s/A r t i c l e s/8 5 2 9.h t m l.2 宋阳，范根，郝泽余，邹健.医院双院区超融合资源池设计与建设 J .中国数字医学，2 0 2 1,1 6(0 5):7 0-7 4.3 中国医院协会信息专业委员会.2 0 1 8-2 0 1 9 年度中国医院信息化状况调查报告 E B/O L .(2 0 1 9-0 9-0 1)2 0 2 3-3-2 0 .h t t p s:/w w w.c h i m a.o r g,e n/H t m l/N e w s/A r t i c l e s/4 8 7 8.h t m l.4 傅昊阳.医院信息系统典型故障案例解析 M .北京：人民卫生出版社，2 0 1 9.5 韩燕.近年来通信电源故障的分析与总结 J .电子技术与软件工程，2 0 1 9,(0 3):2 2.6 国家市场监督管理总局，中国国家标准化管理委员会.信息安全技术网络安全等级保护基本要求：G B/T 2 2 2 3 9-2 0 1 9 S .全国信息安全标准化技术委员会，2 0 1 9.7 汪兆来.基于存储虚拟化技术的双活数据中心医院信息系统容灾平台研究与设计 J .中国医学装备，2 0 1 5,1 2(0 9):6 5-6 8.8 余安，任晓峰，杨德清，等.计算站场地技术条件：G B 2 8 8 7-8 9 S .全国计算机与信息处理标准化技术委员会，1 9 8 2.9 赵太新，张召，李树清.提高医院供电系统可靠性的方法 J .中国医院建筑与装备，2 0 2 1,2 2(0 1):9 5-9 6.1 5通信与信息技术2 0 2 3 年第4 期(总第2 6 4 期)1 0 黄国兴，王东，陈光生.医院数据中心虚拟化架构探讨 J .医学信息学杂志，2 0 1 9,4 0(0 1):2 6-2 9.1 1 宋阳，郝泽余，刘坤尧.医院跨平台容灾数据库的设计与实现 J .中国数字医学，2 0 1 9,1 4(0 2):8 8-9 0.1 2 王建英，黄士琴.基于C D P 技术的医院信息系统数据备份与保护 J .数字技术与应用，2 0 1 9,3 7(0 8):1 6 7-1 7 0.作者简介宋阳(1 9 8 9-),男，硕士，工程师，主要研究方向：无线通信、医院信息化建设。T h e r e s e a r c h o f d i s a s t e r r e c o v e r y s y s t e m f o r t h e h o s p i t a l i n f o r m a t i o n s y s t e mS O N G Y a n g,Z O U J i a n,Z H O U X i nT h e A f f i l i a t e d H o s p i t a l o f S o u t h W e s t M e d i c a l U n i v e r s i t y;L u Z h o u,6 4 6 0 0 0,C h i n aA b s t r a c t:I n o r d e r t o e n s u r e h o s p i t a l d a t a s e c u r i t y a n d b u s i n e s s c o n t i n u i t y a n d s o l v e t h e d i s a s t e r r e c o v e r y p r o b l e m o f h o s p i t a l,t h i s p a p e r s t u d i e s t h e d i s a s t e r r e c o v e r y s y s t e m c o n s t r u c t i o n s c h e m e o f h o s p i t a l i n f o r m a t i o n s y s t e m.B y c o l l e c t i n g f a u l t c a s e s o fh o s p i t a l i n f o r m a t i o n s y s t e m,s u m m a r i z i n g t h e f a u l t t y p e s a n d c a u s e s,s t u d y i n g d i s a s t e r r e c o v e r y t e c h n o l o g y a n d m a n a g e m e n t s y s t e m,f o r m i n g a d i s a s t e r r e c o v e r y s y s t e m a n d v e r i f y i n g w h e t h e r t h e e x p e c t e d g o a l i s a c h i e v e d.A c c o r d i n g t o t h i s s y s t e m,t h e d i s a s t e rr e c o v e r y s y s t e m o f t h e i n f o r m a t i o n s y s t e m o f t h e A f f i l i a t e d H o s p i t a l o f S o u t h w e s t M e d i c a l U n i v e r s i t y w a s d e s i g n e d a n d c o m p l e t e d,a n d t h e b u s i n e s s w a s q u i c k l y r e c o v e r e d i n t h e r e a l f a u l t,t h e d a t a w a s n o t l o s t,a n d t h e e x p e c t e d d i s a s t e r r e c o v e r y e f f e c t w a s a c h i e v e d.T h e r e s u l t s s h o w t h a t i t i s n e c e s s a r y t o b u i l d a n i n f o r m a t i o n s y s t e m d i s a s t e r r e c o v e r y s y s t e m i n h o s p i t a l,w h i c h c a n e f f e c t i v e l y d e a lw i t h i n f o r m a t i o n s y s t e m f a i l u r e s.K e y w o r d s:D i s a s t e r r e c o v e r y s y s t e m,I n f o r m a t i o n s y s t e m f a i l u r e s,D a t a s e c u r i t y,S e r v i c e c o n t i n u i t y(上接第1 2 页)1 9 1 吴仁彪，王文益，卢丹，王璐，贾琼琼.卫星导航自适应抗干扰技术 M .北京：科学出版社，2 0 1 5:1 4 7-1 6 1.1 0 贾琼琼，吴仁彪，王文益，卢丹，王璐.基于W R E L A X 的小运算量G N S S多径干扰抑制算法 J .数据采集与处理，2 0 1 8,3 3(0 3):4 6 9-4 7 6.作者简介朱奎宝(1 9 7 2 一),男，博士，教授。主要研究方向：主要从事系统协同导航技术研究。E-m a i l:z h u k u i b a o 1 6 3.c o m郭广源(1 9 9 6 一),男，主要研究方向：G P S 多径信号的抑制研究。E-m a i:8 1 2 2 5 8 0 1 4 a q g.c o mI n f l u e n c e o f m u l t i p a t h s i g n a l o n s a t e l l i t e r e c e i v e r a n d r e s e a r c h o n t i m e d o m a i ns u p p r e s s i o n a l g o r i t h mZ H U K u i b a o,G U O G u a n g y u a n,D U y u n,W E N Z i q i n g,D E N G C h e n g b i n,K A N G H a o n a nS c h o o l o f E l e c t r i c a l E n g i n e e r i n g,H e b e i U n i v e r s i t y o f S c i e n c e a n d T e c h n o l o g y;S h i j i a z h u a n g,0 5 0 0 1 8,C h i n aA b s t r a c t:A i m i n g a t t h e m u l t i p a t h e r r o r p r o b l e m o f s a t e l l i t e n a v i g a t i o n s y s t e m,a m u l t i p a t h e f f e c t m o d e l i s e s t a b l i s h e d,a n d t h ei n f l u e n c e o f c a r r i e r t r a c k i n g l o o p a n d p s e u d o-r a n d o m c o d e t r a c k i n g l o o p i n m u l t i p a t h e n v i r o n m e n t i s a n a l y z e d b y u s i n g t w o q u a d r a n ta r c t a n g e n t p h a s e d i s c r i m i n a t o r a n d E M L p h a s e d i s c r i m i n a t o r.I n t h e a s p e c t o f m u l t i p a t h s u p p r e s s i o n a l g o r i t h m,M E D L L a n dW R E L A X a l g o r i t h m a r e u s e d t o s u p p r e s s m u l t i p a t h s i g n a l s a n d s i m u l a t e d,a n d t h e p e r f o r m a n c e o f t h e t w o a l g o r i t h m s f o r m u l t i p a t hs i g n a l s u p p r e s s i o n i s c o m p a r e d a n d a n a l y z e d.T h e e x p e r i m e n t s h o w s t h a t d i f f e r e n t m u l t i p a t h s i g n a l s h a v e d i f f e r e n t e f f e c t s o n t h er e c e i v e r a n d h a v e d i f f e r e n t d e g r e e s o f i n f l u e n c e o n t h e r e c e i v e r t o s o l v e t h e r e a l s i g n a l.I n t e r m s o f m u l t i p a t h s u p p r e s s i o n,W R E L A Xa l g o r i t h m i s b e t t e r t h a n M E D L L a l g o r i t h m i n s u p p r e s s i n g m u l t i p a t h s i g n a l s,a n d t h e e s t i m a t i o n e r r o r i s s m a l l e r.K e y w o r d s:S a t e l l i t e n a v i g a t i o n s y s t e m,M u l t i p a t h s i g n a l,R e c e i v e r,M E D L L,W R E L A X1 6