基于多模态融合技术的高校突发安全事件处理VR智慧学习系统设计.pdf

2 0 2 4年2期 5 7 2 0 2 4年第4 6卷第2期基于多模态融合技术的高校突发安全事件处理V R智慧学习系统设计赵秋锦 杨鹏飞 赵玉芹基金项目:河南省高等学校重点科研项目:基于多模态融合技术的高校突发安全事件处理V R智慧学习系统研究(2 3 B 5 2 0 0 4 7);河南省高等学校重点科研项目:基于模糊神经网络算法的隧道照明智能控制系统研究(2 2 B 5 2 0 0 5 2)作者简介:赵秋锦(1 9 8 9-),硕士,讲师,研究方向为计算机应用、虚拟现实技术应用等。(郑州职业技术学院 郑州4 5 0 0 1 0)摘 要 文中依托学校“虚拟现实工程技术中心”“国家级职业教育示范性虚拟仿真实训基地培育项目”的技术优势和人才团队,基于多模态融合技术,设计了面向高校师生的突发安全事件处理V R智慧学习系统,构建了V R智慧学习体系。该系统采用先进的系统设计、创新的方法和创新的评估体系,运用多模态识别技术和多模态融合交互技术,可以全面模拟还原疫情防控、火灾逃生、地震灾害、防汛应急、心肺复苏、骨折脱臼、出血处理等7种突发安全事件场景,通过智慧学习、智慧教学、智慧评价等过程以及系统所具有的跨平台、可视化、高仿真等特点,全面提升高校师生应急素养。关键词:V R学习系统;智慧教育;多模态融合技术;安全事件处理中图分类号 G 4 3 4D e s i g no fV RI n t e l l i g e n tL e a r n i n gS y s t e mf o rU n i v e r s i t yE m e r g e n c yS e c u r i t yI n c i d e n tP r o c e s s i n gB a s e do nM u l t i-m o d a lF u s i o nT e c h n o l o g yZ HAOQ i u j i n,YAN GP e n g f e i a n dZ HAOY u q i n(Z h e n g z h o uT e c h n i c a lC o l l e g e,Z h e n g z h o u4 5 0 0 1 0,C h i n a)A b s t r a c t T h ep r e v e n t i o na n dh a n d l i n go fs e c u r i t ye m e r g e n c i e s i nc o l l e g e sa n du n i v e r s i t i e s i sat e a c h i n gu n i to fs e c u r i t ye d u c a t i o nt h a t c o l l e g e s t u d e n t sm u s t s e t u p,a n d i t i s a l s oak n o w l e d g e a n ds k i l l t h a t c o l l e g e t e a c h e r s,c o u n s e l o r s a n d r e l a-t e ds t a f fm u s tm a s t e r.W h e t h e r t h e yh a v e t h ea b i l i t y t od e a lw i t he m e r g e n c i e sa n de m e r g e n c y l i t e r a c y i nc o l l e g e sa n du n i-v e r s i t i e s i sn o t o n l y r e l a t e d t o t h ep r o f e s s i o n a l d e v e l o p m e n t o f t e a c h e r s,b u t a l s o a f f e c t s t h e l i f e s a f e t ya n dh e a l t ho f c o l l e g es t u d e n t s.T h i sp a p e r r e l i e so nt h e t e c h n i c a l a d v a n t a g e sa n dt a l e n t t e a mo f t h es c h o o l s“V i r t u a lR e a l i t yE n g i n e e r i n gT e c h-n o l o g yC e n t e r”a n d“N a t i o n a lV o c a t i o n a lE d u c a t i o nD e m o n s t r a t i o nV i r t u a l S i m u l a t i o nT r a i n i n gB a s eC u l t i v a t i o nP r o j e c t”,a n db a s e do nm u l t i-m o d a l f u s i o n t e c h n o l o g y,d e s i g n s aV Ri n t e l l i g e n t l e a r n i n g s y s t e mf o r e m e r g e n c y s e c u r i t y i n c i d e n t h a n-d l i n gf o rc o l l e g e t e a c h e r sa n ds t u d e n t s,a n db u i l d saV Ri n t e l l i g e n t l e a r n i n gs y s t e m.T h i s s y s t e ma d o p t sa d v a n c e ds y s t e md e s i g n,i n n o v a t i v em e t h o d s,a n d i n n o v a t i v ee v a l u a t i o ns y s t e m,u t i l i z i n gm u l t i m o d a l r e c o g n i t i o nt e c h n o l o g ya n dm u l t i m o-d a l f u s i o n i n t e r a c t i o n t e c h n o l o g y.I t c a nc o m p r e h e n s i v e l ys i m u l a t ea n dr e s t o r e s e v e ne m e r g e n c ys a f e t ye v e n t s c e n a r i o s,i n-c l u d i n ge p i d e m i cp r e v e n t i o na n dc o n t r o l,f i r ee s c a p e,e a r t h q u a k ed i s a s t e r,f l o o dp r e v e n t i o ne m e r g e n c y,c a r d i o p u l m o n a r yr e s u s c i t a t i o n,f r a c t u r ed i s l o c a t i o n,a n db l e e d i n g t r e a t m e n tT h r o u g h t h ep r o c e s so f i n t e l l i g e n t l e a r n i n g,i n t e l l i g e n t t e a c h i n ga n d i n t e l l i g e n t e v a l u a t i o n,a n d t h e c h a r a c t e r i s t i c s o f c r o s s-p l a t f o r m,v i s u a l i z a t i o na n dh i g hs i m u l a t i o no f t h e s y s t e m,t h e e-m e r g e n c y l i t e r a c yo f c o l l e g e t e a c h e r sa n ds t u d e n t sc a nb ec o m p r e h e n s i v e l y i m p r o v e d.K e y w o r d s V Rl e a r n i n gs y s t e m,I n t e l l i g e n t e d u c a t i o n,M u l t i-m o d a l f u s i o nt e c h n o l o g y,S e c u r i t ye v e n tp r o c e s s i n g1 研究背景高校突发安全事件预防与处理是高校大学生必须开设的安全教育教学单元,也是高校教师、辅导员及相关工作人员必须掌握的知识技能。是否具备高校突发事件处理能力和应急素养,既关系到教师的职业发展,又影响大学生的生命安全与健康。基于多模态融合技术的高校突发安全事件处理V R智慧学习系统具有如下两大背景。1.1 国家对高校突发安全事件处理能力的新要求 普通高等学校学生管理规定 普通高等学校消防安全工作指南 高等学校校园秩序管理若干规定 学生伤害事故处理办法 等政策明确提出,要提升广大高校教师及工作人员妥善处理和应对突发事件的能力。同时,普通高等5 8 2 0 2 4年2期学校学生安全教育及管理暂行规定 中明确提出,“高等学校学生人身安全教育及管理的主要任务是:宣传、贯彻国家有关安全管理的方针、政策、法律、法规,对学生实施安全教育及管理,妥善处理各类安全事故,引导学生健康成长。学校应根据环境、季节及有关规律进行防盗、防火、防特、防病、防事故等方面的教育,并使之经常化、制度化。1”因此,安全教育及突发事件处理已成为高等学校必须完成的工作任务。1.2 虚拟现实技术对智慧学习的促进2 0 2 1年,中国电子信息产业发展研究院发布 虚拟现实产业发展白皮书(2 0 2 1年)2,指出全球虚拟现实产业进入新一轮爆发期。2 0 1 7年7月,教育部办公厅发布了 关于2 0 1 7-2 0 2 0年开展示范性虚拟仿真实验教学项目建设的通知,结合高校学科门类中相关专业的布局和发展状况,同时根据大学实验教学信息化发展要求以及各种专业类实验室目前的建设情况,截至2 0 2 0年计划认定1 0 0 0个虚拟仿真实验教学项目3。在2 0 1 7-2 0 2 0年示范性虚拟仿真实验教学项目建设规划中,各大学科、不同类型的虚拟仿真实验教学平台相继出现。通过对各个虚拟现实平台的调研可以发现,面向高校突发安全事件处理V R智慧学习系统的研究非常少。本文利用多模态融合的虚拟现实技术,对真实情境中发生的典型突发事件进行模拟,通过虚拟实时仿真、多通道感知(视、听、触、嗅)等交互方式,将应急知识和技能融入模拟的实训情景中,以培养高校师生突发安全事件处理能力,为学生的生命安全和健康提供保障。2 系统设计2.1 系统内容设计该系统依托学校“虚拟现实工程技术中心”“国家级职业教育示范性虚拟仿真实训基地培育项目”的技术优势和人才团队,基于多模态融合技术,设计了开发面向高校师生的突发安全事件处理V R智慧学习系统,构建了V R智慧学习体系(见图1)。图1 V R智慧学习系统该系统设置了学习、练习、考核3种学习模式,尽可能地模拟还原疫情防控、火灾逃生、地震灾害、防汛应急、心肺复苏、骨折脱臼、出血处理等突发安全事件场景,通过智慧学习、智慧教学、智慧评价等过程以及系统所具有的跨平台、可视化、高仿真等特点,达到“提升高校师生应急素养”的目标与结果,让每位高校师生都能成为自己和他人生命安全与健康的守护者。2.2 系统功能模块设计本文中的V R智慧学习系统的功能模块如图2所示,系统以多模态融合虚拟现实技术、多媒体技术和网络技术为依托,采用面向服务的软件架构开发高校突发事件处理V R智慧学习系统,集情景仿真、创新设计、虚拟实验过程和教学管理于一体,是具有良好自主性、交互性和可扩展性的V R智慧学习平台。该V R智慧学习系统主要包括虚拟平台、虚拟资源库、虚拟数据系统和虚拟管理系统。图2 V R智慧学习系统功能模块 (1)虚拟平台支持方案生成、身份认证、运行控制任务、资源存储服务、权限服务、数据的管理、发布等。(2)虚拟资源库主要支持基础元件库、三维模型库、课程知识单元资源库、场景库等的存取和管理。移动信息2 0 2 4年2期 5 9 (3)虚拟数据系统支持多种类型虚拟学习组件,包括学习实例、学习内容、学习数据、用户信息等,从而实现对相应数据的存放和管理等4。(4)虚拟管理系统具有用户成绩评定、数据统计分析、用户学习效果分析、资源分析服务、系统日志管理、学习过程数据库、考核数据库、学习数据管理等功能。3 系统特色与创新3.1 系统设计先进该系统以学生为应急保护的对象,依据国际公认的第一反应者(F i r s tR e s p o n d e r)、院前急救(P r e-h o s p i t a lE m e r-g e n c y)、紧急医疗响应者(E m e r g e n c yM e d i c a lR e s p o n d e r)等急救理论以及情境教学、具身认知等教学理论设计实验,确定实验的程序、环节和要点,确保了处理流程设计的前瞻性和可操作性5。系统将使用智能自适应引擎技术和多模态融合技术,依据知识库、场景库和学习过程库,为学习者确定学习起点、智能推送学习内容、智能生成学习场景、智能规划学习路径、智能评测学习结果。3.2 方法创新该系统以高校突发安全事件处理能力为目标,通过实施智慧学习、智慧教学、智慧评价的过程与方法,结合已经发生的真实情景和案例,让高校师生深入观察和分析突发事件处理的关键步骤、处理方法和核心指标。高校师生沉浸在高度仿真的虚拟情景中,能全面掌握突发事件处理的理论和实践技能。其中,智慧学习虚实结合的情境学习,教学法在传统课堂讲授的基础上创设虚拟情景实训,以解决实验情景不真、实验体验不深等问题;智慧教学设计高保真的虚拟情景,开展交互学习、个性学习,让高校师生身临其境,同时系统会及时反馈学习结果,使学习者从系统反馈中进行思考;智慧评价通过使用智能自适应引擎技术,对学习者的学习结果进行测评与展示,同时依据知识库、场景库和学习过程库,为高校师生确定学习起点、智能推送学习内容、智能生成学习场景、智能规划学习路径、智能评测学习结果。3.3 评价体系创新(1)情景嵌入式评价采用国际流行的情景嵌入式评价,将试题测试、操练考核等评价内容融入到涉及的7个典型训练情景中。在高校师生使用过程中,实现无感知采集学习过程、学习时间、学习兴趣等学习数据,并基于学习数据进行综合评价。(2)过程性与全维度评价在虚拟情境中,高校师生可以与虚拟对象进行交互,通过虚拟对象的反应,能及时知道自己应急操作的不当之处。此外,需综合分析学习过程记录,重视过程性学习评价。其中,评价维度涉及知识、技能和心理等诸多方面,以对高校师生进行全维度评价。(3)智能自适应评价系统采用智能自适应算法实现初步的自适应学习,并自动记录高校师生关键操作步骤,自动反馈操作结果,同时结合先期测验结果进行考核题目的适应性选择,重点考核每位师生训练过程中的易错步骤和知识点,进而开展初步的个性化评价与反馈。4 结语本文设计的系统主要采用多模态融合技术,对高校突发安全事件处理V R智慧学习系统进行设计,通过对7种常见的突发事件场景进行虚拟还原,实施问题导向、虚实结合、智能适应的学习方法,从而提升高校师生对各种突发事件的应急处理能力,让高校教师和学生成为自己和他人生命安全与健康的守护者。参考文献1普通高等学校学生安全教育及管理暂行规定E B/O L.h t t p s:j x j y.n w n u.e d u.c n/i n d e x.p h p/z x k s/a r t i c l e s/q 8 l o J E 1 3 4/z x-g z z d,2 0 2 3-1 0-2 8.2虚拟现实产业发展白皮书E B/O L.h t t p:k.s i n a.c o m.c n/a r t i c l e_7 7 3 0 7 5 6 9 7 2_1 c c c 9 f d 6 c 0 0 1 0 1 2 o m 5.h t m l,2 0 2 3-1 0-2 8.3张连明,李旦,李建平,等.多维度探索提升化学虚拟仿真实验的教学效果与改革实践J.创新创业理论研究与实践,2 0 2 2,5(2 4):3 8-4 1.4张俊,冯杰才,袁军亭.激光加工虚拟仿真实验系统设计与开发J.实验室科学,2 0 2 1,2 4(6):1 7 1-1 7 4.5杨现民.中小学课堂突发安全事件处理虚拟仿真实验E B/O L.h t t p s:w w w.i l a b-x.c o m/d e t a i l s/p a g e?i d=4 0 7 9&i s V i e w=t r u e,2 0 2 3-1 0-2 8.移动信息