基于VR技术的护理实训沉浸式教学系统设计.pdf

Microcomputer Applications Vol.39,No.8,2023文章编号：10 0 7-7 57 X（2 0 2 3)0 8-0 17 3-0 4教育探索基于VR技术的护理实训沉浸式教学系统设计微型电脑应用2 0 2 3年第39 卷第8 期姚展妮，刘团会*，钟亚楠（铜川职业技术学院，孙思渺医学院，陕西，铜川7 2 7 0 31）摘要：为了增强护理的教学、实训方式的便捷性和多元性，提出了一种基于VR技术的护理实训直播教学系统，通过VR虚拟现实技术与网络直播技术的结合实现了由平面化教学向沉浸式互动教学的转变。利用Android系统内置的OpenGL和GLsurfaceView模块完成了VR视频播放器的设计，通过拟直播的方式实现了直播效果的高清化和流畅化。该系统对于护理实训模式改革的推进和教学效果的提升具有非常重要的作用。关键词：VR技术；护理实训；直播系统；Android系统中图分类号：TP391.9Design of Immersive Teaching System for Nursing Training(Sun Simiao Medical College,Tongchuan Vocational and Technical College,Tongchuan 727031,China)Abstract:In order to enhance the convenience and diversity of nursing teaching and training methods,a nursing training livebroadcast teaching system based on VR technology is proposed.Through the combination of virtual reality(VR)technologyand network live broadcast technology,the transformation from planar teaching to immersive interactive teaching is realized.The design of VR video player is completed by using the OpenGL and GLsurfaceView modules built-in in Android system,andthe HD and fluency of live broadcast effect are realized by means of proposed live broadcast.The system plays a very importantrole in promoting the reform of nursing training mode and improving the teaching effect.Key words:VR technology;nursing training;live broadcasting system;Android system0引言随着计算机网络技术的快速发展，远程教学模式在传统教育行业中迅速普及，VR虚拟现实技术的成熟使课堂教学内容更加直观的向学生进行展示1。本文提出并设计了一种基于VR技术的护理实训直播教学系统，将虚拟现实技术与网络直播技术进行有机融合，突破了平面多媒体教学的局限性，使护理实训教学摆脱了空间与时间的束缚，极大地提升了实训课程的教学效果。1系统总体设计系统用户主要包括两个群体：一是在校学生用户，通过校内局域网按课程表学习实训课程；二是具有学习需求的非学生用户，通过互联网随时参与实训课堂。1.1局域网中的课程直播当前的网络设备与传输速度难以满足高清直播的技术要求，因此以虚拟直播的方式开展课堂教学，即在教学楼、图书馆、学生宿舍等设施内安装机顶盒路由器，构建校内局域网VR直播教学网络2 。系统按照课程表的安排提前缓存作者简介：姚展妮（198 1一），女，硕士，副教授，研究方向为护理教学；钟亚楠（1990 一），女，本科，助教，研究方向为护理教学。通信作者：刘团会（196 8 一），男，本科，教授，研究方向为护理教学。文献标志码：ABased on VR TechnologyYAO Zhanni,LIU Tuanhui*,ZHONG Yanan缓存资源定时播放内容共享图1面向校内局域网的系统架构为了实现教室教学场景下的师生互动，系统基于Socket进行教师端与学生端的通信连接。教师端可通过机顶盒路由器观察在线学生的课堂状态，在教师端和学生端均设置了提问与回答的功能，以便师生之间随时进行交流和沟通。拟直播的课程展示方式保证了VR视频的清晰度，Socket通信实现了师生间的实时互动，二者的结合充分体现了VR直播教学的课程完整性和授课便捷性3。1.2互联网中的课程直播系统为互联网中的非学生手机用户建立了用户档案，用.173下一堂课程的教学内容，到达设定的上课时间后，教师端所在的主机开始以组播的方式向学生端发送课堂内容影像，从而解决了多次拷贝视频资源和重复占用网络带宽的问题。面向校内局域网的系统架构如图1所示。路由机顶盒设备移动终端、可穿戴设备Microcomputer Applications Vol.39,No.8,2023于记录用户的个人资料、课程收藏、课程预约、课程点赞、浏览历史等信息，并通过定期对这些信息的统计分析不断完善用户档案，从而能够以其为依据向用户进行更为精准的智能推荐。用户登录系统的次数越多，在线时间越长，其档案信息越为细致和完整。互联网用户的手机客户端主要包括课程预告、课程推荐、VR直播、往期课程等4个功能模块。用户可以通过课程预告模块了解后续时段的课程安排，以订阅或收藏的方式提醒自已按时参加课程。课程推荐模块根据现有的用户档案信息为其推送可能感兴趣的课程，使其知悉课程的时间安排。通过VR直播模块，用户可以观看当前正在播放的课程内容，使其能够不受时间与地域的限制，随时随地参与课程教学。如果错过了之前的某些课程，用户可以在往期课程模块找到相关课程并观看课堂教学的视频回放。将虚拟现实技术应用于护理实训课程远程教学，打破了传统意义上课堂在时间和空间上对学生的限制，同时又以立体图像还原了课堂的场景，极大地提高了远程课堂的教学效谊染器初始化onSurfaceGLSurfaceViewCreatedo初始化mGLSurfaceView.setRenderer(mSphereVideoRenderer)设置播放源DsdhMediaSource准备资源Player-prepare(videoSource)使用渣染器SphereVideoRendererGLSurfaceView事件处理onResurmeO,onPauseO播放视频控制MyMediaControllerVR视频的播放控制基于IJKPlayer播放器实现，为了贴合本系统视频的播放要求，对该播放器的原有播放控制组件进行了改进，在FrameLayout的基础上定义了一个My-MediaController，进而能够完成VR视频的播放/暂停、播放教育探索果和学生的学习效率。2系系统关键技术的实现2.1VR影像系统所提供的实训课堂VR视频通过Android手机上安装的VR播放器呈现，用户佩戴专用的VR眼镜即可实现三维立体效果，但目前市场上没有开源的VR播放器4，因此本次研究基于VR影像的实现原理开发了一种功能完备的VR播放器。VR播放器的技术难点有两个，即视频播放的控制与VR效果的染。VR视频的每一个帧都是一张全方位立体影像，因此VR效果的染主要依靠球形空间的绘制和全景影像的纹理贴图，且在贴图完成后要通过投影和相机视图以及窗口的裁剪实现视角的自由切换5。本文利用Android系统内置的OpenGLES和GlsufaceView模块分别进行视频内容的谊染和展示。VR视频的煊染显示流程6 如图2所示。准备球体和纹理坐标initSphereCoordsO准备着色器makeProgramo为播放器设置surfaceplayersetVideoSurface(surfase)其他OpenGL环境初始化.指定视口绘制GLES20.glonDrawFrameoViewport绘制drawSphereo屏幕变化onSurfaceChangedo播放控制MyMediaController图2 VR视频内容的染和显示流程模式切换、进度条拖动等控制操作7。2.2拟直播本系统将VR技术融人视频直播，以沉浸式的互动直播教学模式取代了传统的平面教学模式，直播的整体架构及实现流程如图3所示。174微型电脑应用2 0 2 3年第39 卷第8 期编写定点着色器和片元着色器创建对象：GLFS20.glCreateProgeamo加载着色器：SphereVideoRenderer,loadShader添加着色器：GLES20.glAttachShader连接到program:GLES20.glLinkProgram使用program:GLES20.glUseProgram投影和相机矩阵计算和应用绘制GLES20.根据屏幕变化glDrawArrays调整投影矩阵播放setPlayWhenReady(true)暂停setPlayWhenReady(false)进度跳转seekToMicrocomputer Applications Vol.39,No.8,2023全景采集视频缝合图3VR直播的架构与实现流程系统的核心是VR视频的存储、分配与播放，具体的教学内容由相应的教学机构提供CS。系统基于CDN(内容分发网络)实现后台的构建，依靠部署在不同位置的边缘服务器存储视频资源，通过中心平台对资源进行调度和分发并保持负载均衡，使用户在最短时间内就近获取所需课程内容，从而减轻网络压力，提高系统的响应速度和用户访问的快捷性。如前文所述，VR视频的每一个顿都是一张全方位立体影像，所以VR直播对分辨率、网络的带宽和延迟等都提出了极高的要求，以致于当前的网络技术很难与之相适应。为此，系统引入了拟直播的非实时直播方式，将下一次课程内容缓存到服务器中，在设定的时间网络内进行组播。2.3远程控制互联网中的非学生手机用户通过HTTP网络协议观看课程直播、接收系统推送消息、获取视频资源，系统在后台进行用户权限的设置和课程的安排等，用户则通过客户端发送课程订阅、资源获取等请求，所以系统在HTTP云服务器交互访问的基础上能够实现与互联网用户的交互 。校内局域网的控制是基于TCP/UDP协议实现的，以不同设施中的机顶盒路由器为中心构建直播网络，每个分局域网包括机顶盒路由器中的Andriod服务器和多个VR教学设备，用户的手机客户端通过DatagramSocket发送UDP广播对区域内的服务器进行搜索，包含特征码的消息由Byte-Buffer进行数据包装。接收到消息后服务器进行数据解析，根据特征码将自身的IP和端口信息返回给手机客户端，由此实现用户与系统的TCP通信，具体过程如图4所示。返回IP和端口发送广播UDP搜索返回IP和端口与设备A或设备B建立TCP通信TCP客户端图4用户与系统TCP通信建立过程为了保证多用户并发访问情况下所有客户端连接的稳定性，每个用户访问时系统都会开启新的线程以建立新的TCP通信连接，并且发送和接收分开进行。2.4用户档案建立用户档案的目的是通过档案中的信息为用户提供有针对性的个性化推荐服务 10。系统的推荐模块与用户档案紧密结合，从而实现实训课程的智能推荐。本系统用户档案的构建主要围绕课程类别、课程名称、教师姓名3个关键词进行，通过后台所记录的用户访问行为，系统能够分析出用户的兴趣与偏好，并将与之对应的课程加入用户标签中，同时结合用户访问过程中的点击、关注、收藏、订阅4个操作教育探索的发生频率不断对用户档案进行完善，以作为系统推荐的依沉漫体验据。用户档案的构建流程如图5所示。云分发点击行为获取用收藏行为多屏设备客户端云编码户行为3系统测试VR视频直播教学的效果取决于网络的流畅度，所以系统测试以直播过程中的顿率和缓存速率为关键性能指标。系统测试环境如表1所示。表1系统测试环境参数配置客户端系统安卓10.0处理器Huawei Kirin980内存8 GB使用本系统完成多次课程直播，通过编写代码，保存系统运行日志，记录测试结果，取多次统计数据的平均值得到测试结果，分别如图6、图7 所示。5000(1-sq)/率4000300020001000F设备A0图6 Wi-Fi/4GB无线网络环境下视频缓存速率64设备B6260585650图7 Wi-Fi/4GB无线网络环境下视频播放顿率和GPU占用情况由图6 可见，在Wi-Fi和4GB无线网络环境下，视频缓存速率的变化趋势基本一致，都是先上升后下降。由图7 可见，课程直播的视频帧率一直保持在6 0 fps上下，观看过程中不会出现人眼可见的卡顿现象。课程直播过程中计算机的GPU占用率稳定在15%以下，全程没有出现大的波动。.175微型电脑应用2 0 2 3年第39 卷第8 期点击日志数据收藏日志数据预约行为预约日志数据关注行为关注日志数据图5用户档案的构建流程参数网络Wi-Fi/4 GB(HD)视频协议HTTP视频分辨率2340X1080+Wi-Fi-4GB(HD)48播放时间/s视频播放顿率GPU占用率20105十048播放时间/s用户行为数据库权重计算用户画像配置12162512162020Microcomputer Applications Vol.39,No.8,2023测试结果表明，在正常网络环境下，系统输出的VR超清视频效果良好，稳定性强，无卡滞现象发生，完全符合VR直播教学的基本要求。4总结本文提出并设计一种基于VR技术的护理实训直播远程教学系统，为不同的用户群体提供了不同的使用方式。对于校内局域网中的学生用户，通过拟直播的方式解决了网络资源需求过高的问题，结合Socket通信实现了高清视频直播。对于互联网中的非学生用户，根据其实际需求设置了4个功能模块，并通过用户档案进行有针对性的个性化推荐。本系统经测试后，已在铜川职业技术学院信息工程投入运行，运行过程稳定、无卡顿。VR技术在本系统的应用让学生耳目一新，对护理操作的学习更加感兴趣，激发了学生的学习积极性，提高了教师的教学质量。本系统的应用对于护理实训教学方式的改革和创新具有十分积极的作用。1姚金阳，王俊超，单征，等.基于多途径融合的操作系统线上教学方法实践J.计算机教育，2 0 2 1（3）：59-63.3333333333333333333333333333353333333333333333333（上接第16 8 页）4李杨珺，许晓飞.插台对抗机器人攻防策略研究 J.电子技术,2 0 16,45(6)：8-11.53张伟，邹自明.RoboCup播台赛机器人控制系统设计J.山东理工大学学报（自然科学版），2 0 11,2 5（5）：19-22.6 王亚鸥，郑凯，江昕垠，等.基于武术播台机器人登台装置的设计J.科技创新导报，2 0 18，15（2 5）：10 0+102.7 周桔蓉，孙旭日.基于STM32的武术插台机器人的设图8 遇敌后的格斗实战计 J.自动化应用,2 0 13(11):19-2 0.8林泽通，谢浩源，谢尚好，等.基于STM32的智能格斗5总结机器人控制系统设计J.南方农机，2 0 19，50（2 3）：本文针对轮式自主格斗机器人的比赛场地和具体规则，28-29.完成了机器人的总体设计方案，并分别在硬件层面完成了机9 赵宝森，许晓飞，靳宸.对抗机器人播台定位设计J.械模块、驱动模块、控制模块、传感器采集模块四大部分的设数码世界，2 0 16(7)：6 1-6 2.计，同时设计了机器人的控制算法。功能调试与分析结果表10李志凌，周灿，董国刚，等.武术播台赛无差别组机器明，该机器人测敌准确，反应灵敏，能较好地完成激烈的对抗人目标搜寻策略 J.微处理机，2 0 13，34（6）：6 3-6 5.比赛。11马之馨，张轩，史豪斌。一种划分特殊与一般的抢球博奔策略 J.兵工自动化，2 0 15，34（5）：8 4-8 7.参考文献12TANG L,WANG Y,DING Q,et al.Topological Lo-1许蔓霖.机器人格斗节目：人工智能时代的科技较量cal-metric Framework for Mobile Robots Navigation:J.中国广播影视，2 0 18（13）：2 5-2 7.a Long Term PerspectiveJ.Autonomous Robots,2 许建荣，张小凤，林景生，等.武术播台赛机器人的软硬件优化与策略研究 J.科技资讯，2 0 17，15（7）：97-100.3J ASADA M,STRYK O V.Scientific and Technologi-cal Challenges in RoboCup J.Annual Review ofControl Robotics and Autonomous Systems,2020,3教育探索2 乔琳君.疫情下检测与传感器技术课程线上教学探索J.微型电脑应用，2 0 2 1,37（2）：6 0-6 2.3彭洋，王秋霞，沈亚琪，等.直播技术在影像教学中的应用探讨J.中国继续医学教育，2 0 2 0，12（2 8）：62-65.4吕斌.新冠疫情下信号与系统课程网络教学探索与实践 J.中国教育技术装备，2 0 2 0（18：55-57.5张贵湖，刘劲松.基于Nginx的实验室直播系统研究与实现 J.电脑知识与技术，2 0 2 0，16（2 3）：8 4-8 6.6 罗秀娟.网络直播课堂系统在远程教学中的应用研究J.教育教学论坛，2 0 2 0（33）：2 6 3-2 6 5.7冉毅凡.基于大数据推荐系统的多媒体在线直播教学系统的设计与实现 J.网络安全技术与应用，2 0 2 0(6):60-61.8 马懿萍，林菊叶.基于FIAS系统的大学英语直播教学师生互动有效性研究 J.现代英语，2 0 2 0（8）：19-2 1.9 贺海侠.基于VRML的虚拟交互图书馆信息管理系参考文献统研究 J.信息技术，2 0 19，43（12)：131-134.10吴磊.基于虚拟现实技术（VR）的动画交互性设计分析.信息技术，2 0 19,43（7）：12 5-12 8.（收稿日期：2 0 2 1-10-0 6）(1):.202019,43(4):1-15.13 IDIRIK,MAHMUT,CASTILLO,et al.Gaze-GuidedControl of an Autonomous Mobile Robot Using Type-2Fuzzy LogicJ.Applied System Innovation,2019,2(2):14-14.（收稿日期：2 0 2 1-11-0 2）176微型电脑应用2 0 2 3年第39 卷第8 期