2023联想智慧教育技术白皮书.pdf

联想智慧教育技术白皮书联想智慧教育技术白皮书 （2 202023 3 版）版）联想智慧教育技术白皮书-2-目 录 第一章第一章 智慧教育技术的发展背景智慧教育技术的发展背景 .3 3 1.1 政策背景.3 1.2 科技助力实现高效公平优质的教育教学.6 1.3 科技让“因材施教”成为可能.9 第二章第二章 联想智慧教育的关键技术联想智慧教育的关键技术 .1111 2.1 课堂协同互动.12 2.2 虚实融合教学.17 2.3 超清课堂直播.22 2.4 教育文档识别.28 2.5 板书手写识别.35 2.6 知识森林导学.40 2.7 教学质量评价.46 第三章第三章 联想智慧教育技术方案与应用实践联想智慧教育技术方案与应用实践 .5252 3.1 备授课软硬件一体化方案.52 3.2 虚实融合远程课堂方案.56 3.3 沉浸式实验课堂方案.61 3.4 智慧阅卷方案.63 3.5 人工智能教育方案.66 3.6 虚拟助教方案.69 3.7 数据驱动评价.72 3.8 区校一体化云平台方案.75 第四章第四章 未来展望未来展望 .7878 参考文献参考文献 .8181 一般法律告知一般法律告知 .8383 权利声明权利声明 .8484 联想智慧教育技术白皮书-3-第一章第一章 智慧教育技术的发展背景智慧教育技术的发展背景 1.1 政策背景 随着计算机和网络的出现与普及，人们逐渐从工业时代步入了信息时代，以工业化革命为主的工业经济开始逐渐转变为信息管理为主的知识经济，也就是所谓信息化社会。信息化浪潮汹涌而来，驱动教育发展即将步入一个全新的历史时期。智慧教育，已逐步成为国家战略、社会共识，智慧教育对未来教育模式的探索，破解制约教育发展难题，推动教育领域全面改革，抢占现代教育制高点，引领教育信息化创新发展，服务全民终身教育，培养面向 21 世纪创新型、智慧型、实践型人才，助推实现中国教育梦都具有强烈的现实需求和重大意义。2022 年 9 月 20 日，教育部部长、2030 年教育高级别指导委员会领导小组成员怀进鹏在联合国教科文组织 2030 年教育高级别指导委员会会议上的讲话中指出要以数字化为杠杆，撬动教育整体变革，推动数字教育资源共建共享、互联互通，赋能教师和学习者，探索教育数字治理方式，实现教育更加包容公平更高质量发展。智慧教育是当前教育信息化研究的热点问题和关键问题。在大数据时代，诸如大数据、云计算和移动互联网等新一代信息技术的开发和应用对教育和教学产生了深远的影响。信息技术与学科教学的集成在深化，从基于物联网技术的智能教室到智慧课堂，再到智慧教育，教育的互动和沟通的能力不断增强，提高了教育的合理性和科学性。事实上，基于新信息技术和传统课堂模式转换等新兴信息技术的学习联想智慧教育技术白皮书-4-行为的分析和改进已成为“互联网+”时代课堂教学发展的必然趋势。虽然与发达国家相比，我国的教育信息化相对较晚，但从 2012年以来，教育信息化领域的政策集中出台，政府对此的关注度迅速提升。2012 年 3 月教育信息化十年发展规划（2011-2020 年）对未来 10 年的教育信息化建设提供了指导意见和总体方向，明确指出“推进信息技术与教学融合。建设智能化教学环境，提供优质数字教育资源和软件工具，利用信息技术开展启发式、探究式、讨论式、参与式教学，鼓励发展性评价，探索建立以学习者为中心的教学新模式”，同年 9 月刘延东关于全国教育信息化工作电视电话会议确定了“三通两平台”的教育信息化发展导向，即“宽带网络校校通、教学资源班班通、网络学习空间人人通；加强数字教育资源公共服务平台、教育管理信息系统平台的建设”。2012-2015 年是教育信息化发展的应用驱动阶段，“三通两平台”建设取得较为显著的成效，在环境创新、方法创新、教师培训创新、机制创新等方面奠定了发展基础，为下一阶段促进信息技术与教育的融合创新提供了重要支撑。而后 2016 年6 月发布的教育信息化“十三五”规划则给教育信息化概括了八个主要任务：完成“三通工程”建设、实现公共服务平台协同发展、不断扩大优质教育资源覆盖面、加快探索数字教育资源服务供给模式、创新“网络学习空间人人通”建设与应用模式、深化信息技术与教育教学的融合发展、深入推进管理信息化以及紧密结合国家战略需求，从服务教育自身拓展为服务国家经济社会发展。2017 年 7 月国务院新一代人工智能发展规划 中提到应利用智能技术加快推动人才培联想智慧教育技术白皮书-5-养模式、教学方法改革，构建包含智能学习、交互式学习的新型教育体系；开发智能教育助理，建立智能、快速、全面的教育分析系统；建立以学习者为中心的教育环境，提供精准推送的教育服务，实现日常教育和终身教育定制化。而后 2018 年 4 月教育部发布教育信息化 2.0 行动计划，进一步强调要积极推进“互联网+教育”，坚持信息技术与教育教学深度融合的核心理念，坚持应用驱动和机制创新的基本方针，建立健全教育信息化可持续发展机制，构建网络化、数字化、智能化、个性化、终身化的教育体系，建设人人皆学、处处能学、时时可学的学习型社会，实现更加开放、更加适合、更加人本、更加平等、更加可持续的教育。2019 年初，国务院印发中国教育现代化2035，强调要重视重大科技创新对社会变革的影响，重视互联网、人工智能等新技术发展对教育形态的重塑，并明确提出加快信息化时代教育变革，着重从智能化校园建设、智能化教学、管理与服务平台建设、规模化教育与个性化培养结合的培养机制、数字教育资源共建共享机制等方面，提出了从信息化角度推进教育现代化的发展思路。该文件明确了教育信息化的主要工作方向，即智能化教育教学、因材施教的个性化培养、优质教学资源的共建共享，以及智能化校园。2020年 3 月，教育部发布关于加强“三个课堂”应用的指导意见，提出促进信息技术与教育教学实践深度融合，推动课堂革命，创新教育教学模式，促进育人方式转变，支撑构建“互联网+教育”新生态，发展更加公平更有质量的教育，加快推进教育现代化。2021 年 7 月教育部等六部门关于推进教育新型基础设施建设、构建高质量教育支联想智慧教育技术白皮书-6-撑体系的指导意见指出：坚持创新引领。深入应用 5G、人工智能、大数据、云计算、区块链等新一代信息技术，充分发挥数据作为新型生产要素的作用，推动教育数字转型。而在 2012 年 2 月，美国教育部委托 SRI 国际教育技术中心发布了International Experiences with Technology in Education的研究报告，调查了澳大利亚、奥地利、比利时、加拿大、智利、丹麦、英国、爱沙尼亚、芬兰、法国、冰岛、以色列、日本、荷兰、新西兰、挪威、葡萄牙、新加坡、韩国、瑞典以及中国香港特别行政区共 21 个国家及地区的教育信息化发展状况。研究发现，大部分参与国家和地区都提出教育信息化战略，计划将技术融入中小学教育。纵观我国和世界各国制订的教育信息化发展计划，可发现在新的历史阶段，国家对教育信息化的发展愈加重视。而从我国近十年的教育政策不难看出，利用信息化手段实现教育系统性、整体性、协同性和颠覆性变革是贯穿始终的主线，其中增强课堂互动、建设智能教学环境、提供个性化导学服务、探索创新教学模式，实现减负增效以及优质教学资源的均衡化则是重要方面。1.2 科技助力实现高效公平优质的教育教学 尽管教育信息化相关政策日渐明朗，基于历史、经济等方面原因，在实践“公平优质”教育愿景的过程中，仍面临诸多挑战。我国地域广发展不均衡导致各省市、城乡不同地区甚至同区不同校间教育水平差距明显，教师个人教学经验及水平的不同也带来了教学质量的差异，联想智慧教育技术白皮书-7-而庞大的在校生数量也使得优质教育资源供给缺口很难填补，教育资源均衡问题是教育发展中需面对的很重要的挑战。国家中长期教育改革和发展规划纲要 把推进教育均衡发展问题作为各项工作的重中之重，以均衡教育促进教育公平。各级各类教育单位都在为如何实现基础教育均衡发展研究各种举措。信息技术的发展，尤其是智慧教育的出现，为推动基础教育向高水平均衡发展提供了一个有效举措。智慧教育以信息化的赋能和加持为主要动力，以开放、共享、交互、协作为基本特征，作为一种新型的教育形态，综合解决了传统教学过程中存在的问题，增强了课堂决策分析和互动能力，提高了课堂教学质量和效率。智慧课堂对传统教学产生了“革命性”的影响，在教学实践中具有重要的特色和应用价值。传统教学方式中，教学资源源自教师的个人素养和能力，依托于教学团队的合力，所以形成较大差异，造成教学资源从来源上就不均衡。智慧教育利用多媒体、新技术和智能设备，如高速率、低时延、高密度的 5G 通信技术，使得物理空间之间的直连成为可能，实现同步授课、远程控制，基于 4K/8K 超清直播技术以及虚实融合的显示能够创造和展示各种趋于现实的学习情境，增进师生间、学生间的立体化沟通交流，利用平板工具和高效的传播和视频编码技术实现虚实融合的教学模式，课堂协同互动，有利于开展协作、探究学习，实现学习者知识意义的建构。同时，智慧教育使课堂形态发生了重大变革。新技术、新媒体和智能终端为学习者提供了丰富的认知工具与支撑环境，为师生建立了联想智慧教育技术白皮书-8-更为开放的教室，更为开放的课堂活动。教学者可以通过手中的任意移动终端设备（手机、平板电脑）实现教学，同时学习者也可以按照实际需求对学习内容进行选择。传统的课堂已经变成数字化的“体验馆”和“实验场”。智慧教育也使得教育突破了地域的限制，更多的人可以接受到更加平等高效的教育，推动社会公平有序的发展。充分发挥智慧教育的关键技术，利用云计算拓展教育资源与教育服务的共享性，利用物联网拓展教育数据的采集渠道和方式，利用大数据提高教育管理、决策与评价的智慧性，利用泛在网络增加教育网络与多终端的连通性，利用增强现实、虚拟现实技术增强教学交互与虚拟空间的体验性，提高教育服务的针对性。最大限度的促进城乡、校际、师生之间教育均衡公平，提高教育质量。联想公益基金会在推动科技助力实现高效公平优质的教育教学做出不懈努力，以 IT 助力乡村振兴为使命，以乡村教育信息化为切入点，借助联想的技术、产品及相关资源，开展相关领域的公益探索，2019 年至今，先后帮助四川、西藏自治区、云南、甘肃等“三区三州”等欠发达地区数十所学校建成百余间智慧教室，惠及师生 1.5 万人。同时，联想积极开展针对欠发达地区学校、学生的志愿服务活动，“联想萤火虫课堂”先后走进内蒙古、贵州从江、青海湟中等地，并通过夏令营、冬令营等活动，让更多孩子有机会走进城市、感受最新科技。由联想志愿者开发的以 STEM 为核心的兴趣课堂，寓教于乐，为孩子们开阔了视野，丰富了知识。联想智慧教育技术白皮书-9-1.3 科技让“因材施教”成为可能 传统教育在课堂上教师无论用什么教学方法都只能适应一部分学生的学习，班级授课制中主要以授课为主，学生的交流受到限制；学生的自主性、独立性及其个性化学习方式未能够得到充分发挥。随着科技的发展，智慧教育的出现将改善传统教育的不足，其多样化的教学方式、即时的反馈系统和灵活的互动较传统有所改善，并能够照顾到个别学生的个性化学习。智慧学习是在各种智慧环境中开展的完全以学习者为中心的学习活动，让学生自己学会自由支配时间、自主学习，学生不仅能够即时获取自己所需的资源、信息和服务，还能够享受到个性化定制的资源和服务。无论课上课下、校内校外都可以随时在教育云平台上进行学习，进度快慢完全由自己掌握，学习困难的孩子可以反复观看学习。XR 等虚实融合新技术将引发学生互动学习的新体验，改变学生的学习观念，使得学习过程更加轻松高效。通过智慧学习，不断发掘学生的兴趣爱好，发挥学生潜能，凸显智慧学习个性化、高效率、沉浸性、持续性、自然性等基本特征，能够帮助学习者不断认识自己、发现自己和提升自己，从而激发学生更多的兴趣性、主动性、个性化学习，培养学生创新学习意识与创新实践能力。在智慧教育所构建出的智能型的学习环境中，教师可以通过智能评价及时调整教学方式方法，学生可以在课堂上或者课外进行多样化的学习交流与讨论。传统教育中老师往往不知道学生具体知识掌握情况，便会在布置作业时希望每个知识点的各种题型都照顾到，所以在最终作业布置时联想智慧教育技术白皮书-10-往往会出现题量大的情况，使得学生永远都有做不完的题，老师也有批改不完的作业。这样不仅减少了学生自主学习的时间，还花费了教师大部分的精力，减少了教师的备课和对学生的关心时间。在智慧教育中，教师智能终端能够根据学生的学习反馈分析结果自动生成相应习题，教师只需要进行检查然后对学生进行推送。学生做好后直接由智能终端进行传送提交，智能阅卷能够辅助教师进行相应的阅卷与分析，教师只需要了解情况改善教学策略。学生的智能终端也会根据学生具体情况，为学生推送相应的自主学习练习题，并自动评改。这样智能化的布置作业，就能打破题海战术，不需要将已经做过的题，或非常简单的题反反复复的做，节约出大量时间，并且有针对性的进行知识的巩固。个性化的教学成果最终可以利用教学质量评价系统进行评价，在学生方面从德智体美劳多维度量化，进行全过程综合量化分析；在教师方面对教学质量进行实时反馈和评价，以改造和重新设计课堂教学方式、方法、手段，提升自身教学水平。联想智慧教育技术白皮书-11-第二章第二章 联想智慧教育的关键技术联想智慧教育的关键技术 在信息化浪潮之下，智慧教育正在从理念与模式向落地与实践转变，并逐步走向规模化发展。在学术领域，“互联网+教育”领域的学术研究共同体正在呼吁教学组织方式、学校形态、教育供给模式和在线教育新业态的发展和创新。社会现实也同时呼吁着教育服务模式的深刻变化。结合国家教育信息化行动计划相关政策文件的指引意见，联想智慧教育核心技术经过多年积累，突破智能化教学环境建设、高效教学工具及优质教学资源的提供、交互式教学开展和智能化教学评价构建、虚实融合教学体验创新等的关键技术环节，在课堂互动、因材施教、减负增效等方面形成一系列布局，通过交互及 AI 两个技术平台，结合大屏、笔记本、平板等硬件设备，为学生、老师、家长以及技术管理人员提供以“教与学”为核心的教学、练习、考试、评价等多方位智能化支持服务及解决方案。图 2-1 联想智慧教育架构图 联想智慧教育技术白皮书-12-联想智慧教育核心技术也获得多项认可，包括参与国家科技创新2030“新一代人工智能”重大项目等多个重点研发项目，入选教育部、工信部示范项目。2020 年，“交互式智慧课堂关键技术及应用”获人工智能学会吴文俊人工智能科技进步二等奖；2021 年，“多模态环境感知及适配交互技术与应用”获北京市科学进步奖二等奖。本章中将围绕这些关键核心技术逐一展开。2.1 课堂协同互动 2.1.1 基本概念和发展趋势 平板智慧课堂是以提高教学效率、提升教学质量的整体教学系统，它让课前备课、课中上课和课后复习三大环节无缝对接。在课中上课时，系统通过教师屏幕内容广播、随机抽取学生答题、抢答、板书截图发送、课堂测试等教学必备功能，实现教师和学生间零距离交流，调节课堂氛围，增强学生的互动性和积极性，进一步提升了教学效率和教学效果。在师生的交互过程中，教师屏幕内容广播因时延要求低、网络传输数据量大、视频画面质量要求高，是最具挑战的技术点。图 2.1-1 平板智慧课堂示意 联想智慧教育技术白皮书-13-当前业界厂商有两种方案来实现屏幕内容广播功能：第一，基于单播传输方案。无线信号很容易受干扰，因此 WLAN 丢包是非常常见的问题。为减轻物理层丢包引起传输层的处理延迟，WLAN 在物理层设计了重传和确认机制，从而保证了数据的及时并可靠到达。此种重传和确认机制只能针对传输数据是单个接收设备情形。因此，使用单播传输方案时，教师主机需要将每一帧屏幕数据分别发给每一个平板设备。每一台设备都能收到完整的视频帧数据，画面质量优异。第二，基于多播传输方案。对于单播方案，当接收者变多，需要每一个接收设备单独传输，则物理层带宽压力加大，此时需要更加高性能的路由和平板设备且容易增加屏幕内容分享时延，因此一些厂商使用多播传输方案。物理层广播数据可以同时被多个终端接收。当接收设备数量变多，其物理层带宽需求并不发生变化，从而避免单播传输方案的问题。但由于广播数据在物理层无重传和确认机制，在无线信号受到干扰的时候，存在视频帧丢失或花屏问题。2.1.2 技术难点和挑战 综合分析业界的屏幕广播方案，对于第一种基于单播传输方案，它具体画面质量高的优点，但需要更高性能的路由和平板设备且屏幕内容分享时延较大；对于第二种基于多播传输方案，它有设备性能要求低，网络时延低的优点，但它有视频帧丢失或花屏的缺点。如何实现在低性能设备上多用户（50-60）使用时，同时达到高视频质量和传输低时延，可从如下两个问题入手。联想智慧教育技术白皮书-14-第一，如何减少对 WLAN 物理层网络带宽的需求且保证传输可靠性。课堂师生互动中，学生平板通过 WLAN 进行数据交换，教室的无线接入点存在巨大的带宽压力。在多个设备同时有数据传输需求的时候，物理层传输带宽快速下降（平板设备连接数量从10增大到60时，从无线路由器到平板的传输数据带宽降低 50%）。因此，减少物理层带宽的需求并能保证可靠性，对降低设备性能的依赖意义重大。第二，如何提高视频的压缩效率。传统的视频编解码器通常被设计成处理摄像机捕获的自然环境。而教师的屏幕内容视频表现出不同的信号特征和不同的人类对失真视觉敏感度；同时传统的视频都是以固定视频帧率进行采集和编码，但在实际教学过程中，很多时候教师主机屏幕内容变化很慢且都是部分区域变化。因此，传统的采集和视频编解码方式的效率低下。2.1.3 技术方案及先进性 针对这两个问题，提出了相应的解决方案：可靠的双通道混合传输方案和端到端的视频编码优化方案。（1）可靠的双通道混合传输方案 在教师屏幕内容广播的时候，所有的学生实际上接收的内容都是相同的。在有线网络情况下，使用网络组播协议来传输相同内容的视频给多个设备是合适的，但由于 WLAN 本身物理层采用的是 CSMA/CA（载波监听多路访问/冲突避免）机制，容易受到其它无线同频设备干扰，同时无线信号也随着传输的路径变长而衰减，信号不能正确接收是常见的事情。对于某一设备丢失的数据包，可以单独通过单播传联想智慧教育技术白皮书-15-输，对应于应用层即是使用 TCP 协议单独传输。因此，联想提出的方案就是组合使用 TCP 协议和 UDP 的组播协议进行屏幕内容数据传输。TCP 协议在 WLAN 的物理层对应为单播传输，只有一个设备接收对应的数据，可靠性高。UDP 的组播在 WLAN 的物理层对应广播传输，可以有多个设备接收数据，但不可靠。在教师主机传输每一个视频帧的时候，通过 UDP 组播发送一次视频帧数据。如若个别设备未能接收到完整数据则单独使用 TCP 重新补发，从而保证所有的设备都能完整可靠地接收到视频帧数据。由于未能正确接收数据的设备毕竟是极少数，因此能节省大量物理层带宽需求。（2）端到端的视频编码优化方案 图 2.1-2 屏幕广播系统架构 提高视频编码效率，可进一步减少网络带宽的需求。当前使用两种手段来提高编码效率，第一，采用可变帧率编码方式。常见的视频帧率都是固定的，而在无线环境的屏幕投影中，最好采用可变帧率，当检测到屏幕内容变化后再编码，无变化时无需编码，从而减少相同的编码帧，降低网络带宽，减少网络时延。第二，采用屏幕内容编码联想智慧教育技术白皮书-16-技术。在多种屏幕内容场景中平均能节省 60%的码率，其中的帧内块拷贝编码和调色板编码是最能提升视频编码效率的技术。通过可靠的双通道混合传输方案和端到端的视频编码优化方案，最终让平板智慧课堂教师主机屏幕内容分享给 60 个学生时，端到端的时延低于 50 毫秒，同时无视频花屏和丢帧的现象。该方案在视频质量、传输时延和设备价格等指标上优于业界方案。2.1.4 未来发展路径 在教师屏幕内容分享时，存在大量的数据从单一教师主机分发相同内容到不同的学生平板，根据测试数据表明此时存在 WLAN 的传输带宽下降 50%问题，联想使用前面的可靠的双通道混合传输方案解决了这一问题。在课堂上，还存在学生之间两两传输不同内容的互动场景，此时场景从屏幕内容分享的一对多传输，变成了多对多传输。如果学生平板同时发送这样的数据，会导致 WLAN 的传输带宽下降 80%。如何解决多对多场景下数据的高效传输，是智慧课堂的一个难点和方向。对于屏幕内容编码标准，它最开始是通过 HEVC 的扩展实现的。而常见的 AVC 和 HEVC 解码器没有这个扩展，需要自己实现屏幕内容的编码端和解码端，这导致屏幕内容编码只能在自有封闭的系统里运行，不能与业界互通。新一代的 AV1 和 VVC 编码标准，已经将屏幕内容编解码作为标准的一部分，为屏幕内容编解码技术的互通提供了基石。当前 AV1 是一个开源友好的视频编码标准，并且已经内置于WebRTC 开源平台，被基于 Chromium 的浏览器原生支持。因此，基于联想智慧教育技术白皮书-17-AV1 的屏幕内容编解码技术是一个很有前景的研究方向。2.2 虚实融合教学 2.2.1 基本概念和发展趋势 在线教育是人们接入教育元宇宙的基本方式，从诞生之初就承担着改造传统线下教育的使命。纵观当下的在线教育和线下教育，存在着效率和效果的矛盾。在线教育在打破时间和地域界限进行高效率教学的同时，牺牲了线下课堂教师对学生耳提面命的沉浸式效果。新冠肺炎疫情的出现加速了在线教育的推广和普及，也暴露了在线教育的诸多问题，比如容易走神、损伤视力、答疑滞后等。后疫情时代，学生重返课堂，在线教育与线下教育也进入了融合发展的阶段。沉浸式教育是人们体验教育元宇宙的主要途径，AR、VR 是其关键技术。业界和学界近几年致力于通过 AR、VR 等技术提供沉浸式学习体验1，相关机构也率先进入了对教育元宇宙的探索，未来只要带上眼镜或头显即可进入在线虚拟教学空间进行学习和训练。当前，VR 教育已落地很多院校，基于头戴式设备的 VR 教室在给学生带来虚拟现实体验的同时，也带来一些问题，比如佩戴不适、交流不畅、头晕恶心等。这些问题的解决有待技术的进一步提高，也使联想开始关注其他形态的 AR、VR 设备用于教育场景的可能性。构建教育元宇宙不仅要将在线教育与沉浸式教育相结合，提升在线教学的临场感与沉浸感，实现效率与效果的统一，还要把在线教育与线下教育，虚拟空间与实体课堂有机融合，构建虚实一体的未来教联想智慧教育技术白皮书-18-学空间。联想基于中远距离大幅面 AR、VR 探索将其用于教育元宇宙的设计方案与最佳实践，融合在线教育和线下教育，物理课堂与数字内容，提升教学的临场感与沉浸感，探索虚实融合的教育元宇宙。2.2.2 技术难点和挑战 AR、VR 是人们体验元宇宙的关键技术。纵观 AR、VR 的相关设备与方案，可以按照与人眼距离的远近进行划分。AR 眼镜与 VR 头显距离人眼最近，车载 HUD、镜面显示等设备的距离适中，CAVE、全息投影等方案则距人更远。随着设备与人的距离越远，显示幅面尺寸也会越大，以满足沉浸观看的需要。相较近距的头戴式设备，中远距离的设备能够提供裸眼虚拟现实和增强现实的体验，适合多人共同观看，也不会影响人与人之间的交流和沟通。将中远距离大幅面 AR、VR 引入元宇宙构建体系，并融入人们的生活环境，能够在头戴设备之外提供更加多元的沉浸体验选项。其难点在于如何在不给教师和学生穿戴或绑定额外设备的前提下在教学中提供沉浸互动体验，让数字世界与物理世界有机融合，从而使人们不再必须头戴设备才能体验元宇宙，而是可以通过融入生活环境的各类设备直接感受数字空间。数字内容也会适应不同环境设备特点以恰当的方式呈现。另外，数字世界与生活环境的融合也使人们可以用更加自然的方式和元宇宙进行互动，而无需借助手持控制器或穿戴设备。联想探索虚实融合的教育元宇宙，设计并构建虚实融合的教学系统。输入系统基于体感、手势等自然人机交互技术，输出系统采用中远距大幅面沉浸式显示，构造虚实融合的教学系统和方案。联想智慧教育技术白皮书-19-2.2.3 技术方案及先进性 联想设计并构建了三个虚实融合的教学系统。在每个系统的设计中都引入不同类型的沉浸显示设备，构建适应其显示特点的交互技术，并探索应用到教学场景的最佳实践。综合沉浸显示的技术特点和教学场景的功能特点，构建的虚实融合教学系统分别为全息讲台教学、全息讲桌教学和远程拟真教学。全息讲台教学和全息讲桌教学引入全息投影膜和佩珀尔幻象等伪全息显示技术以增强临场感与沉浸感。相较基于光的干涉和衍射原理记录并重现三维物体光波信息的全息三维显示技术2，伪全息显示虽未完全重现三维物体的空间信息，但通过边缘消隐造成显示浮空等效果能够带来一定程度的空间感和立体感，且技术成熟可大规模应用。远程拟真教学在学生端基于全息讲台系统，在教师端引入大幅面弧形投影，提升远程教学两端的沉浸感和临场感。2.2.3.1 全息体感交互技术 全息讲台的交互方式包括触控交互与体感交互。触控交互引入激光雷达扫描投影平面，手指触摸投影幕的地方激光反射回来，通过分析反射的激光信号计算手指的位置信息，进而在投影平面模拟单击、双击、滑动等触控交互。体感交互利用深度摄像头获取人体的轮廓骨骼等信息，基于空间标定参数将人体三维数据映射到投影幕所在空间，进而与全息投影平面显示的数字内容叠加融合。全息讲台体感交互技术的实现可分为两步。第一步是标定深度摄像头与全息投影幕的位置关系，第二步是将摄像头采集的人体三维数联想智慧教育技术白皮书-20-据变换到全息投影幕的屏幕空间，进而与屏幕中的虚拟物体和内容形成互动。图 2.2-1 全息讲台体感交互技术 从学生的角度看，渲染出来的教师轮廓画面与透过投影幕看到的教师身体实际轮廓重合。在大部分应用场景中，渲染的轮廓画面不会显式地呈现，而是用于全息讲台体感交互的后台计算，这样学生会看到教师在用自己的身体与虚拟内容互动。图为一些全息讲台体感交互示例。图 2.2-2 全息讲台体感交互示例 2.2.3.2 全息手势交互技术 全息讲桌的显示结构为金字塔式，能够从四面椎体的不同角度观察三维物体的不同侧面，这种呈现形态非常适合多人沟通与交流。金字塔表面反射显示器画面带来的成像纵深感使用户在视觉上联想智慧教育技术白皮书-21-认为呈现的三维物体位于金字塔的中心，带来一定程度的空间感与沉浸感。交互设计借鉴了人们在日常生活中操作真实三维物体的方式，采用虚拟手隐喻，在金字塔三维空间构建用户手的虚拟化身，对三维物体进行旋转、缩放、选择和重置等操作。如图 2.2-3 所示，全息讲桌教学系统设计并实现了一整套三维交互手势。图 2.2-3 全息讲桌教学交互技术 2.2.3.3 多模融合交互技术 远程拟真教学采用基于手写、手势、体感、语音的多模态自然人机交互技术，为教师远程授课提供丰富的互动体验。教师端授课电脑采用二合一形态笔记本，显示屏在需要时可以分体作为平板独立使用，方便教师手持并用触控笔进行书写，而写的内容在学生端以板书呈现。授课电脑外接手势交互设备，让教师可以对虚拟场景中的三维对象进行旋转、缩放、选择、重置等操作。教师端还引入深度摄像头，使教师能够基于空间位置与三维场景进行交互，也可以基于骨骼运动跟踪驱动虚拟数字形象与远端学生互动。通过语音识别，可以方便教师完成一些控制操作，也可以作为语音助手辅助教学过程。联想智慧教育技术白皮书-22-图 2.2-4 远程拟真教学交互技术 2.2.4 未来发展路径 除了教育，虚实融合技术也将扩展到更多的场景中。未来数字世界与物理世界将互联互通、无缝切换，让两个世界中的“人机物”能够互相感知、理解、通讯，从而在虚实融合呈现的 3D 空间下进行协同互动，是一种超现实空间的计算与交互，提供无边界沟通、无边界协作、无边界创作的融合体验。超现实空间是后疫情时代线上线下混合学习/办公模式新常态下体验升级的终极目标。从设备形态来看，超现实空间计算会包括 3D笔记本/一体机/大屏、3D 动捕设备、全息投影、沉浸式 CAVE 等，而交互方式则会有 3D 手势/体感控制、人眼视线跟踪、触力觉反馈、味嗅觉模拟等，至于应用场景则可能覆盖 3D 内容创作、3D 内容消费、3D 游戏娱乐、虚拟实验、视频会议、远程教学等。2.3 超清课堂直播 2.3.1 基本概念和发展趋势 2020 年 3 月 16 日，教育部发布了关于加强“三个课堂”应用联想智慧教育技术白皮书-23-的指导意见，要求到 2022 年，全面实现“专递课堂”、“名师课堂”和“名校网络课堂”这三个课堂。“专递课堂”强调专门性，让师资资源丰富的学校帮扶农村或城乡师资薄弱学校，推动区域、城乡、校际差距有效弥合，推动实现教育优质均衡发展，实现教育公平。“名师课堂”强调共享性，主要针对教师教学能力不强、专业发展水平不高的问题，通过组建网络研修共同体等方式，发挥名师名课示范效应，探索网络环境下教研活动的新形态，以优秀教师带动普通教师水平提升，使名师资源得到更大范围共享，促进教师专业发展。“名校网络课堂”强调开放性，主要针对有效缩小区域、城乡、校际之间教育质量差距的迫切需求，以优质学校为主体，通过网络学校、网络课程等形式，系统性、全方位地推动优质教育资源在区域或全国范围内共享，满足学生对个性化发展和高质量教育的需求。2.3.2 技术难点和挑战 其中“专递课堂”和“名师课堂”是一场多人、多教室共同参与的大型音视频互动场景，面临的关键问题是：“看得清，听得明，传得快”。看得清：当前“专递课堂”和“名师课堂”主要以教育大屏为显示终端，屏幕分辨率都高达 4K，甚至 8K。这样高质量的视频画面，需要占用较高的网络带宽。为了帮助用户节省带宽资源，可使用更高压缩率的编码标准。同等质量的视频，新一代的编码相比 AVC 编码可节省至少一半带宽资源。同时只有满足一定的编码码率，视频质量才可能得到保证。根据国家广电总局 4K 超高清电视视频质量标准，联想智慧教育技术白皮书-24-对于 4K30 帧的电视节目码率需要达到 25Mbps。这个视频编码的要求是针对 AVS2 编码提出的，因此如果选用压缩效率比 AVS2 更高的视频标准，同时也能达到 25Mbps 的码率，可以说是达到了国家广电超高清的视频质量要求的。将这个 4K 超高清的电视视频标准应用到实时音视频领域，也是一个极大的挑战。当前实时音视频通用软件提供商，基本没有能满足这个要求的厂商。即便是在专属的会议主机设备上，编码码率都小于 10Mbps。因此，如何达到广电级的视频质量，这是超高清直播课堂一个挑战。图 2.3-1 广电总局 4K 超高清电视视频质量标准 听得明：在教育场景下，远程双方需要实时语音互动，会遇到双讲问题。双讲主要指在远程语音交互场景中，互动双方或多方同时讲话，其中一方的声音会受到抑制，从而出现断断续续的情况。这是由于其中一人的声音，被对方的回声所掩蔽。这就要求在回声消除算法上寻找平衡点，既不能产生回声，又不能抑制人声。在教育场景下，联想智慧教育技术白皮书-25-另外一个重要的问题是完全自由的对话体验。不管是学生或老师在一个标准的教室里，在任何位置、任何方向都能与远端的师生对话。声音的采集还受到建筑物的装饰材质、空间大小、播放设备布局等的影响。因此，如何在如此大面积并且不统一的物理环境、任意的位置都能进行清晰的语音互动，是超高清直播课堂另外一个技术挑战。传得快：根据国际通信联合会 ITU-T G.114 标准，为保证通话双方的有效性和体验，音频传输的单向延迟必须小于 400ms。然而TCP/IP 协议栈在网络层是提供尽力而为的服务，在链路质量差、设备带宽满、不同运营商之间传输数据时，数据丢包是常有的事情。由于TCP 有丢包退避机制来减轻网络拥塞，当发生连续多次丢包后，就会产生非常大（800ms）的延迟。因此，如何降低音视频端到端的延迟是超高清直播课堂的第三个技术挑战。图 2.3-2 ITU-T G.114 标准 2.3.3 技术方案及先进性 针对超高清直播课堂所面临的视频高质量编码、音频清晰采集和音视频传输低时延等问题，联想使用如下创新技术解决这些挑战。联想智慧教育技术白皮书-26-第一，基于成熟的 WebRTC 框架和 RFC 7798 标准，新添压缩率更高的视频格式的支持，能有效提升画面质量。WebRTC 是事实上的实时音视频通信标准，在实时音视频的框架集成了优秀的算法来解决弱网问题，丢包问题和网络抖动问题。通过将新的视频压缩编码格式引入WebRTC，提升了 WebRTC 的视频质量，减少了网络带宽的需求。第二，针对大空间、全方位、自由式的语音交互方式所面临的挑战，开发了物理介质环境自适应的音频 AI 处理算法，实现异地之间沉浸式、自然语音交互。AI 技术是一个基础工具，可以用于音频处理的方方面面。比如检测当前音乐、啸叫等类型，也可以进行常见的音频 3A 增强处理，甚至进行空间音频编码与渲染。通过把 AI 引入对声音的噪声、混响、回声、杂音等处理，在鲁棒性、语音保真等方面得到很大的提高。同时使用 AI 对说话人的位置进行空间定位，在特定的方向进行声音增益，实现了大空间的任意位置的语音采集。第三，统一抽象的视频编解码框架，充分发挥了设备潜能，提升了编解码速度，降低了音视频端到端的时延。WebRTC 本身在视频编解码方面对视频格式支持有限，原生都是使用软件进行编解码。当视频分辨率增大到 4K，码率增大到 25Mbps 时，编解码时延超过 150ms。而业界有些的开源实现项目都是基于特定的硬件来实现自身平台的视频硬件编解码。通过对视频编解码的抽象，支持了业界所有的 GPU型号，并与 WebRTC 对接，从而加快了视频编解码速度，降低了端到端的时延。通过以上技术创新，达到业界领先的技术指标：联想智慧教育技术白皮书-27-表 2.3-1 技术指标表 技术指标项 技术指标值 最大视频分辨率 38402160 最大视频帧率 60FPS 最大视频码率 25Mbps（达到广播电视行业（GB/T 33475.2-2016）4K 超高清视频质量）最大端到端音视频时延 400ms 单麦克风采集范围 支持 5 米*8 米清晰语音采集 联想超高清实时音视频技术，不仅技术性能指标领先于业界厂商，同时相比于传统几万甚至几十万的昂贵视频会议定制主机方案，该技术复用了教室现有的通用计算主机，无需额外会议专属主机设备，极大地降低了部署复杂度并减少 30%方案成本。2021 年，基于该技术的联想大型沉浸式未来黑板HoloBoard成功入围国际“教育界的奥斯卡”大奖“重构教育奖”（Reimagine Education Awards）的决选名单。基于该技术的方案已经成功部署在西安电子科技大学及华中师范大学，推动两所高校建成全球首个 5G+4K+全息混合现实课堂。图 2.3-3 效果示意 联想智慧教育技术白皮书-28-2.3.4 未来发展路径 当前基于超高清的课堂直播已经慢慢开始普及，在画面质量上已经变得越来越好，但是当前师生所看的内容都是固定位置的摄像头拍摄画面，师生并不能自由地根据个人的喜好来选择观看角度。在 2022年的北京冬奥会上，北京大学陈宝权教授带领的团队使用 42 台超高清相机，首次开启了自由视点的奥运项目直播，为观众带来了“沉浸式”的线上观看体验。当前这项技术主要在云端进行图像融合和编解码，针对的是视频点播场景。如果能将自由视点的技术引入课堂直播，必将为师生带来更好的互动体验，提升教学效果。但在引入过程中，面临如何减少所需要的摄像头数量、如何对多个超高清摄像头数据进行高效率融合编码、如何进行实时虚拟视点插入等众多难题，这是联想目前在超清课堂直播探索的方向。2.4 教育文档识别 2.4.1 基本概念和发展趋势 文字是人类使用符号来记录表达信息的方式和工具，是人类最伟大的最具影响力的发明之一，是人类智慧的结晶。在现在的信息化社会中，随着数码设备，智能手机等具有拍照和摄像功能的电子设备的普及，大量的文字以文档图像的形式保存下来。文字识别是将图片或视频中的文字自动转换成可编辑文本的技术。随着深度学习技术的发展,文字识别技术得到了突破性的进展，其性能和效率都得到了极大的提高