面向6G网业融合的三维重建技术研究.pdf

E0面向 6G 网业融合的三维重建技术研究李可李雅茹王凯悦滕瑞崔春风(中国移动通信有限公司研究院,北京 100032)摘要:为实现 6G 愿景,除了攻关 6G 关键技术外,还需要深化 6G 与其它行业及技术领域的融合发展。首先,以云端三维重建为例,重点分析业务云化的必要性及潜在技术方案,深度探讨网业融合的发展逻辑;其次,提出网业融合并不是将网络和业务技术简单叠加,而是需要跨领域统筹考虑、融合设计,才能最终发挥 6G 网络在传输及算力方面的优势,进而造福社会;最后,指出未来研究方向。关键词:网业融合;6G;三维重建中图分类号:TN929.5 文献标志码:A引用格式:李可,李雅茹,王凯悦,等.面向 6G 网业融合的三维重建技术研究J.信息通信技术与政策,2023,49(9):46-51.DOI:10.12267/j.issn.2096-5931.2023.09.0070 引言2023 年6 月,国际电信联盟完成了IMT 面向2030及未来发展的框架和总体目标建议书(简称建议书)1,这将有助于形成 6G 的全球统一标准。6G 的典型应用场景包括沉浸式通信、人工智能与通信融合、感知与通信融合等六大应用场景。这些应用场景展示了2030 年数字化时代到来后,数字世界与物理世界深度交互融合的美好愿景,而 6G 网络将成为实现多样化业务应用场景的中流砥柱。然而,要实现上述美好愿景,不能将以边缘计算、毫米波为代表的通信技术和以渲染、三 维 重 建(Three-Dimensional Reconstruction,3D Reconstruction)为代表的业务技术简单地拼接在一起。相反,必须以网业融合的思路(即打破不同技术领域的边界),通过端到端系统的重构和优化以促进具有不同技术特征和发展路径的多类信息技术相互渗透和协同,最终实现网络和业务的深度融合与创新。目前,业内对于 6G 业务的研究仍聚焦于业务和网络技术的分别迭代,未能深入探讨网业融合的发展逻辑。因此,本文以云端三维重建为 6G 典型应用案例,从关键技术的研究进展出发,着重分析其对 6G 网络的需求、影响和涉及的关键技术标准化现状,最后分析在云端三维重建系统原型搭建方面的探索并提出下一步研究方向。1三维重建赋能 6G 愿景面向元宇宙、Web3 等 6G 多样化的业务场景和接入设备形态,中国移动通信有限公司研究院提出“数字孪生、智慧泛在”的需求愿景2,在产业界形成广泛共识。为了实现 6G 愿景,业界正在努力推进 6G 各项研发工作。为实现 6G 愿景,目前学术界和产业界正围绕 6G关键技术进行重点布局和攻关。与此同时,要想让 6G网络赋能千行百业,助力各行业深化数字化转型,还需要深化与其它行业及技术领域的融合协作发展。以数字孪生愿景为例,要实现万事万物的数字化,需要三维重建技术的支撑。传统三维重建技术的采集、计算等全部功能处理流程均在本地进行,带来了成本高及移64N*=0 动性差等问题,造成业务始终无法大规模普及;而简单地将全部处理流程上云后,又会导致上行传输压力过大。只有将网络和业务技术统筹考虑、融合设计,才能更有效地发挥 6G 网络在传输及算力方面的优势,让6G 真正成为沟通物理世界与数字世界的桥梁,最终实现网络无所不达、智能无所不及。2 三维重建重点发展方向与面临的挑战2.1 三维重建及应用场景三维重建是指利用二维投影或影像恢复物体三维讯息(如形状等)的数学过程和计算机技术,即通过图像数据还原出三维物体。三维重建可以通过主动或被动的方法来完成3。常见的三维重建方法有运动恢复结构、多视图立体视觉(Multi-View Stereo,MVS)、同时定位与地图构建、深度学习技术等。运动恢复结构指从包含视觉运动信息的多幅二维图像序列中估计三维结构;MVS 指运用立体对应关系在多张照片上得到三维几何结构;同时定位与地图构建指通过相机实时跟踪自己的位姿并重建周围三维环境;深度学习技术4-6指使用深度学习网络对图像数据进行解析,提取特征点,然后进行三维重建。三维重建是实现数字化世界的重要手段,在 3D通话、扩展现实(Extended Reality,XR)交互、城市规划、自动驾驶、遗产保护等领域有着广泛应用。3D 通话是一种利用视觉、听觉和其它感测技术,在远程双方用户之间模拟出三维效果的实时视频通话。谷歌公司的 Starline 系统7通过多个高分辨率传感器的数据采集、视频和深度流的压缩传输、数据融合、光场显示等技术,实时重建人物,使两个人在不需要佩戴特殊的眼镜、麦克风及耳机的情况下,体验面对面交流。在实时增强现实(Augmented Reality,AR)交互应用中,三维重建是非常重要的感知任务,国内外有大量企业和科研机构在三维重建领域进行研究。美国高通公司利用自监督神经网络进行单眼深度估计,在 AR 眼镜上实时生成显示视角环境的 3D 影像,实现了数字世界和物理世界的无缝对接。商汤科技公司和高校共同研发的 Mobile3DRecon 系统,可以生动显示虚实物体间的遮挡和碰撞效果8。为了增强用户在虚拟世界中的真实感受,元宇宙场景中的人、物及环境都可以通过三维重建技术采集并生成。用户生成内容将打造元宇宙的核心生态,未来几乎每个人都能使用三维重建技术进行内容创造。2.2三维重建应用面临的挑战沉浸式通信包含 XR、全息等沉浸式多媒体、多感官交互以及数字孪生等场景,这些场景均离不开三维重建技术的运用。目前三维重建技术在专业化领域的应用,需要图形处理器等算力设备的支撑,效果好但成本高;而大多数移动端应用软件虽具有一定的易用性,但重建效果差强人意。上述现状导致三维重建技术始终无法大规模普及。面对移动性和算力需求的双重挑战,将三维重建云化是一种高效的解决方案。通过集中云端算力调度和执行三维重建,不仅能够提高模型精度,而且还能维持终端轻便化,但在应用过程中,也会带来以下诸多挑战。在业务技术方面,终端需要针对不同应用场景搭建采集系统并采集高精度数据,同时云端需要使用具有高鲁棒性的重建算法。在业务功能设计方面,云化后的三维重建功能流程需要在端云两侧合理分配,同时引导数据传输以对网络友好的方式高效实现。在应用层传输方面,虽然目前已有多种应用层协议支持对音视频流进行实时传输,但尚未完全满足云端三维重建传输需求,尤其是对深度图、点云、网格等三维数据的有效支持不足。因此,需要对已有的应用层传输协议进行三维重建场景下的调整与适配。在无线网络传输方面,移动终端需要通过无线上行链路将采集的大量点云、视频等数据传输到云端进行建模和渲染。然而,上行资源匮乏以及不完善的调度机制会导致传输延迟和资源浪费。为此,需要进一步优化无线网络的容量增强和服务质量(Quality of Service,QoS)配置等功能。3云端三维重建潜在技术方案分析3.1 业务模块化设计针对云端三维重建系统在端云两侧可灵活调整的需求,需要对关键功能进行模块化设计与解耦。基于传统的三维重建框架流程,设计解耦合的、独立的模块来实现数据采集、数据传输、三维重建、数据显示等功能。其中最为重要的三维重建模块可进一步划分为系统标定、数据预处理、位姿估计、多视角数据融合、曲面重建、纹理映射等子模块。每个模块均进行模块化的74E0接口设计,既通过明确输入输出接口来进行模块间的交互,又便于后期探索并进行重新设计时替换相应模块。3.2 网络传输设计考虑到云端三维重建类业务是典型的沉浸式通信业务,上行传输的音视频、相机参数、点云、深度信息等不同类型的多流数据,可以通过流媒体协议及 6G 无线网络进行传输,以实现实时互动、远程协作及多种场景下的数据交互等。目前,在网络应用层和传输层,对于三维重建类业务可以考虑以下主流传输协议。网页视频语音实时通讯 技术(Web Real-Time Communications,WebRTC)通过不同终端建立点对点的连接,不借助中间 媒介,实现数 据实时传输9。WebRTC 包括音视频采集、网络传输等诸多功能,可以为实时三维重建多流数据提供全流程的多项功能与技术支持。用户在无需安装第三方软件或者任何插件的情况下,通过创建点对点的数据分享,实现 3D 通话的三维重建场景。在时延方面,基于超文本传输协议的动态自适应流可能产生几秒至几十秒左右的传输时延,而基于用户数据报协议(User Datagram Protocol,UDP)的 WebRTC 协议可将时延降低至秒级甚至毫秒级,使得实时 AR 应用场景下的三维模型的低时延交互成为可能。快速UDP 网络连接(Quick UDP Internet Connections,QUIC)是一种基于 UDP 的新型传输层协议,可以避免传输控制协议(Transmission Control Protocol,TCP)的慢启动问题,通过零往返时延快速启动提高网络连接的速度。QUIC 通过内置加密技术传输用户交互数据和三维数据,具有更高的安全性和可靠性,支持在单个链接的多路复用技术,实现并行发送多个音视频、深度数据、点云模型等数据流,从而降低多流数据的并发时延并提高网络带宽利用率。QUIC 还具有拥塞控制和流量控制等机制,以应对传输高精度模型或者传感器采集的大量数据导致的网络拥塞,并保证网络传输的稳定性。云端三维重建类业务需要对多流数据进行上行调度,涉及到无线网络中的容量增强以及 QoS 分级传输等功能。在无线链路层,为了解决数据上行传输存在的时延和资源浪费问题,可以考虑以下四个方面的增强。缓存状态报告(Buffer Status Report,BSR)增强可以优化无线链路上行资源的配置,在提升容量方面具有重要意义。现有协议标准定义了 BSR 大小范围,针对云端三维重建类业务上行资源的调度传输,会产生较大的平均量化误差。根据采集数据的大小与时延要求在媒体接入控制协议中定义新的基于传输内容特征的缓存状态表,可以有效降低资源配置的平均量化误差,提高业务数据在传输时对无线资源的利用率。分组 数 据 汇 聚 协 议(Packet Data Convergence Protocol,PDCP)层的丢弃控制增强可以保障重要数据的传输,对特定协议数据单元(Protocol Data Unit,PDU)进行丢弃操作。在云端三维重建类业务的数据传输过程中,当基站检测到网络出现拥塞时,终端可以启动基于 PDU 集重要性(PDU Set Importance,PSI)的PDCP 丢弃操作,优先保障重要点云或者视频帧(如视频首帧、轮廓点云等)数据的传输,从而保障重建的实时性与重建效果,提升用户体验。配置授权(Configured Grant,CG)功能主要用于上行传输,基站预先配置物理上行共享信道(Physical Uplink Shared Channel,PUSCH)资源,终端直接在 CG资源上发送上行数据。云端三维重建类业务的上行流量涉及大视频帧的传输,可以引入上行 CG 增强功能,在同一个 CG 场合创建多个 PUSCH。通过调整多PUSCH 配置授权的资源来适应业务流量的可变性,以最小的控制开销,提高云端三维重建类业务的容量并节省终端电力10。在 QoS 分级方面,除了用于移动宽带的默认 QoS流之外,网络还可以针对云端三维重建类业务特定的数据流提供优化处理。在点云数据传输方面,连续的点云数据可以分为图集数据、几何数据、属性数据以及占用数据,其中最重要的图集数据用于实现 2D 到 3D的逆投影,次重要的几何数据表示投影点与虚拟相机的距离。针对其重要性的不同进行 QoS 分类保障,在网络资源受限情况下优先保障重要性级别高的数据传输。在不同类型数据的传输方面,为了解决云端数据接收的乱序问题,定义每个模块处理的不同数据的需求时延,通过 QoS 分流及差异化保障,有序调度传输数据,降低三维重建的端到端时延。上述针对云端三维重建类业务网络传输不同层面进行的相关探索如图 1 所示。84N*=0 3.3 原型系统验证基于现有的三维重建软硬件方案,本文选择了主流的 MVS 方案与 RGB-D 相机作为采集设备,实现了静态物体云端三维重建原型系统(见图 2)。图 2 左侧为实验环境下的图像采集环境,采集数据通过本地主机可以在无线网络(Wi-Fi)或有线网络下上传到云端服务器进行重建。为了实现高效数据传输,基于云管端架构和业务模块化设计,本文测试了两种系统架构:将全部三维重建功能放在云端;将三维重建部分数据预处理功能放在终端,而其余功能放在云端(见图 3)。预处理可以通过时域和空域的平滑减少上行数据量。例如,将连续 5 张深度图平滑成 1 张更精确的深度图,或者对深度图像进行去畸变、边缘检测、阈值截取、去噪声等操作。针对三维重建原始数据量较大的关键问题,对于三维重建中涉及的 RGB 图像、深度图像、点云三种主要数据类型设计了有损和无损的压缩方法。通过本文测试,可以发现原型系统实现了 8 台深度相机设备在不同重建场景下,基于 6 种不同 RGB 图像分辨率及 4 种深度相机分辨率进行数据采集,总体原始数据总量最大可达 300 MB;有损压缩方面最高均可实现20:1 左右的压缩比,无损压缩方面最高可以分别实现4:1、10:1、6.7:1 左右的压缩比。在不显著影响三维重建效果的前提下,总体数据传输总量需求可从 300 MB降低至 20 MB 左右,为不同网络带宽情况下的数据传输提供了解决方案。未来,用户使用移动终端多视角拍摄任意物体后,UERANCNAS.WebRTCBSRQUICPDCPQoSApps图 1 云端三维重建类业务传输示意图RGB-DRGB-DRGB-DWi-Fi图 2 基于 RGB-D 的静态物体云端三维重建原型系统94E021图 3 云端三维重建系统架构图通过 6G 网络将三维数据上传到云端即可重建并得到该物体的三维模型,从而有利于该业务大范围普及。4 结束语未来,6G 网络将会涵盖更多领域,开拓数字孪生、智能交互等全新的应用场景,推动整个社会向智慧化发展,并带来深刻的社会形态变革。为了实现这一目标,不仅需要在业务和通信原有技术路径上加大基础理论和关键技术研究,还需要注重跨界融合技术的创新,推动以云端三维重建为代表的业务和网络向融合方向发展。从推动云端三维重建业务在 6G 时代落地来看,建议后续重点布局以下几个方向:一是需考虑对音视频、三维数据等多流数据进行扩展,并支持实时互动要求下的数据高效传输与可靠性保障;二是需要全系列协议栈的联合支撑,如应用层协议和无线通信链路层协议之间的协同传输与性能优化,以共同保障 6G 新业务在网络中的传输需求;三是需要针对云端三维重建类业务在无线侧的多流传输、实时上行调度等方面进行深入研究,推动 6G 无线网络的标准化进展。网业融合是一个长期的演进过程,需要在早期就集合产、学、研、用各方力量,共同探索,并加快关键技术的合作与研发。面向商业实际需求与产业化问题,做好系统性理论研究和技术方案设计,并在技术验证及业务示范中不断迭代,可望形成产业化的实施方案,尽早培育 6G 产业和应用生态。为此,需要不断加强跨领域的沟通与合作,推动经验和资源共享,提高技术互动和包容精神,以便更好地促进 6G 网络与业务的融合发展。参考文献1 ITU.Framework and overall objectives of the future development of IMT for 2030 and beyondR,2023.2 中国移动通信有限公司研究院.2030+愿景与需求白皮书(第二版)R,2020.3 THEO,M,LUC V G,MAARTEN V.3D reconstruction from multiple images Part 1:principlesJ.Foundations and Trends in Computer Graphics and Vision,2010,4(4):287-404.4 YAO Y,LUO Z,LI S,et al.MVSNet:depth inference for unstructured multi-view stereoC/15th Conference on Computer Vision.Springer,Cham,2018:767-783.5 CHEN R,HAN S,XU J,et al.Point-based multi-view stereo network C /2019 IEEE/CVF International Conference on Computer Vision.IEEE,2019:1538-1547.6 WEI Z,ZHU Q,MIN C,et al.AA-RMVSNet:adaptive aggregation recurrent multi-view stereo network C/2021 IEEE/CVF International Conference on Computer Vision.IEEE,2021:6167-6176.7 LAWRENCE J,GOLDMAN D,ACHAR S,et al.Project starline:a high-fidelity telepresence systemJ.ACM Transactions on Graphics,2021,40(6):1-16.8 YANG X,ZHOU L,JIANG H,et al.Mobile3DRecon:real-time monocular 3D reconstruction on a mobile phoneJ.IEEE Transactions on Visualization and Computer Graphics,2020,26(12):3446-3456.9 ALVESTRAND H.Transports for WebRTC:RFC 8835-2021S/OL.20212023-06-26.https:/datatracker.ietf.org/doc/rfc8835/.05N*=0 10 HANDE P,TINNAKORNSRISUPHAP P,DAMNJANOVIC J,et al.Extended reality over 5G:standards evolutionJ.IEEE Journal on Selected Areas in Communications,2023,41(6):1757-1771.作者简介:李可 中国移动通信有限公司研究院未来研究院高级研究员,主要研究方向为网业融合、无线协议设计等李雅茹 中国移动通信有限公司研究院未来研究院研究员,主要研究方向为三维重建、无线协议设计等王凯悦 通信作者。中国移动通信有限公司研究院未来研究院研究员,主要研究方向为实时渲染、无线协议设计等滕瑞 中国移动通信有限公司研究院未来研究院研究员,主要研究方向为传输协议设计、无线网络优化等崔春风 中国移动通信有限公司研究院未来研究院院长,博士,高级工程师,主要研究方向为无线网络新技术、泛信息融合技术等Research on 3D reconstruction technology for 6G network and service integrationLI Ke,LI Yaru,WANG Kaiyue,TENG Rui,CUI Chunfeng(China Mobile Research Institute,Beijing 100032,China)Abstract:To achieve the vision of 6G,besides developing the key 6G technologies,it is necessary to deepen the integrated development of 6G with other industries and technical fields.First,taking cloud 3D reconstruction as an example,this paper focuses on analyzing the necessity of service cloudification and the potential technical solutions,and discusses in depth the logic of network and service integration.Then,it proposes that the network and service integration is not a simple combination of networks and service technologies.Instead,the network and service integration requires cross-domain consideration and integrated design,which can give full play to the advantages of 6G network in terms of transmission and computing power,and further benefit the society.Finally,this paper proposes the future research direction.Keywords:network and service integration;6G;3D reconstruction(收稿日期:2023-07-21)15