2024视联网云化技术白皮书.pdf

视联网云化技术白皮书视联网云化技术白皮书（2024）视联网云化技术白皮书（2024）天翼视联科技有限公司2024年5月天翼视联科技有限公司2024年5月视联网云化技术白皮书1序言序言随着云计算、人工智能、大数据等新一代信息通信技术的创新发展，推动了视频监控系统从满足基本安防需求逐步演变为服务千家万户、赋能千行百业的新型视频服务网络简称“视联网”。视联网具备超大规模、全程全网、跨域融合、高效规范、充分开放等特性，是服务于数字经济、数字政府和数字社会的重要数据底座和发展引擎，为国家治理完善、经济转型升级、人民安居乐业提供有效支撑。云化技术是集大成者，它融合了大模型、大数据和云计算等关键技术特点，正在加速推动行业技术发展升级，促进新质生产力的应用和发展。本白皮书梳理了视频监控技术发展的历史脉络，阐述了云化关键技术的发展趋势，提出视联网云化技术的总体演进思路。在技术层面重点探讨了云网融合、视频融云、云智一体、安全可信等四个云化关键技术方向，阐释各个环节的技术难点和创新思路。分享了中国电信天翼视联的云化实践案例，为行业实施云化转型提供参考。未来，视联网将与前沿技术加速融合，逐步成为国家级新型基础设施，赋能经济社会发展。我们期待借助本白皮书，凝聚行业智慧，加速技术创新，携手共创产业繁荣与生态共赢。视联网云化技术白皮书2目录序言.1第一章 云化技术发展趋势.41.1.技术发展历程.41.2.云化是下一代视联网发展方向.51.3.标准与规范体系.61.3.1.现有标准化进展.61.3.2.视联网云化标准体系.8第二章 云化关键技术.92.1.云化技术体系.92.2.云网融合.92.2.1.分布式云网架构.92.2.2.云化控制技术.102.2.3.软硬一体技术.112.2.4.多维感知技术.112.2.5.混合网络组网技术.122.3.视频融云.122.3.1.智能编码技术.132.3.2.超低时延传输技术.132.3.3.高效P2P传输技术.142.3.4.视频流直存技术.142.3.5.认知驱动流控技术.142.4.云智一体.152.4.1.视觉大模型技术.152.4.2.视频理解技术.162.4.3.数字视网膜协同计算架构.172.5.安全可信.182.5.1.隐私计算.182.5.2.量子加密.192.5.3.区块链.20第三章 视联网云化技术实践.213.1.云化技术发展路径.213.2.中国电信云化实践.223.2.1.视联网云化平台架构.223.2.2.关键领域实践.23视联网云化技术白皮书3第四章 总结与展望.26缩略语列表.27参考文献.28图目录图 1技术发展趋势概览图.6图 2视联网云化标准体系.8图 3云化技术体系图.9图 4多模态大模型发展与应用.16图 5视网膜协同架构示意图.17图 6中国电信视联网平台体系架构图.23视联网云化技术白皮书4第一章 云化技术发展趋势第一章 云化技术发展趋势1.1.技术发展历程技术发展历程视联网是从视频安防逐步演进而来，从初代的模拟监控发展至今，视频安防技术主要经历了四阶段的发展。第一代模拟监控（第一代模拟监控（1979 1992）在视频安防行业的初期阶段，模拟监控系统崭露头角，为监控和安全领域带来了革命性的变化。这一阶段的典型案例是闭路电视（Closed-Circuit Television，CCTV）系统。CCTV系统通过使用模拟信号传输视频图像，在有限的区域内提供监控和录像功能。这项技术的引入使得监控变得更加便捷，企业和机构可以更好地管理和保护他们的资产和人员。在第一代模拟监控阶段，CCTV系统主要采用传统的模拟摄像机和监视器。模拟摄像机将场景中的图像转换成模拟信号，经过连接的电缆传输到监视器上进行显示。CCTV系统的安装和配置相对简单，但由于信号传输受限于电缆长度和信号衰减等因素，系统的覆盖范围受到限制。此外，模拟录像机采用磁带作为存储介质，录像容量有限，检索和管理录像数据相对繁琐。第二代数字化（第二代数字化（1992 2005）随着数字技术的快速发展，视频安防行业进入了数字化时代。这一阶段标志性的技术是数字视频录像机（Digital Video Recorder，DVR）。DVR系统利用数字信号处理和大容量硬盘存储，取代了传统的模拟磁带录像机。相比模拟监控系统，DVR系统具有更高的图像质量、更大的存储容量和更灵活的功能，使得监控数据的管理和检索更加高效和便捷。在第二代数字化阶段，数字摄像机逐渐取代了模拟摄像机，摄像机将场景中的图像转换成数字信号，并通过网络或专用线缆传输到DVR设备上进行处理和存储。数字信号的传输和处理消除了模拟信号传输的质量损失，提供了更清晰、更稳定的图像。同时，DVR系统的大容量硬盘存储使得用户能够存储更长时间的监控数据，并可通过快速搜索和回放功能方便地检索所需视频片段。第三代网络化（第三代网络化（2005 2017）随着互联网的普及和宽带网络的发展，视频安防行业进入了网络化时代。这一阶段的代表性技术是网络摄像机（Internet Protocol Camera，IPC）终端。IPC终端利用网络传输视频数据，实现了远程监控和管理的便利。它们可以通过互联网连接到中心服务器，使用户能够随时随地通过电脑或移动设备监控和管理监控点。网络化技术的引入大视联网云化技术白皮书5大提升了视频安防系统的灵活性、可扩展性和智能化水平。第三代网络化阶段，网络摄像机的出现推动了视频安防系统向IP（InternetProtocol）化发展。网络摄像机通过将视频信号数字化，并将其封装成IP数据包进行传输，实现了视频数据与网络的融合。与传统的模拟和数字摄像机相比，网络摄像机具有更高的分辨率、更灵活的安装方式和更强大的远程管理能力。用户可以通过网络浏览器或专用客户端访问摄像机，实时查看和控制监控画面，也可以通过网络存储设备对视频数据进行远程存储和管理。第四代智能化（第四代智能化（2017 2024）随着人工智能技术的快速发展，视频安防行业进入了智能化时代。这一阶段的典型案例是人工智能终端和应用。人工智能技术为视频安防系统带来了诸多创新，如智能识别、行为分析和预测等。通过深度学习和计算机视觉算法，智能终端能够实现人脸识别、车辆识别、物体检测等高级功能，大大提升了安防系统的准确性和响应速度。同时，智能化技术还为视频安防行业带来了更多的应用场景，如智能交通、智慧城市和智能家居等。在第四代智能化阶段，视频安防系统通过与人工智能技术的融合，实现了更智能、更自动化的监控和分析能力。智能终端配备了强大的图像处理芯片和人工智能算法，能够实时识别和分析监控画面中的目标对象，如人脸、车辆和行为等，从而实现智能报警、事件触发和预测分析等功能。此外，智能化技术还支持视频数据的大规模存储和处理，为用户提供更全面、更准确的安全解决方案。智能化水平的提升，标志了传统视频安防业务已经开始逐步实现向视联网方向的演进。1.2.云化是下一代视联网发展方向云化是下一代视联网发展方向云计算凭借其强大的计算力和存储能力，为海量的泛在感知接入提供了高效、弹性的处理和存储平台。人工智能技术赋予了视联网卓越的视觉理解和认知推理能力，可对复杂视频场景中的目标、行为和事件实现精准分析和智能决策。大数据技术则支持海量视频数据的集中存储、挖掘和利用，为智能算法提供了丰富数据支撑。新一代信息通信技术在视联网领域的深度融合，正推动着行业向智能化、云化的现代化道路加速演进。经历了数字化、网络化、智能化等发展阶段后，云化可被视为综合实现新一代信息技术、赋能视联网高质量发展的关键发展方向。视联网云化技术白皮书6图 1 技术发展趋势概览图顺应这一趋势，构建云化技术体系，将为视联网注入融合创新要素。融合云计算、人工智能、大数据等技术优势，实现视频采集、编解码、传输、存储、分析等全流程的智能化和自动化，推动系统向高质量、高智能、低成本的方向演进。与此同时，云化转型也将加速视联网与物联网、工业互联网等新兴领域的深度融合，持续催生创新应用，拓展行业发展空间，为社会安全保驾护航，发挥更加广泛而深远的价值。1.3.标准与规范体系标准与规范体系1.3.1.现有标准化进展现有标准化进展当前传统视频监控联网的相关技术标准、标准体系已经覆盖了视频编解码、联网、智能分析、数据、安全、运维、检测、管理等方面，从技术标准角度解决了视频图像联网及共享应用中的若干关键技术和应用问题，基本形成了国家标准、国际标准、行业标准并举、互相配合的局面，在视频联网应用的发展过程中起到了非常重要的指导和支撑作用。国家标准国家标准国家标准解决了网络化进程中系统互联互通间的瓶颈技术问题，侧重破解视频联网中最关键的通信信令及媒体格式规范难题，有效推进了视频监控图像资源的广泛共享，节省了视频信息共享应用的社会整体资源成本。截至到24年5月，已批准发布的主要国家标准包括：技术标准技术标准 GB/T 28181-2022 公共安全视频监控联网系统信息传输、交换、控制技术要求 GB/T 25724-2017 公共安全视频监控数字视音频编解码技术要求视联网云化技术白皮书7 GB 35114-2017 公共安全视频监控联网信息安全技术要求 GB/T 37958-2019 视频监控系统主动照明部件光辐射安全要求 GB 20815-2006 视频安防监控数字录像设备 GB/T 30147-2013 安防监控视频实时智能分析设备技术要求 GB/T 31488-2015 安全防范视频监控人脸识别系统技术要求 GB/T 37845-2019居家安防智能管理系统技术要求测试标准测试标准 GB/T 39272-2020 公共安全视频监控联网技术测试规范 GB/T 39274-2020 公共安全视频监控数字视音频编解码技术测试规范 GB/T 43026-2023公共安全视频监控联网信息安全测试规范 GB/T 33778-2017视频监控系统无线传输设备射频技术指标与测试方法管理标准管理标准 GB 37300-2018公共安全重点区域视频图像信息采集规范国际标准国际标准ITU-T组织制定需求定义、架构规范和信令协议等系列标准，覆盖了视频监控各个环节，国内相关机构和厂商借助“一带一路”标准走出去窗口促进行业发展30余年，也助力了国内厂商在海外市场的拓展。随着技术和产业链的日渐成熟，ITU-T相关标准体系日渐完善，已发布相关标准主要包括：F.743系列标准，明确了视频监控、智能视频监控、系统互通、云存储/云计算、大数据、通信、终端等需求场景。H.626系列标准，给出视频监控系统的整体架构蓝图，该系列标准还细化了不同网络和应用场景等体系结构要求。H.627系列标准，结合不同使用场景和人工智能技术不断完善和细化系统交互协议的规范要求。F.735系列标准，明确了软件定义摄像机的需求、功能架构和接口协议。行业标准行业标准为保障全国公安机关视频图像信息联网与应用工作的顺利开展，全国安全防范报警系统标准化技术委员会（公安部主管）组织编制了公安行业的标准体系，涉及的标准数量有37项。其中，已发布实施的GA/T 1399公安视频图像分析系统、GA/T 1400公安视频图像信息应用系统、GA/T 1788公安视频图像信息系统安全技术要求等系列标准，对于指导全国公安机关开展视频结构化应用、安全体系建设等方面发挥了重要作用，同时也引领了全行业在智能化和安全性方面的发展。中国通信标准化协会（工信部主管）组织编制了电信网视频监控的系列标准，已发视联网云化技术白皮书8布标准有17项，如YD/T 2455.1-2013电信网视频监控系统 第1部分：业务需求、YD/T2455.2-2013电信网视频监控系统 第2部分：总体技术要求、YD/T 3492-2019视频监控系统网络安全技术要求等。该系列标准规范了视频监控系统的业务需求、系统架构、编解码、服务质量、安全、智能分析、监控设备、终端设备网管等方面的技术要求，有效指导了电信网络环境下视频监控的业务部署与规模发展。1.3.2.视联网云化标准体系视联网云化标准体系“十四五”是新一代信息基础设施和融合基础设施大发展时期，集约共建、开放共享，将一些基础功能或者能力发展成为新的基础设施形态为更多用户提供服务，才能有效降低新型基础设施建设和运营成本，提高资源利用效率。另外，IT架构演进、云网切片、视频云、视觉AI新技术正在改变视频业务边界，丰富云网融合的视频应用类型和场景，助推视频行业基础架构变革与融合。基于视频云网融合的视联网基础设施正能体现视频多样化应用场景、视觉泛在化智能和云网基础化承载能力的高质量融合统一。因此，中国电信、信通院、华为等公司机构牵头编制云网融合的视频联网基础设施系列标准，当前已立项的标准包含业务场景及需求、应用系统架构和协议接口。图 2 视联网云化标准体系通过研制基于云网融合等新一代信息技术构建视频业务超融合体系架构和基础设施标准，重点围绕视频入云、超融合体系架构、视频视觉能力、云网边协同、端到端安全质量及运维体系等标准的制定，有助于高质量的供给视频和视觉云网服务，引领全新云化视联网产业链的高质量发展及高水平统一。视联网云化技术白皮书9第二章 云化关键技术第二章 云化关键技术2.1.云化技术体系云化技术体系云化技术体系是基于云网融合理念的发展战略，利用云计算和网络技术的优势赋能视频安防领域，实现终端云化、平台云化和视频技术云化。云化技术体系的发展将为视频安防领域带来更协同、高效、智能和可靠的解决方案，推动行业的进一步发展。图 3 云化技术体系图2.2.云网融合云网融合云网融合提供协同、泛在的承载能力。采用分布式云网架构、云化控制等技术手段，可构建开放统一的视联基础设施，提供计算、存储、网络等资源的智能编排和弹性调度能力，实现云计算、网络和感知设备之间的高度协同。2.2.1.分布式云网架构分布式云网架构分布式云网架构是实现视联网云网融合的关键基础，它将传统云计算中心与广域网络基础设施深度融合，构建出统一的资源池。通过分布式部署，云网资源就近提供视频服务，大幅降低时延，提升用户体验。同时，分布式架构还可提供冗余备份和负载均衡，从而实现系统的高可用性和可扩展性。在分布式云网架构中，云资源通过分布在不同区域的多个云节点组成资源池，每个视联网云化技术白皮书10云节点由计算、存储和网络三大资源模块构成。云节点间通过高速骨干网互联，形成扁平化拓扑，打破传统数据中心的层级边界。在云节点内部，采用无人值守软件定义基础设施，资源被抽象成统一的对象池，通过集中编排实现智能调度。针对视联网的特点，分布式云网架构优化了区域分布部署、智能调度策略和高可靠架构设计等关键方面。由于视联网终端遍布各地，云节点采取分布式部署，并通过智能编排实现资源共享和协同工作，可最大限度缩短与终端的网络距离，降低视频上云的时延。智能调度是分布式架构的核心能力。调度系统基于全局资源视图，结合多维度监控数据，运用人工智能技术构建资源负载预测模型。通过模型分析，可提前预知未来一段时间内的资源需求曲线，从而提前规划和调配资源，避免峰值期资源供给紧张。与传统静态调度不同，智能调度采用自主式策略，可根据不同场景制定优化目标，自主寻求满足目标的最优解决方案。例如，对低时延高带宽的视频直播场景，将优先保障就近接入和带宽占用，确保直播流畅；而对视频分析存储场景，将在计算能力、网络带宽和存储空间之间权衡资源分配。通过场景自适应，提高资源利用效率。针对视联网业务的高可靠需求，分布式架构采用了多活冗余容灾、自动故障转移等机制。通过在多云节点部署关键业务组件，实现节点级容错；若单节点故障，将自动切换至其他节点，确保服务连续性。此外，支持在线扩容技术，可按需伸缩资源规模，应对突发业务高峰。通过优化上述关键技术，分布式云网架构为视联网提供了按需调度、智能决策、高可靠的云网资源承载能力，是视联网云化转型的重要基础。2.2.2.云化控制技术云化控制技术云化控制技术通过构建统一的云控制平面，结合软件定义的方式对分散部署的终端设备进行虚拟化和编排管理，打破了传统硬件的封闭边界，赋予系统更强的灵活性和可编程性，是实现视联网云化转型的关键支撑技术。在传统分散式部署模式下，各个监控点位上的设备彼此独立，缺乏统一管理平台，给运维和扩展带来了巨大挑战。随着物联网时代的到来，视联网终端设备种类和数量都将呈现爆炸式增长，如果仍沿用分散管理方式，必将耗费大量人力物力成本。云化控制技术则为解决这一难题提供了有力路径。它将传统硬件系统中的关键功能如网络连接、视频编解码、智能分析等通过软件化抽象的方式予以虚拟化，使这些原本固化在硬件中的能力获得解放，可被灵活组合、远程编排和集中管理。在视联网云化架构下，所有终端设备虽然物理位置分散，但均与云控制平面保持连接，接收云端下发的配置指令。终端的部署、升级、监控、故障排查等全生命周期管理操作，均可通过云端统一完成。这种软件定义的云化控制模式，从根本上解决了传统分散式部署模式带来的痛点，大幅提升了运维效率和资源利用率。更重要的是，云化控制平面赋予了系统强大的灵活性和敏捷性。它不仅能将各类异视联网云化技术白皮书11构终端虚拟化成统一资源池，实现按需灵活编排；更可支持算法模型、应用功能的远程集中部署和生命周期管理，使得新的智能应用能随需灵活加载到现有终端设备上，避免昂贵的设备更换成本，可快速响应不同场景的个性化需求。2.2.3.软硬一体技术软硬一体技术软硬一体技术是指将定制硬件和智能软件深度融合，发挥两者协同优势的解决方案。软硬一体技术通过有机结合专用硬件加速器、轻量级操作系统和安全可信执行环境，可为视联网提供了高效的数据采集、加速计算和可信执行保护能力。硬件层面，终端可采用针对视频处理等实际场景进行定制优化的芯片和模组。这些定制硬件芯片提供了高性能的视频编解码、AI计算和数据加密等加速功能，极大增强了前端设备的处理效率。同时，通过硬件组件与底层操作系统深度集成，可实现对硬件资源的统一抽象管理。软件层面，通过操作系统与云端平台对接协同，可实现对终端硬件资源的智能编排和调度。借助云化控制技术，云端可虚拟化和统一调度分布在各地的硬件资源，根据需求动态加载合适的算法模型和安全组件，发挥软硬件效能的最大协同。软硬一体技术将硬件与系统软件深度融合，充分发挥两者优势，可以增强视联网在计算效率、分析质量和数据安全方面的能力，是实现视联网云化智能化转型的关键支撑技术。2.2.4.多维感知技术多维感知技术多维感知技术依托分布式云网架构实现多种异构设备接入和数据融合，为视频联网提供多源异构的感知数据支持。在云化视联网中，海量异构感知设备需要高效统一接入和管理。传统接入方式无法满足大规模、动态变化的接入需求。因此，需要引入新一代通信协议标准，支持异构设备的灵活接入和集中管理。新协议应采用云端和边缘分层架构，云端负责数据汇聚和全局调度，边缘侧处理本地设备管理，实现协议轻量化和高效协同。新协议还需支持多模态数据的高效传输，如视频流、语音流、时空传感器数据流等，满足不同类型数据在带宽、时延、可靠性等方面的差异化需求。通过编解码优化、智能路由等技术手段，确保异构数据的高效传输。多维感知技术面临的另一挑战是异构数据的融合分析。视联网汇聚了视频、图像、红外、环境参数等多源异构数据，这些数据在格式、时空特征、语义信息等方面存在差异，需要构建多模态数据融合分析框架。通过深度学习等技术手段进行特征提取、时空对齐、语义关联等，实现多源异构数据的深度融合，为智能分析决策提供全面支撑。基于融合分析的结果，云化视联网可提供精准的目标检测、行为识别、异常分析等高级智能服务。利用云端强大的人工智能算力，结合端云协同计算架构，赋予视联网高效、准确的视觉理解和认知推理能力，满足多场景智能化应用需求。此外，多维感知技术需与分布式云网架构、云化控制等技术紧密结合，实现计算与视联网云化技术白皮书12网络协同的数据分发和处理。通过部署在网络边缘的智能节点，视联网可对异构感知数据进行实时分析和智能调度，动态调整网络切片参数，确保关键业务的服务质量和网络资源利用效率，推动视联网向智能化、高效化和泛在化方向演进。2.2.5.混合网络组网技术混合网络组网技术混合网络组网技术是实现云网融合的关键支撑，目的是从根本上重塑网络架构，为不同场景和需求提供高度灵活、可靠和智能的网络承载能力，推动视联网实现按需组网、智能调度、高效传输等目标。通过打造一张可靠、高效、智能的混合网络，无缝连接云和各类边缘设备，为视联网应用提供统一的网络承载能力。在混合网络中，不同类型的网络将被抽象为统一的网络资源池。包括有线网络（如企业专线、城域网等）、无线网络（如5G/6G、Wi-Fi、卫星等）以及新型网络（如低功耗广域网等）都可以集成进入。通过SDN控制器统一编排各类网络资源，结合SRv6按需构建出满足不同业务需求的虚拟网络，并动态调整带宽、延时等关键参数，提供按需定制的网络能力。为满足视联网业务不断增长的带宽、时延、智能化、覆盖范围等需求，视联承载网络将融合6G、卫星互联网、量子通信等新兴技术，为现有网络提供有力补充。其中，6G网络作为下一代移动通信技术，可为混合网络提供更高带宽、更低时延的无线接入能力。卫星互联网则将直接赋能混合网络的全球覆盖和备份冗余。它突破了地理位置的限制，可为全球任何角落提供高带宽、低时延的网络连接。结合智能接入选择和轨道资源编排技术，卫星互联网可与地面网络无缝衔接，与6G网络共同为视联网构建泛在互联的网络架构。在偏远地区、应急场景等，卫星互联网可为视联网提供关键的备份通道，显著增强业务的可靠性和适应能力。另外，借助光互联网、量子通信等技术也将为视联网络注入新动能。光互联网以光速率传输数据，极大拓展网络带宽；量子通信可实现绝对安全的数据传输，确保视频等敏感数据的保密传输，推动视联网向安全可信网络演进。除实现网络异构融合外，混合网络组网技术还需要提供智能化的网络控制和优化能力。通过部署在网络边缘的智能网络节点，平台可对网络流量进行实时感知和分析，对异常流量进行及时发现和控制，有效遏制网络攻击。同时，通过大数据和人工智能算法分析用户行为和网络状态，混合网络可对流量进行智能控制，优化带宽资源利用，提升网络的传输效率。2.3.视频融云视频融云视频融云提供高效、高质的视频能力。通过智能编码、超低时延传输等创新的视频处理技术与云计算融合，使得视频数据的采集、编解码、传输、存储等环节高度智能化，大幅提升了视频应用的质量和效率，推动视频在更多行业领域的创新应用。视联网云化技术白皮书132.3.1.智能编码技术智能编码技术智能编码技术则通过机器学习和人工智能技术的应用，赋予了编码器更强的自适应优化能力，克服了传统的视频编码技术主要依赖人工设计的编码标准和算法造成的效率和质量瓶颈。智能编码算法能够根据视频内容的特征，动态调整编码参数和策略，从而在视频质量和码率之间达到更优的平衡。智能编码技术的实现可以参考以下几个技术路径:基于深度学习的智能率失真优化：通过构建端到端的视频编码框架，使用卷积神经网络等深度学习模型，对视频帧进行高效压缩编码，在降低码率的同时最大程度地保留视频质量。该技术可显著提升高码率视频的编码效率，实现比目前最佳编码标准H.266/VVC更出色的编码性能。基于强化学习的自适应码率控制：借助强化学习算法，编码器能够根据视频内容动态调整量化参数、帧间预测模式等编码策略，在不同场景下实现最优的编码效果。该技术可在较低码率情况下，保持较高视频质量，满足移动互联网、视频云等对带宽及时延的苛刻要求。基于注意力机制的智能编码框架：通过注意力模型捕捉视频帧中的显著区域，对不同区域采取差异化编码策略，既保证主体区域的编码质量，又降低次要区域的码率开销，从而在整体上实现高质量、高效率的编码效果。融合经典算法和新兴AI技术：将经典的编码算法（如帧内预测、帧间差分等）与深度学习特征提取、生成对抗网络等技术相结合，发挥各自的优势，在提升编码性能的同时，控制编解码算法的计算复杂度。2.3.2.超低时延传输技术超低时延传输技术随着视频能力在各行业场景的广泛应用，业界对视频传输的实时性、低延迟提出了更高要求。超低时延传输技术是融合新型传输协议、AI智能路径规划、网络加速等新型技术，实现端到端的低延迟、高质量视频传输，成为推动视频融合技术发展的关键所在。新型传输协议是超低时延传输技术的基础。包括WebRTC、SRT和QUIC等新协议通过优化传输机制、支持多路复用、减少握手延迟等手段，极大缩短了端到端的传输时延。其中，WebRTC可在浏览器中直接实现实时音视频通信，无需插件支持；SRT针对视频优化，实现了低延迟和高可靠性传输；而QUIC则在提高传输速度的同时，还增强了安全性和连接可靠性，有望成为未来网络传输的主流协议。与人工智能技术的结合是超低时延传输技术的又一重要特征。AI智能路径规划技术可根据网络状况、用户需求动态选择最佳传输路径和编解码器，实现智能调度；基于AI的编解码优化技术则通过硬件加速、码率控制等手段降低编解码延迟。网络加速技术是确保超低时延传输的重要保障。CDN（内容分发网络）、P2P等网络加速手段可在网络层面加速视频传输；而5G/6G、IPv6等新型网络协议和技术则为超低时延传输提供了坚实的网络基础。同时，边缘计算技术的应用也使视频数据可就近获视联网云化技术白皮书14取和处理，进一步缩短传输路径。2.3.3.高效高效P2P传输技术传输技术P2P（Peer-to-Peer）传输技术是视频融云中一种重要的传输手段，针对视频数据量大、实时性强的特点，通过点对点的方式直接在终端节点之间传输视频数据，可有效降低中心服务器的压力。传统的客户端-服务器模式在设备操控、视频直播、录像调阅等场景下存在单点故障风险，且随着并发用户数量的增加，中心服务器的负载压力会急剧增大。而P2P技术通过在终端节点之间建立直接的数据传输通道，将视频流分发至各个边、端节点，从而避免了中心服务器的瓶颈问题，提升了系统的可扩展性和健壮性。高效P2P视频传输技术的核心在于合理分配上下行带宽资源，构建高效的路由拓扑结构，实现视频数据的快速分发。未来，P2P技术将与5G/6G移动网络、IPv6等新一代协议相结合，充分利用移动智能终端的上下行带宽，构建更加智能化的传输网络。同时，层级化P2P等新型架构的引入，将进一步优化资源调度和路由选择算法，提高传输效率和可靠性。层级化P2P还可与CDN相结合，在热点区域部署边缘节点，实现视频的就近存储和高速转发，为视联网提供更好的视频传输支撑。2.3.4.视频流直存技术视频流直存技术随着视频数据量的不断增长和视频应用场景的日益丰富，视频数据的实时存储和管理成为视频融云技术中一个难题。传统的视频存储方式是先将视频数据缓存在流媒体服务器端，之后再进行编码转换或格式封装等处理，最终转存到存储介质中。这种方式存在延时较大、占用转发带宽高和存储容量需求高等问题。视频流直存作为一种创新的存储技术，支持将视频数据流实时存储至分布式云存储，省去传统方式中需先缓存至流媒体服务器再转存的中间环节，直接将视频数据从源头写入存储系统，有效降低了时延和额外资源开销。此外，流直存技术还支持按需转码、多码流切片、数据分片等高级功能，有效提升了存储资源的利用效率。在云化视联网环境下，流直存技术可与云存储、云计算等基础设施深度融合，发挥出更大的价值。利用云计算的弹性伸缩特性，流直存技术可根据实际需求动态调整存储资源，实现按需存储。同时，流直存技术与云原生架构的天然契合，也使其具备了良好的可扩展性和高可用性。通过分布式部署和故障隔离，流直存可确保视频数据不丢失、不中断。未来，视频流直存技术将进一步融合视频编解码、AI分析等能力，实现视频实时编码、智能分析等能力与直存一体化部署，满足低延时、移动化、智能化等新需求。2.3.5.认知驱动流控技术认知驱动流控技术在视频融云中，通过引入认知驱动流控的技术可以进一步优化和完善视频传输的质量和效率。认知驱动流控利用智能算法和反馈机制，根据网络状态和用户体验动态调整视频传输策略，实现视频质量的主动优化。视联网云化技术白皮书15认知驱动的视频QoE（Quality of Experience，体验质量）优化算法通过对网络状态、用户体验等多维度数据的实时采集和分析，构建视频质量体验的评估模型。它利用机器学习算法动态预测视频传输过程中的QoE变化趋势，并根据预测结果主动调整视频编码参数、传输策略等，从而在带宽受限或网络波动的情况下最大限度地保证用户的视频观看体验。通过数据采集、建模、预测、参数调优和策略控制等步骤，认知驱动的QoE优化算法能够权衡传输效率和视频质量，选择最优的视频传输策略，如自适应码率、分层编码等。同时，在视频云化传输过程中，由于网络状况的动态变化，难免会出现数据包的丢失或失序。为了保证视频传输的可靠性和完整性，认知驱动流控还可结合前向纠错、自动重传请求、基于优先级的纠删策略和无缝切换技术，对传输过程的实时监测和反馈，触发纠删机制的主动调整，减少视频卡顿、断流等问题的发生，从而在恶劣网络环境下依然保证视频传输的质量和稳定性。2.4.云智一体云智一体云智一体提供智能、协同的理解能力。人工智能技术与视频监控深度融合，赋予系统智能分析和理解的能力。通过云端与终端的分层分工、协同计算，实现了人工智能在视联网各层面的深度渗透和高效运行。2.4.1.视觉大模型技术视觉大模型技术视觉大模型代表着人工智能技术的新高度，不仅能提供准确高效的视觉感知和理解能力，更将拓展至更高层次的认知推理、决策规划和行为控制等通用人工智能能力。近年来，Transformer、MLP等新型神经网络结构突破了人工智能模型的性能瓶颈。GPT-3大型语言模型问世，展现出大规模预训练模型强大的语言理解和生成能力，引发了学界和业界对通用人工智能的极大关注。多模态视觉大模型则通过融合文本、视觉等异构数据，赋予了视联网卓越的视觉理解和认知推理能力。该类视觉大模型不仅能精准识别监控画面中的目标、行为和事件，更能从全局视角进行复杂场景的关联分析和智能预警，为视联网系统提供实时目标检测、行为识别、异常分析等智能化服务，有力提升社会治理、生产生活的智能化水平，助力在安全防范、智慧城市、智能制造等多领域释放新价值。展望未来，视觉大模型将向着通用人工智能的目标不断演进。目前的视觉大模型主要关注视觉感知和语义理解能力，在此基础上，还需具备更高层次的认知推理、决策规划和控制执行能力。在认知推理层面，结合因果推理、概念建模等技术，深入解析和解释视觉世界。在决策规划环节，需具备自主决策和行为计划制定能力。在控制执行层面，需要与运动规划等模块紧密协同，实现视觉理解与行为控制的闭环。比如在交通监控场景中，系统不仅要识别出交通违章行为，还需提出相应的指令执行方案，如采取拦截措施、远程喊话等。视联网云化技术白皮书16图 4 多模态大模型发展与应用为实现上述能力，视觉大模型将向多模态、主动式和自解释方向发展。多模态大模型将融合视觉、语音、感知等多源异构信息，形成更全面的世界表征；主动式模型将主动探索环境，自主规划观察路径；自解释模型则可对决策过程给出合理解释，确保系统的可解释性和可信赖性。同时，视觉大模型将与信息物理系统等新兴技术加速融合，在智慧园区、智能物流、应急救援等诸多领域释放巨大应用潜能。发展视觉大模型仍需突破硬件算力、云边端协同、数据闭环、行业生态等诸多挑战。需优化大模型推理，降低资源开销；需引入云边端智能协同，提升实时分析能力；需构建可持续的数据闭环，为模型提供优质训练数据；还需建立开放的行业大模型平台，促进算法复用和场景化迁移。2.4.2.视频理解技术视频理解技术视频理解技术是计算机视觉技术从静态图像理解向动态视频内容理解的重大跨越。传统的图像理解技术主要关注单一图像帧，从空间维度提取边缘、角点、斑点、直方图等低级视觉特征，支持图像分类、目标检测等基础视觉任务。而视频理解则需要除了空间特征外，还要从时间维度捕获运动、变化等动态信息，对视频流的语义内容进行全面深入的理解和分析。视频理解技术通过时间序列分析方法整合视频中连续帧之间的时空上下文信息，借助光流模型捕捉目标运动轨迹，利用递归神经网络（如LSTM）对时间序列进行建模，从而理解视频画面中目标的动态行为。这种动态时空特征表示不仅能描述目标的空间位置和外观，更重要的是能够刻画目标的运动状态和行为模式，为高级视觉应用提供有价值的语义支持。近年来，视频理解领域涌现出多种创新型视觉大模型网络，如TimeSformer、Video视联网云化技术白皮书17Swin等，通过自注意力机制和视频转换器结构将时空信息高效编码到连续的视频表示中。这些大模型采用了多头注意力、时空混合注意力等创新机制，对视频数据进行端到端的时空建模，极大提升了对视频内容语义理解的能力，在行为识别、动作分类、视频问答等视频分析任务上取得了卓越性能，推动了视频理解技术的飞速发展。高级视频理解技术为诸多智能视频分析应用提供了有力支撑。在行为分析领域，视频理解技术能够实时检测视频画面中人员或车辆的异常行为，如徘徊、打架、违规停车等，并发出智能报警。在人群计数领域，视频理解可以精确统计出人群流量和密度情况，为公共场所运营管理提供参考。在交通监控方面，视频理解可以对车辆、行人、道路标志等多个要素进行同步分析，智能识别交通拥堵、违章等异常情况。在实时运动分析中，视频理解技术能够自动检测和跟踪运动目标的轨迹和行为模式，实现高精度的运动预测和分析。视频理解技术仍将沿着时空建模和语义推理的道路不断突破，融合多模态交互、主动式学习、自解释和可信赖等智能功能，使计算机视觉系统不仅能够“看到”视频内容，更能真正“理解”其中的语义信息，进而自主执行复杂的视觉认知和决策任务。2.4.3.数字视网膜协同计算架构数字视网膜协同计算架构数字视网膜协同计算架构是视联网云化智能化的关键创新技术之一，它颠覆了传统的端-云计算模式，引入了全新的端云协同计算范式。在传统架构下，视频分析任务往往采用端云分离的计算模式。端侧负责视频数据采集和初步前处理，然后将视频原始数据全部上传至云端进行模型推理和高级分析，存在着算力和带宽资源的巨大浪费。而云端虽然拥有强大的算力资源，但直接对海量视频流进行建模和推理，计算压力和延时也是巨大挑战。图 5 视网膜协同架构示意图数字视网膜协同计算架构则打破了这种割裂的端云分工方式，采用先进的端云协同设计理念，充分发挥了两端算力的协同作用。在该架构中，终端不再是简单的数据采集设备，而是集成了初步视频特征提取的人工智能能力。它利用少量算力通过卷积神经网络等技术对视频数据进行前端处理，提取出视频的张量特征表示，并使用高效的编码算法对特征进行流式压缩传输，大幅降低了上传带宽的需求。云端则配备了强大的AI算力平台，部署先进的视频大模型和决策模型。它接收来自边缘终端的视频特征流，通过大规模并行计算对特征进行高层次的融合和决策分析，生成高阶语义向量特征数据和结构化标量特征数据，为后续的智能视频应用提供丰富的内视联网云化技术白皮书18容理解支撑。数字视网膜架构的端云协同设计，有效克服了传统架构中端-边-云环境下的模型复用和数据传输瓶颈。边缘终端只需承担轻量级特征提取任务，降低了算力需求；云端只需处理高层特征，降低了计算复杂度；特征流的高效编码则大幅节省了网络带宽资源。通过合理分工和紧密协作，端云两端算力得到充分利用，使整个视频分析流程更加智能、高效和灵活。该架构的灵活性还体现在，终端和云端模型可根据实际需求进行动态调整。如针对算力有限的终端，可部署更轻量级的特征提取模型；针对对延时敏感的实时分析场景，云端可部署高性能的特征融合模型；针对对精度要求更高的离线分析任务，云端则可调用庞大的视频大模型进行全面分析等。通过按需组合，可适配不同的应用场景。此外，该架构还可集成智能训练和在线学习的能力。边缘视网膜终端在实际运行过程中收集的视频和特征数据，可上传至云端用于持续的模型训练和改进，进一步提升视频分析和理解的精度和鲁棒性。2.5.安全可信安全可信安全可信提供可靠、隐私的处理能力。借助隐私计算、量子加密、区块链等创新技术，可为视频采集、传输、存储、应用等环节构建更完善的端到端安全防护体系，为用户提供安全可靠的服务保障。2.5.1.隐私计算隐私计算隐私计算技术通过密