广电宽带内容平台互联建设及运维保障探讨.pdf

72广播电视网络 2023 年第 7 期 总第 403 期东方有线专栏聚焦运营商1 引言自广电高速网建成投入使用以来，广电运营商的宽带业务呈现快速发展的趋势，但随着广电运营商宽带业务规模的不断增长，以及市场竞争的日趋激烈，广电运营商因网内内容匮乏所导致的出口成本过高、网络质量无法保障等问题日益凸显。通过互联网内容资源的合理引入，加强对视频类、游戏类等资源的 CDN 部署，以及对用户的访问进行合理的引导，可以极大减少广电出口带宽资源的消耗。2 内容平台建设设计思路在建设宽带内容平台之初，优先洽谈引入的互联网资源目标为占据出口较大量的视频类资源、购物类资源、搜索类资源。根据需要引入的内容提供商所需的硬件资源、网络设备端口资源、光缆链路资源等，完成内容平台网络结构的设计。通过在广电网络内部署各类 CDN 节点，同时和互联网内容提供商进行专线互联，将用户流量引导至网内，减轻广电运营商出口压力，降低出口运营成本，提升用户的互联网体验。2.1 内容平台 CDN 部署机房及机柜规划在建设宽带内容平台机房勘测阶段，广电核心机房的建筑结构应满足国家等级要求，同时远离危险区域，即建筑防水等级达到国家级标准、抗震级别不低于国家乙级标准、建筑耐火等级不低于国家二级标准；再结合广电机房机柜及电力资源的现状，选定 2 个核心机房作为内容平台部署的 2 个部署节点机房。考虑到内容提供商 CDN 节点的设备主要为服务器存储类设备，设备普遍较大，机架尺寸建议为 600mm（宽）1200mm（深）2200mm（高）。在进行机柜规划时，机柜布置采用“面对面、背对背”的排列方式：相邻 2 列设备的吸风面（正面）安装在冷通道上，排风面（背面）安装在热通道上，机柜内未安装设备的 U 位安装挡风盲板，实现冷热气流分隔，提高空调的制冷效率。前期与需要引入的内容提供商进行商务接洽，与对方达成 CDN 节点部署意向，再根据广电用户数确认所需部署的 CDN 节点的规模（40G 节点或者 100G 的节点等）；根据各内容提供商需要部署的 CDN 节点的设备数量及功耗，结合后期机房机柜的散热情况，综合考虑机柜资源的分配；为各个引入的内容提供商分配机柜资源时，在已分配机柜的旁边预留节点设备所需机柜 20%的机柜资源，用于后续节点的扩容以及升级事项。2.2 内容平台 CDN 网络规划设计由于内容平台网络的设备规划部署在 2 个不同的广电核心机房，因此，需要在 2 个核心机房内分别部署 2 台路由器作为宽带内容平台的核心设备。同一机房内的 2 台内容平台核心路由器分别与广电核心网的核心路由器进行 100G 物理带宽的互联，2 个核心机栏专广电宽带内容平台互联建设及运维保障探讨奚力 东方有线网络有限公司摘要：近年来，网站类访问不再是用户的主要网络应用，取而代之的是对视频、大型游戏等的高流畅业务需求，这就要求广电运营商的网络传输通道足够宽、传输时延质量足够好。本文从广电宽带内容平台建设的设计思路、内容平台流量调度、内容平台流量分析引导、运行维护及排障等方面进行探讨。关键词：内容引入 流量引导 CDN 互联专线调度 运维73东方有线专栏广播电视网络 2023 年第 7 期 总第 403 期聚焦运营商房内的内容平台核心路由器通过广电骨干网进行 100G 物理带宽的交叉互联，以保证内容平台的核心路由器多个方向的链路冗余。同时，在 2 个机房内部署多台高密度的汇聚接入交换机，双上联本地机房内的内容平台核心路由器，用作部署在 2 个机房内的内容提供商CDN节点的汇聚接入设备，汇聚接入交换机上联端口和下联内容提供商 CDN 节点的端口分布在不同的板卡上；内容提供商 CDN 节点的服务器及交换机通过光纤及网线上联高密度汇聚交换机，形成完整的内容平台CDN 网络构架。内容平台网络模型如图 1 所示。2.3 内容提供商互联专线网络规划设计互联专线的光缆建设方案设计，需结合内容提供商对接机房和广电网络的实际光缆资源情况，按照光缆路由距离、双路由保护等原则进行光链路设计。目前，主流的内容提供商与广电运营商互联专线分为以下 3 种情况。2.3.1 内容提供商本地自有机房用作与广电运营商的专线互联通过前期与内容提供商的协商，确定双方互联具体的机房机柜及设备端口位置、互联的物理链路带宽，以及施工界面。内容提供商负责本方机房 ODF 配线架内侧与本方机房间的光缆铺设及联接设备，广电运营商负责内容提供商机房 ODF 配线架外侧至本方机房间的光缆铺设及联接设备。2.3.2 内容提供商本地第三方机房用作与广电运营商的专线互联通过与内容提供商的协商以及现场勘测，确定双方互联的第三方机房机柜及设备端口位置、互联的物理链路带宽，以及施工界面。内容提供商负责本方机房 ODF 配线架内侧与本方机房间的光缆铺设及联接设备，广电运营商负责第三方机房 ODF 配线架外侧至本方机房间的光缆铺设及联接设备。2.3.3 内容提供商异地自有机房用作与广电运营商的专线互联通过与内容提供商的协商，确定双方互联的机房机柜及设备端口位置、互联的物理链路带宽，以及后续的施工界面。内容提供商负责本方机房ODF 配线架内侧与本方机房间的光缆铺设及联接设备，广电运营商负责内容提供商机房 ODF 配线架外侧至本方机房间的光缆铺设及联接设备。3 内容平台流量调度目前，CDN 节点调度方式主要分为 2 种。3.1 基于用户源 IP 地址的调度基于用户源 IP 地址的调度方式将广电运营商访问相关 CDN 资源的完整用户 IP 段信息提供给相应的内容提供商，由内容提供商在其调度服务器上做策略，将所在 IP 地址段内的广电用户访问该内容提供商资源的流量调度至部署在广电网内的 CDN 节点。视频内容提供商如爱奇艺、优酷、腾讯等的调度方式都是用户源IP地址来调度。3.2 基于用户 DNS 的调度基于用户 DNS 的调度方式是将广电用户使用的 DNS 的公网 IP 地址提供给相应的内容提供商，广电运营商在本地的 DNS 上做相应域名的转发。域名的转发又分为 2 种情况：一是广电运营商将内容提供商指定的域名递归转发到广电本地的 DNS 上；二是广电运营商将内容提供商指定的域名递归转发到内容提供商指定的 DNS 上，两者结合完成基于 DNS 的流量调度。内容提供商，如金山云、华为云、字节跳动、阿里、京东等的调度方式是基于 DNS 来调度。4 内容平台流量分析引导广电运营商在内容平台网络建设时，根据相应 CDN 节点的预估流量模型，在核心路由器互联的 100G 链路中图 1 内容平台网络模型74广播电视网络 2023 年第 7 期 总第 403 期东方有线专栏聚焦运营商部署安装了分光及分流汇聚设备，支持100G 端口的分光及分流汇聚功能。汇聚分流设备可将宽带内容平台中的原始数据进行汇聚、分流、提取、过滤、复制等操作，并输出给流量控制分析系统进行数据分析等。汇聚分流设备采用并接部署方式，组网架构如图 2 所示。流量分析控制系统实时分析广电运营商引入的 CDN 节点流量情况，通过对已引入的内容提供商 CDN 节点进行次热点资源的内网补充，实现对出口流量和内网流量的主动精细化引导，再次提高内网的访问流量，减轻出口压力。通过流量控制分析系统及时发现部署在广电网络内部的 CDN 节点是否存在流量出网的情况，及时联系相关内容提供商进行调度方面的调整，确保广电运营商用户的访问质量以及广电运营商出口的平稳运行。5 内容平台运行维护及排障5.1 广电内容平台的日常维护广电内容平台的日常维护主要涉及 3 个部分的内容。5.1.1 内容平台流量日常统计分析通过广电运营商自有的网管监控软件，对内容平台日常的流量做周期性分析，结合与广电出口侧日常流量的对比，以数据报表的形式予以呈现。5.1.2 内容平台所在机房内 CDN节点设备的周期性巡检通过人工对机房内周期性的巡检以及监控软件对服务器性能的实时监控，对内容提供商 CDN 节点的设备故障告警做到及时发现，并将情况通知CDN 节点对应的内容提供商处理。5.1.3 内容提供商调度、回源 IP及调度域名的及时更新通过在广电侧出口路由器端做相关路由策略调整，完成调度及回源 IP的更新；通过在广电网内 DNS 服务器上域名配置的调整，完成 CDN 节点调度域名的更新。5.2 广电内容平台故障类型广电内容平台故障具体分为以下4 种类型。5.2.1 广电内容平台广电侧网络设备硬件故障由广电运营商对存在故障的设备进行及时抢修处理。鉴于内容平台网络的冗余设计，单台网络设备的故障不会影响内容平台的稳定运行。5.2.2 广电内容平台CDN节点设备故障发现故障后及时联系相应的内容提供商定位故障点，对于不影响 CDN节点运行的单台设备故障采取临时下线，后续通过重启设备或者更换硬件的方式完成设备的故障抢修；对于影响 CDN 节点的交换机故障及多台设备同时故障，协调内容提供商暂停节点服务并将流量切至广电运营商自有出口，保证广电网内用户相应的应用服务不受影响，待故障处理完成后切回节点流量。5.2.3 广电内容平台互联链路故障发现故障后广电运营商自查本方光缆链路情况，同时协调对应内容提供商以及长途链路商对链路进行排查。广电运营商将互联专线流量切至广电运营商自有出口，保证 CDN 节点回源以及专线上运行的相关业务的正常运行，待链路故障恢复后切回业务。同时，保障互联专线冗余足够，单条及数条链路的中断不会对业务产生影响。5.2.4 广电内容平台业务侧故障当流控分析设备发现某个 CDN 节点的流量出现异常出网流量时，及时联系相应的内容提供商确认是否存在调度出网的情况，并予以及时处理。对于用户报修相关 CDN 节点的资源存在卡顿的故障，广电运营商通过路由追踪、抓包分析等技术手段进行故障定位，联系相应的内容提供商配合广电运营商进行故障处理。6 结语随着广电宽带内容平台互联建设的部署，更加丰富的内容资源将被引入到广电网内，不仅提升了广电网络内容资源的内网化率，还为用户提供了更加优质的网络服务，有助于广电运营商个人业务的开拓发展。广电宽带内容平台互联建设的部署有效地缩短了广电运营商日常运维中的故障定位及故障处理的时间，提升了运维效率；宽带内容平台资源和出口资源的互补增强了广电运营商网络的可靠稳定性。RTN图 2 组网架构