大数据产业园区二期项目时钟同步探索与实践.pdf

科技论坛科技论坛CE MAGAZINE PAGE 62CE MAGAZINE PAGE 63大数据产业园区二期项目时钟同步探索与实践李 兴【摘 要】本文结合数据中心具体项目，阐述了数据中心基础设施电力监控、环境监控、暖通、BA 等系统统一授时的必要性、原理、实现方法等实践探索，推进技术应用贴近实际，以供参考。【关键词】数据中心；授时；NTP；电力监控；环境监控作者简介：李兴，本科，甘肃紫金云大数据开发有限责任公司，运维工程师。一、数据中心授时需求目前，数据中心云平台分布式计算，为使系统间协同处理复杂事件，以及增量备份，设计上均标配时钟服务器。但在数据中心暖通、电气、消防、智能化等基础设施层面，不同专业大量的各类设备，授时的统一规划几乎空白，常常是以手工修改各类设备的时间，既存在工作量大，也根本无法保证精确性，为数据中心故障判定，日志查询造成了很大困惑。（一）社会发展与时钟的关系时间的准确程度一定程度上代表了社会效率，从日出而作日落而息，到日晷、沙漏、手表等人类对时间的计量方法，再到网络对时，时间与人的关系也逐渐由人与自然，逐步发展到人与机器、机器与机器协作等各种复杂的关系，精准性越发重要。在数据中心，随着计算倍增，分布式计算服务对时间的要求也越来越高。（二）IEC 61850规范随着分布式能源、储能系统和无人电力系统蓬勃发展，电网变得更加复杂，实时管理电力调度越来越困难，由此电力系统的IEC 61850规范应运而生1，它将时间性能划分为T1到T5五个等级。现阶段，数据中心在基础设施设计、建设、运维等各个阶段均对授时未涉及，从业者对统一授时的认识严重不足，在此引荐IEC 61580规范供数据中心研究应用。二、NTP授时原理时间同步也称为“授时”，是卫星导航系统的两大免费功能之一（另一个是导航定位），导航卫星上一般装有23座原子钟，提供精度较高的基准时间，精度约为20纳秒。授时常有短波、长波、网络、电话、卫星授时等多种分类2。网络授时分为广域网授时和局域网授时。广域网授时精度受限于路由路径选择时延，局域网授时精度可达亚毫秒。（一）NTP授时原理NTP由RFC 1305定义，在分布式时间服务器和客户端进行时间同步的协议，默认UDP协议123端口。网络时间按照NTP服务器等级进行传播，根据离基准时间的远近将不同服务器归纳到不同的层中（Stratum），单个Stratum层的总数限制在15。0层表示高精度设备，例如原子钟、GPS时钟等；1层设备和0层设备相连，误差仅为微秒，2层设备和1层设备通过网络相连，依此类推（二）NTP工作模式NTP可分为客户端/服务器、对等体、广播、组播等多种模式。当可以确定NTP服务器或对等体IP地址时，一般采用客户端/服务器模式和对等体模式，设备从指定服务器或对等体获得时钟，增加了时钟的可靠性。（三）时间的平滑同步与跳变NTP命令是平滑同步，在与时间服务器同步过程中，会把BIOS计时器的晶振频率偏差记录下来，即使失去网络同步源，计算机仍然能维持一个精确的走时。而Ntpdate是立即同步，调整方式是跳变，这会使时间变快或变慢，从而导致依赖时序的程序出错，可能会出现两个相同时刻，对以线性时间为前提的操作和程序是致命的，生产环境中要慎用3。三、园区授时资源和协议北斗云公共服务区配置一台BTS200时钟服务器，标配NTP以太接口、RS485、IRIG-B、TTL脉冲等接口。另一台电力监控时钟服务器，支持 61850/104规约，通过国网电科院实验验证中心和国电公司自动化设备电磁兼容实验室检测。电气设备接口有RS485和Eth两种，暖通设备则以RS485接口居多，能否实现时钟同步，一要看协议对接开发，二要看技术协议中是否有明确要求。消防系统现阶段各设备均为手动校时，如有时钟同步需要，另须规划专用时钟同步方案。四、系统设置数据中心服务器操作系统Linux，受RedHat战略调整和国产化意识的不断增强，Linux操作系统以银河麒麟等国产操作系统应用逐渐成为主流。（一）Windows客户端ntp.org组织推荐使用的Meinberg，其NTP Deamon的运行状态有INIT、LOCL、DFC、PPS几种类型。INIT表示未成功连接NTP服务器，LOCL表示成功连接本地时钟，DCF表示成功连接DCF时钟设备，PPS表示成功连接PPS时钟设备。（二）Linux系统国产操作系统银河麒麟是以 Ubuntu操作系统作为母版进行二次开发，timedatectl/timesyncd从Ubuntu16.04开始使用，而不是常用的ntpdate/ntp。Chrony由chronyd和chronyc组成。chronyd用于调整系统时钟和时钟服务器同步。chronyc用于监控性能。NTP 通过UDP123端口进行网络时钟同步，而chrony服务监听UDP的323端口。主配置文件为/etc/chrony.conf，客户端为/usr/bin/chronyc，服务端为/usr/sbin/chronyd。ntpdate和timedatectl都是命令行工具，允许查看或者修改系统的时间和日期，timedatectl用于替代date命令，在查阅文档资料或实际操作时注意加以区分。1.服务端设置Sudo apt remove systemd-timesyncdapt install chronyvim/etc/chrony/chrony.confserver 192.168.1.1 iburst#添加时钟服务器地址1server 192.168.1.2 iburst#添加时钟服务器地址2allow all#为了方便客户端连接权限设置为允许所有allow 192.168.2.0/24#允许授时网段deny 192.168.3.0/16#禁止授时网段local stratum 10#当无法和其他同步时，使用本地的时间去给客户端同步systemctl restart chronyd.serviceTimedatectl#查看当前系统时区Time zone:Asia/Shanghai(CST,+0800)Timedatectl set-timezone Asia/Shanghai#设置时区Systemctl restart chronyd#重启服务timedatectl set-ntp yes#设置启用NTP时间,自动同步chronyc-a makestep#手动同步系统时间chronyc sources-v#查看同步源chronyc sourcestats-v#同步源状态timedatectl set-local-rtc 1#设置硬件时间，硬件时间默认为UTC，等同于hwclock-l-w2.客户端同步Systemctl restart chronyd#重启服务chronyc sources#查看现有的时间服务器chronyc sourcestats#查看时间服务器状态ntpdate 192.168.50.138#客户端同步时间，chrony兼容ntpdate，可直接使用命令同步chronyc-a makestep#立即手动同步sudo vim/etc/chrony/chrony.confserver X.X.X.X minpoll 0 maxpoll 5 maxdelay.05#在末尾添加配置service chrony restart#配置后重启服务ntpdate-q X.X.X.X#在客户端用ntpdate测试（三）冗余配置Windows系统和一些设备和录像机只支持单一地址指向，路由器交换机等则支持多地址指向。1.Windows系统设置多同步时间源，一种是在注册表中修改，繁琐不推荐，另一种方法是用ntp软件，实现多个时间源之间的配置，简单实用。2.Linux系统把一个授时服务器多个物理端口的多个IP地址或多台授时服务器，采用DNS，Keepalived,Lvs等技术方法做成集群，使客户端便捷使用冗余授时，但受限在云平台侧部署。（四）交换机配置时间同步子网由主时间、二级时间服务器，PC客户端等组成。主时间服务器同步到卫星定位时钟，二级时间服务器通过网络中的主时间服务器取得同步；层数（stratum），是对时钟同步情况的分级标准，取值范围116，值越小精确越高4-5。1.主时钟交换机核心交换机的本地时钟作为NTP主时钟，接入和汇聚交换机和核心交换机之间采用单播NTP服务器/客户端模式。clock timezone Shanghai add 08:00:00display versionntp version 4undo ntp-service server disablentp-service refclock-master 2ntp-service unicast-server X.X.X.X priorityntp-service unicast-server X.X.X.X#授时服务器地址2display ntp-service statusclock status:synchronizedclock stratum:2display ntp-service trace2.客户端交换机配置Switch之间路由可达，查看接入、汇聚交换机的科技论坛科技论坛CE MAGAZINE PAGE 62CE MAGAZINE PAGE 63大数据产业园区二期项目时钟同步探索与实践李 兴【摘 要】本文结合数据中心具体项目，阐述了数据中心基础设施电力监控、环境监控、暖通、BA 等系统统一授时的必要性、原理、实现方法等实践探索，推进技术应用贴近实际，以供参考。【关键词】数据中心；授时；NTP；电力监控；环境监控作者简介：李兴，本科，甘肃紫金云大数据开发有限责任公司，运维工程师。一、数据中心授时需求目前，数据中心云平台分布式计算，为使系统间协同处理复杂事件，以及增量备份，设计上均标配时钟服务器。但在数据中心暖通、电气、消防、智能化等基础设施层面，不同专业大量的各类设备，授时的统一规划几乎空白，常常是以手工修改各类设备的时间，既存在工作量大，也根本无法保证精确性，为数据中心故障判定，日志查询造成了很大困惑。（一）社会发展与时钟的关系时间的准确程度一定程度上代表了社会效率，从日出而作日落而息，到日晷、沙漏、手表等人类对时间的计量方法，再到网络对时，时间与人的关系也逐渐由人与自然，逐步发展到人与机器、机器与机器协作等各种复杂的关系，精准性越发重要。在数据中心，随着计算倍增，分布式计算服务对时间的要求也越来越高。（二）IEC 61850规范随着分布式能源、储能系统和无人电力系统蓬勃发展，电网变得更加复杂，实时管理电力调度越来越困难，由此电力系统的IEC 61850规范应运而生1，它将时间性能划分为T1到T5五个等级。现阶段，数据中心在基础设施设计、建设、运维等各个阶段均对授时未涉及，从业者对统一授时的认识严重不足，在此引荐IEC 61580规范供数据中心研究应用。二、NTP授时原理时间同步也称为“授时”，是卫星导航系统的两大免费功能之一（另一个是导航定位），导航卫星上一般装有23座原子钟，提供精度较高的基准时间，精度约为20纳秒。授时常有短波、长波、网络、电话、卫星授时等多种分类2。网络授时分为广域网授时和局域网授时。广域网授时精度受限于路由路径选择时延，局域网授时精度可达亚毫秒。（一）NTP授时原理NTP由RFC 1305定义，在分布式时间服务器和客户端进行时间同步的协议，默认UDP协议123端口。网络时间按照NTP服务器等级进行传播，根据离基准时间的远近将不同服务器归纳到不同的层中（Stratum），单个Stratum层的总数限制在15。0层表示高精度设备，例如原子钟、GPS时钟等；1层设备和0层设备相连，误差仅为微秒，2层设备和1层设备通过网络相连，依此类推（二）NTP工作模式NTP可分为客户端/服务器、对等体、广播、组播等多种模式。当可以确定NTP服务器或对等体IP地址时，一般采用客户端/服务器模式和对等体模式，设备从指定服务器或对等体获得时钟，增加了时钟的可靠性。（三）时间的平滑同步与跳变NTP命令是平滑同步，在与时间服务器同步过程中，会把BIOS计时器的晶振频率偏差记录下来，即使失去网络同步源，计算机仍然能维持一个精确的走时。而Ntpdate是立即同步，调整方式是跳变，这会使时间变快或变慢，从而导致依赖时序的程序出错，可能会出现两个相同时刻，对以线性时间为前提的操作和程序是致命的，生产环境中要慎用3。三、园区授时资源和协议北斗云公共服务区配置一台BTS200时钟服务器，标配NTP以太接口、RS485、IRIG-B、TTL脉冲等接口。另一台电力监控时钟服务器，支持 61850/104规约，通过国网电科院实验验证中心和国电公司自动化设备电磁兼容实验室检测。电气设备接口有RS485和Eth两种，暖通设备则以RS485接口居多，能否实现时钟同步，一要看协议对接开发，二要看技术协议中是否有明确要求。消防系统现阶段各设备均为手动校时，如有时钟同步需要，另须规划专用时钟同步方案。四、系统设置数据中心服务器操作系统Linux，受RedHat战略调整和国产化意识的不断增强，Linux操作系统以银河麒麟等国产操作系统应用逐渐成为主流。（一）Windows客户端ntp.org组织推荐使用的Meinberg，其NTP Deamon的运行状态有INIT、LOCL、DFC、PPS几种类型。INIT表示未成功连接NTP服务器，LOCL表示成功连接本地时钟，DCF表示成功连接DCF时钟设备，PPS表示成功连接PPS时钟设备。（二）Linux系统国产操作系统银河麒麟是以 Ubuntu操作系统作为母版进行二次开发，timedatectl/timesyncd从Ubuntu16.04开始使用，而不是常用的ntpdate/ntp。Chrony由chronyd和chronyc组成。chronyd用于调整系统时钟和时钟服务器同步。chronyc用于监控性能。NTP 通过UDP123端口进行网络时钟同步，而chrony服务监听UDP的323端口。主配置文件为/etc/chrony.conf，客户端为/usr/bin/chronyc，服务端为/usr/sbin/chronyd。ntpdate和timedatectl都是命令行工具，允许查看或者修改系统的时间和日期，timedatectl用于替代date命令，在查阅文档资料或实际操作时注意加以区分。1.服务端设置Sudo apt remove systemd-timesyncdapt install chronyvim/etc/chrony/chrony.confserver 192.168.1.1 iburst#添加时钟服务器地址1server 192.168.1.2 iburst#添加时钟服务器地址2allow all#为了方便客户端连接权限设置为允许所有allow 192.168.2.0/24#允许授时网段deny 192.168.3.0/16#禁止授时网段local stratum 10#当无法和其他同步时，使用本地的时间去给客户端同步systemctl restart chronyd.serviceTimedatectl#查看当前系统时区Time zone:Asia/Shanghai(CST,+0800)Timedatectl set-timezone Asia/Shanghai#设置时区Systemctl restart chronyd#重启服务timedatectl set-ntp yes#设置启用NTP时间,自动同步chronyc-a makestep#手动同步系统时间chronyc sources-v#查看同步源chronyc sourcestats-v#同步源状态timedatectl set-local-rtc 1#设置硬件时间，硬件时间默认为UTC，等同于hwclock-l-w2.客户端同步Systemctl restart chronyd#重启服务chronyc sources#查看现有的时间服务器chronyc sourcestats#查看时间服务器状态ntpdate 192.168.50.138#客户端同步时间，chrony兼容ntpdate，可直接使用命令同步chronyc-a makestep#立即手动同步sudo vim/etc/chrony/chrony.confserver X.X.X.X minpoll 0 maxpoll 5 maxdelay.05#在末尾添加配置service chrony restart#配置后重启服务ntpdate-q X.X.X.X#在客户端用ntpdate测试（三）冗余配置Windows系统和一些设备和录像机只支持单一地址指向，路由器交换机等则支持多地址指向。1.Windows系统设置多同步时间源，一种是在注册表中修改，繁琐不推荐，另一种方法是用ntp软件，实现多个时间源之间的配置，简单实用。2.Linux系统把一个授时服务器多个物理端口的多个IP地址或多台授时服务器，采用DNS，Keepalived,Lvs等技术方法做成集群，使客户端便捷使用冗余授时，但受限在云平台侧部署。（四）交换机配置时间同步子网由主时间、二级时间服务器，PC客户端等组成。主时间服务器同步到卫星定位时钟，二级时间服务器通过网络中的主时间服务器取得同步；层数（stratum），是对时钟同步情况的分级标准，取值范围116，值越小精确越高4-5。1.主时钟交换机核心交换机的本地时钟作为NTP主时钟，接入和汇聚交换机和核心交换机之间采用单播NTP服务器/客户端模式。clock timezone Shanghai add 08:00:00display versionntp version 4undo ntp-service server disablentp-service refclock-master 2ntp-service unicast-server X.X.X.X priorityntp-service unicast-server X.X.X.X#授时服务器地址2display ntp-service statusclock status:synchronizedclock stratum:2display ntp-service trace2.客户端交换机配置Switch之间路由可达，查看接入、汇聚交换机的科技论坛科技论坛CE MAGAZINE PAGE 64CE MAGAZINE PAGE 65NTP状态，可以看到时钟状态为“synchronized”说明已经完成同步，层数为3，比服务器核心交换机低1级。display ntp-service statusntp-service unicast-server X.X.X.X#一层主时间服务器display ntp-service statusclock status:synchronizedclock stratum:3reference clock ID:X.X.X.X五、授时方案二期智能化系统，在云平台公共区部署DCIM、存储、环境监控电力监控服务器。BA、安防服务器均为实体服务器。燃油自控、柴发并机、蓄电池监控等子系统和变压器、UPS、配电柜、直流屏、ATS等电力采集单元通过智能化网数据接入电力监控系统；空调、AHU、漏水、加湿器、温湿度等环境采集单元通过智能化网数据接入环境监控系统；视频监控、门禁系统、入侵报警、冷机群控、暖通自控等子系统通过智能化网数据接入DCIM系统平台。（一）授时原则智能化不仅要接入暖通、电力、消防等各专业子系统，也要接入各类型前端采集器，要充分调研被授时设备的接口类型、协议，在授时规划上要评估重要程度，既要突出重点也要保留子系统的系统性，还需从时钟服务器的资源承载量等各方面统筹规划，分出层级，切忌贪全求大，导致费用增加，协调难度加大。（二）授时划分1.监控服务器环境监控、DCIM与云平台公共服务区BTS200授时服务器时钟同步，电力监控服务器与ATS1000时钟同步。环境监控系统，前端采集器AU及接入的子系统均与环境监控服务器时钟同步。二期智能化网内门禁一体机、门禁控制器、安防系统摄像头、入侵报警器，DDC、BA服务器、安防系统等服务器与DCIM系统时钟服务器同步。2.电力监控系统电力监控系统数据接入燃油自控、柴发并机、蓄电池监控等子系统和变压器、UPS、配电柜、直流屏、ATS等电力采集单元。基于电力监控在数据中心的重要性、保持延续性，一期已部署的ATS1000时钟服务器为电力监控系统专用授时。园区一、二期电力监控系统归属的子系统和电力采集单元，含前端采集器如AU与电力监控服务器时钟同步；高压综保仪表通过RS485接口ModbusRTU协议接入电力监控系统AU采集器，监控系统需根据高压综保ModbusRTU协议定制开发，实现AU采集器对高压综保仪表的授时；部署在云平台的2台电力监控服务器与ATS1000时钟同步。3.智能化网智能化网核心交换机为主时钟服务器（2级），同步云平台公共服务区BTS200授时服务器，BTS200的2个IP地址区分优先级，智能化网中汇聚交换机、接入交换机（3级）。办公网配置同智能化网，网内AP、AC等与办公网核心交换机时钟同步。结语数据中心建设在东数西算的大背景下，建设上得到了巨大发展，但如授时的规划等方面，无论是设计还是总包单位，均未能引起重视，给数据中心运营造成了一定的影响。数据中心的建设工程师们，要善于从数据中心运营角度出发，充分吸收其他行业建设成果，在工作中注重探索总结，促进技术的创新应用，推动数据中心标准化规范化建设。参考文献：1 王丽华,江涛,盛晓红等.基于 IEC 61850 标准的保护功能建模分析 J.电力系统自动化,2007,31(2):55-59.DOI:10.3321/j.issn:1000-1026.2007.02.012.2 吕斌.交换机原理及应用 J.电脑知识与技术,2009,5(10):2557-2558，2563.3 马学梅.基于 linux 的中小型企业网络服务器配置 J.电脑知识与技术,2008,4(36):2765-2767.4 李宝安,李行善.自动测试系统(ATS)软件的发展及关键技术 J.测控技术,2003(01):1-4.DOI:10.19708/j.ckjs.2003.01.001.5 丛秋波.Vocallo BTS 解决方案采用无时钟体系结构 J.电子设计技术,2009,16(06):26.企业电子元器件检测成本及质量控制胡少华 李敏【摘 要】该企业生产的每一种仪器或者设备均涉及相关的电子元器件，电子元器件是电子设备的基本单元。为保证整机应用效果达到最佳，提升设备运行稳定性，需要对电子元器件检测成本和质量进行严格控制。鉴于此，从企业角度出发，在掌握电子元器件特点的基础上，深入分析元器件检测的必要性，并在明确各类检测手段的前提下，制定可行的电子元器件检测成本及质量控制对策。【关键词】企业；电子元器件；检测成本；质量控制作者简介：胡少华，本科，陕西恒太电子科技有限公司，中级质量师；李敏，本科，陕西省电子技术研究所有限公司，工程师。引言企业电子元器件的检测成本和质量控制是现代制造业中非常重要的一环。在企业生产过程中，电子元器件的质量直接关系到产品的性能和可靠性，因此对电子元器件进行全面而准确地检测是必不可少的。为提升电子元器件检测效果，为后续的生产提供支持，应该结合电子元器件的特点，选择合适的检测手段，同时在保证检测质量的基础上，将检测成本控制在可控范围。一、电子元器件的特点（一）功耗低且体积小电子元器件的功耗低且体积小是现代电子产品设计和制造的重要特点之一。随着科技的发展，电子元器件的功耗不断降低，同时体积也在不断缩小，这为电子设备的可持续发展提供了更多的可能性，保证耗电量能整体下降，让电子元器件产品质量达到最佳。功耗低是指电子元器件在工作过程中消耗的能量较少，通过采用先进的制造工艺和设计技术，电子元器件能够在提供相同功能的情况下降低功耗，从而延长电池寿命，减少能源消耗。体积小是指电子元器件在尺寸上更加紧凑。通过微缩技术的应用，电子元器件的尺寸得以减小，这对于电子设备的轻便化和便携性非常重要。（二）应用时间长且适应能力强电子元器件的应用时间长，可以长时间稳定地工作，不易出现故障，这对于许多关键设备和系统来说至关重要，比如通信设备、航空航天系统和医疗设备。电子元器件的长寿命可以保证设备的稳定运行，减少维修和更换的频率，提高工作效率。同时电子元器件具有适应能力强的特点能够适应各种环境条件和工作要求，无论是在极高或极低的温度下，还是在高湿度或强电磁干扰的环境中，电子元器件都能够稳定工作，因此被广泛应用于各个行业和领域。电子元器件的适应能力强，可以为各种应用场景提供可靠解决方案。（三）可靠性强为满足产品的应用要求，电子元器件在质量、安全、寿命等方面都应该展现出独特的优势。电子元器件的安全性强，可靠度高，在规定时间内能让产品的性能达到最佳。电子元器件可以依照不同的环境要求，具备特定的环境适应能力，不会因为环境因素而对本身的功能造成影响，也不会对电子产品的总体应有效益产生干扰。电子元器件在产品制作期间，需要结合相关规定和标准，有针对性地进行设计、生产，同时构建完善的质量管理体系与标准，以便各个级别的电子元器件均能达到安全性要求，将自身的功能和作用发挥到最大1。二、企业电子元器件检测必要性企业电子元器件检测的必要性是不可忽视的。在现代工业中，电子元器件作为产品的核心部件。因此对电子元器件进行检测是保证产品质量的重要环节。加强对电子元器件的检测，可以及时发现潜在的质量问题，如元器件的材料不合格、制造工艺不符合要求等，针对具体问题制定解决办法，避免不合格产品流入市场，保证产品的质量可靠性。并且电子元器件在长期使用过程中，可能会出现老化、热失效等问题，通过检测可以及时发现并更换这些有问题的元器件，减少产品的故障率，提高产品的可靠性和稳定性2。现阶段，随着科学技术发展水平的不断提升，相关产品中应用的技术越来越先进，对电子元器件质量提出更高要求。故而，搭建一套元器件试验可靠性系统，全方位检验元器件，将元器件测试、老化筛选等工作落实到位，将部分潜在的早期失效元器件提前剔除，防止不达标的产品进入下一道工序，为整机运行稳定性和可靠性的提升提供保障，避免出现大量的经济损失。