基于5G_云边端协同技术的...调高调速控制系统设计与应用_崔耀.pdf

基于 5G+云边端协同技术的采煤机智能调高调速控制系统设计与应用崔耀，叶壮（北京天玛智控科技股份有限公司,北京101399）摘要：当前采煤机控制系统难以应对井下工作面复杂工况，采煤机智能调高调速控制的实现面临三大技术难题：传统 4G、WiFi 等无线通信技术的数据通信能力不足、集中式云计算平台的数据处理协同性低、割煤控制需要较多的人工干预辅助。为促进采煤机以及整个综采工作面的智能化发展，从解决采煤机 5G 通信、云边端协同、智能调高调速控制等关键技术出发，研制了一种基于 5G+云边端协同技术的采煤机智能调高调速控制系统，对系统采用的 5G 通信技术和云边端协同技术进行了详细阐述，对采煤机智能调高调速控制系统的硬件平台和通信网络进行了介绍。采煤机智能调高调速控制系统采用基于特征级融合和决策级互补的多模态融合煤岩分布识别模型，并且在煤岩分布识别技术的基础上通过“记忆割煤+煤岩分布识别干预”的采煤机智能调高调速控制策略进行截割控制。在神东保德煤矿 81309 工作面对该控制系统进行了为期 2 个月的应用测试。测试结果发现：采煤机实时通讯丢包率约为 0.003%，采煤机到集控中心之间的端到端平均通信时延下降了 75%，采煤机滚筒故障率下降了约 42%，前部刮板输送机煤炭混矸率下降了 42.9%，验证了该采煤机智能控制系统及硬件平台的实用性及可行性。该项工作提高了采煤机控制的智能化程度和可靠性水平，能够进行推广与应用，促进综采工作面的智能化发展。关键词：采煤机；5G；云边端协同；多模态融合；煤岩分布识别；智能综采；智能化煤矿中图分类号：TD421.6文献标志码：A文章编号：02532336（2023）06020512Research on cloud-edge-terminal collaborative intelligent control of coal shearerbased on 5G communicationCUIYao,YEZhuang（Beijing Tianma Intelligent Control Technology Co.,Ltd.,Beijing 101399,China）Abstract:Thecurrentshearercontrolsystemisdifficulttodealwiththecomplexworkingconditionsoftheundergroundworkingface.Therealizationoftheintelligentheightandspeedregulationcontroloftheshearerisfacedwiththreemajortechnicalproblems:thelackofdatacommunicationcapacityoftraditional4G,WiFiandotherwirelesscommunicationtechnologies,thelowdataprocessingsynergyofthecentralizedcloudcomputingplatform,andtheneedforhighmanualinterventionassistanceforcoalcuttingcontrol.Inordertopro-motetheintelligentdevelopmentoftheshearerandthewholefullymechanizedminingface,startingfromsolvingthekeytechnologiesoftheshearersuchas5Gcommunicationtechnology,cloud-side-endcollaborationtechnology,intelligentheightandspeedregulationcon-troltechnology,ashearerintelligentheightandspeedregulationcontrolsystembasedon5G+cloud-side-endcollaborationtechnologywasdeveloped,andthe5Gcommunicationtechnologyandcloud-side-endcollaborationtechnologyusedinthesystemweredescribedinde-tail,thehardwareplatformandcommunicationnetworkoftheshearerintelligentheightadjustmentandspeedregulationcontrolsystemwereintroduced.Theshearerintelligentheightandspeedregulationcontrolsystemadoptsamultimodalfusioncoalrockdistributioniden-tificationmodelbasedonfeaturelevelfusionanddecisionlevelcomplementarity,andonthebasisofcoalrockdistributionidentification收稿日期：20220630责任编辑：周子博DOI：10.13199/ki.cst.2022-1017基金项目：神东保德“综采放顶煤智能化控制技术研究”资助项目（00000050048）作者简介：崔耀(1983)，男，山东泰安人，高级工程师，硕士。E-mail：第51卷第6期煤炭科学技术Vol.51No.62023年6月CoalScienceandTechnologyJun.2023机电与智能化崔耀，叶壮.基于 5G+云边端协同技术的采煤机智能调高调速控制系统设计与应用J.煤炭科学技术，2023，51（6）：205216.CUIYao，YEZhuang.Researchoncloud-edge-terminalcollaborativeintelligentcontrolofcoalshearerbasedon5GcommunicationJ.CoalScienceandTechnology，2023，51（6）：205216.205technology,theshearerintelligentheightadjustmentandspeedregulationcontrolstrategyofmemorycuttingcoal+coalrockdistributionidentificationinterventionisusedforcuttingcontrol.The81309WorkingFaceinShendongBaodeCoalMineconducteda2-monthap-plicationtestofthecontrolsystem,thetestresultsshowedthatthepacketlossrateofthereal-timecommunicationoftheshearerwasabout0.003%,theend-to-endaveragecommunicationdelaybetweentheshearerandthecentralizedcontrolcenterhaddecreasedby75%,thefailurerateoftheshearerdrumhaddecreasedby42%,andthecoalganguemixingrateofthefrontscraperconveyorhaddecreasedby42.9%,whichverifiedthepracticalityandfeasibilityoftheshearerintelligentcontrolsystemandthehardwareplatform.Theworkim-provedtheintelligentdegreeandreliabilitylevelofshearercontrol,whichcanbepopularizedandappliedtopromotetheintelligentdevel-opmentoffullymechanizedminingface.Key words:shearer；5G；cloud-edge-terminalcollaboration；multi-modalfusion；coalandrockdistributionidentification；intelligentfullymechanizedmining；smartcoalmine0引言中国是煤炭大国，拥有非常丰富的煤炭储量，煤炭在我国一次能源消费中占主体地位1。国家发改委、国家能源局联合发布的能源技术革命创新行动计划（20162030）中明确指出煤炭开采技术的重点任务是：提升煤炭开采效率和智能化水平，研发高效建井和快速掘进、智能化工作面、特殊煤层高回收率开采等技术，到 2030 年重点煤矿区基本实现工作面无人化2。而综采工作面是煤炭安全智能开采的“主攻高地”，采煤机是保证综采工作面连续、稳定、安全运行的关键设备3-4，采煤机的智能化程度直接影响综采工作面的整体智能化水平。采煤机按智能化程度分为辅助自动化、初级自动化、高级自动化和智能化四级5，最终要攻克采煤机的煤岩识别技术，融合 5G 通信、云计算等技术，实现采煤机的无人控制割煤，达到真正的采煤机智能化。基于“云边端”协同的煤矿智能化数据处理架构和 5G 高效通信技术的应用能够解决海量工控数据传输的可靠性及控制信号传输时延造成的响应滞后等问题，因此采煤机控制系统的智能化发展离不开这些新一代信息技术的融合与应用6。目前综采工作面采煤机智能化程度尚处于初级阶段，通过技术攻关和应用测试，研制了一种基于5G+云边端协同技术的采煤机智能调高调速控制系统，在采煤机 5G 通信技术、云边端协同控制系统，智能调高调速控制系统及其硬件平台设计等方面都取得了关键创新性成果，切实提高了采煤机控制的智能化程度和可靠性水平，通过本项工作可为综采工作面的采煤机智能控制提供技术积累和实践经验。1采煤机智能调高调速控制面临的主要问题与研究进展1.1数据通信能力不足传统的采煤机依靠动力线载波和电缆作为传输媒介进行数据通信，通过缆线将采煤机数据接入井下工业环网，再经过井下工业环网将数据上传至地面监控中心7。由于采煤机采煤过程中会不断移动并且综采工作面较长，导致实际使用过程中敷设缆线量大，人工物料成本较高；长距离缆线传输又容易受到压降影响及周围环境的电磁干扰造成数据上传可靠性较低；并且缆线容易出现断裂现象导致数据中断，而且发生数据中断故障后，需要沿线检查缆线破损情况，排查修复过程费时费力，所以现在采煤机较多采用 4G、WiFi 等无线通信技术，配合少量缆线来实现数据通信8。由于采煤机上搭载着多种传感器进行数据采集，所以采煤机和控制中心之间的数据传输对带宽要求较大，并且采煤机的远程控制对通讯实时性要求较高，因此矿井现有的 4G、WiFi 等无线通信技术存在网络接入能力不足、传输可靠性低、传输带宽不足等问题，难以完全满足煤矿智能化建设的需求9。5G 通信具有高速率、低时延和广连接的特点，5G 通信技术融合物联网、人工智能、大数据、云计算等新一代信息技术已成为煤矿智能化的有效推力10。顾义东等11提出了煤矿 5G 无线通信系统的基本架构。孙继平12针对煤矿井下电气防爆、无线传输衰减大等特点，分析了矿用 5G 技术和适用范围。王国法13对 5G+智能化煤矿系统及应用场景进行了介绍，研发了基于 5G+新一代智能化系统。随着矿用 5G 通信技术逐渐得到推广应用，促进了采煤机 5G 通信系统的研究与发展。在采煤机 5G 通信技术研究方面，于颖14对基于 5G 互联网的高可靠性采煤机通信系统进行了展望，提出了采煤机机载 5G 无线通信和 FSK 数据有线通信融合的冗余通信方式。宋革非15进行了基于 5G 通信技术的采煤机远程遥控系统的设计，实现了采煤机远程遥控和快速无线通信。目前针对采煤机具体的 5G 通信组网方案和应用研究较少，采煤机的 5G 通信网络架构研究还处于摸索阶段。2023年第6期煤炭科学技术第51卷2061.2数据处理协同性低目前在智慧煤矿建设过程中，很多采用集中式云计算平台来构建智慧煤矿系统16-17。但随着采煤机感知系统的发展，现场生成的数据量越来越大，将数据全部传输到云端进行处理，大幅增加了网络通信负担，通信效率较低，无法满足实时交互控制的要求18。将数据提前经过边缘节点初步分析、过滤和整合，只需要将少量的有效数据上传中心云节点，再在云端根据边缘端上传的数据对智能模型进行训练和更新，就可以建立更复杂准确的智能模型19，而且在边缘节点可以方便快速地进行模型应用和实时控制，但传统的采煤机控制器无法实现 IT（InformationTechnology，信息技术）和 OT（OperationTechnology，运营技术）的深度融合，难以满足云边端协同需求，而单一的云计算或边缘计算也无法满足日益复杂的采煤机控制需求。1.3割煤人工干预程度高目前使用最广泛的采煤机自动控制策略为记忆截割和人工干预结合的控制方法，当遇到记忆截割应用效果不理想时，需要通过人工干预修正采煤机截割控制参数20-21。尽管记忆截割和人工干预结合的控制方法对采煤机自动控制水平有了一定提高，但是煤矿井下采煤环境恶劣复杂，不同位置的煤壁特征变化较大，所以记忆截割控制效果较差，很大程度还是依赖人工干预，这种方法无法满足井下“无人化”的发展需求22。为实现采煤机的智能化控制，目前也提出了一些通过确定煤岩分布情况来进行智能控制的方法，包括 射线检测23、红外检测24、切割温度25、振动分析26、雷达检测27等 20 多种切割模式识别方法。然而由于井下实际工况复杂，利用单一截割特征信号实现煤岩分布识别的精度较差，可信度不高，严重时甚至出现失真现象。随着技术不断发展，多传感器信息融合技术广泛应用到矿山开采与煤岩分布识别中28-30，但如果仅通过多模态信号融合的煤岩识别来进行采煤机截割控制，就需要持续实时检测煤岩分布情况，对控制系统负荷较大，所以只依靠多模态融合煤岩识别也难以实现采煤机的智能截割控制。总的来说，当前的采煤机控制系统与方法虽然已经应用了很多智能化技术，能够一定程度上减少人工控制，但难以适应工作面复杂的地质条件，并且对控制系统的计算能力要求较高，因此很大程度上还是依靠人工干预来进行控制，难以真正实现智能化开采31。综上所述，由于综采工作面采煤机工作环境复杂恶劣，当前采煤机智能调高调速控制面临着三大技术难题：传统 4G、WiFi 等无线通信技术的数据通信能力不足、集中式云计算平台的数据处理协同性低、割煤控制需要较多的人工干预辅助。为了解决这些难题，对基于 5G 通信技术和云边端协同架构的采煤机智能调高调速控制系统进行了研制，攻克了采煤机 5G 通信和云边端协同控制技术，实现采煤机大带宽、低时延、高可靠性的数据传输能力，并且充分利用了云平台和边缘计算的优点；提出了基于特征级融合和决策级互补的多模态融合煤岩分布识别模型，能够对采煤机滚筒附近的煤岩分布情况和当前截割状态进行识别预测，并且提出基于“记忆割煤+煤岩分布识别干预”的控制策略对采煤机进行智能调高调速控制，能够大幅提高采煤机截割控制的智能化和无人化水平。2基于 5G 通信的采煤机云边端协同框架基于 5G 通信的采煤机云边端协同框架如图 1所示，主要分为 4 个部分：终端设备、边缘节点、5G网络层、中心云节点。2.1终端设备终端设备主要包括控制器、多种传感器和执行设备等。1）边缘控制器。采用边缘控制器 AutomationPC3100mobile 作为采煤机的控制器，其配备了第七代英特尔酷睿 i 处理器，具有最高 16GBRAM 和480GB 闪存，并且可以对可选功能进行模块化扩展，适用于 APCmobile 的选项板，可为连接外部 I/O 添加接口，例如 CAN 或 POWERLINK，不仅可以实现设备间的相互通信，而且还可以进行数据处理和直接上传云端，并且具有 IP69K 防护等级，具有抗振动、抗冲击能力，可以满足严苛环境下的使用。边缘控制器采用云化 PLC 技术，在一个系统内既有实时控制的 PLC，又有非实时的可直接链接 IT（包括云、数据中心等）的系统，能够实现 OT 与 IT 数据的深度融合，传输速度比传统 PLC 更快，通过软件升级可实现柔性化和灵活性配置，降本增效32-33。2）多种传感器。多种多样的传感器是采煤机智能截割控制系统的基础，通过传感器来采集采煤机截割煤层时的视频、噪声、摇臂振动、截割电机电流和升降油缸压力等信号，同时也能够监测采煤机在工作面的当前位置、牵引速度以及滚筒高度，各传感器在采煤机上的安装位置如图 2 所示。声音传感器安装在采煤机截割臂根部，振动传崔耀等：基于 5G+云边端协同技术的采煤机智能调高调速控制系统设计与应用2023年第6期207感器安装在截割臂靠近截割滚筒附近，煤机截割煤层时现场噪声和振动较大，要求传感器具有较高的动态范围与灵敏度，所以监测截割噪声和摇臂振动采用具有较高稳定性的低功耗 MEMS 声传感器和MEMS 三轴加速度传感器。在井下充斥着水雾、烟尘的恶劣视觉环境下，只通过可见光视频无法获取充分的视频信息，因此采用红外摄像仪和黑白摄像仪互补进行视频监控，以获取更加全面丰富的视频图像效果，两种摄像仪并排安装在采煤机摇臂根部附近的护板上。霍尔大电流传感器无需与被测电路发生接触即可测试电路电流，而且不影响被测电路也不消耗电源功率，所以特别适合采煤机截割电机大电流的测试需求，因此采用霍尔大电流传感器安装在截割电机上对截割电机电流进行测试。压力传感器安装在摇臂升降油缸内部，能够将连续变化的压力信号转换成电信号，可以测试 060MPa 的压力变化范围，实时测试升降油缸的压力信号。位置编码器为德国堡盟的光电式旋转编码器，安装在采煤机牵引箱高、低速轴轴向位置，可将输出轴的角位移转换成电信号，基于位姿解算更新算法可以得到采煤机在工作面上的位置和采煤机的牵引速度。采煤机所采用的摇臂倾角传感器为 AccStar 的电压型传感器，倾角传感器安装于截割电机接线腔内部，其量程为6060，通过采集采煤机摇臂角度来解算滚筒高度。3）执行设备。采煤机调高调速控制中的执行设备主要为截割部和牵引部。截割部安装于采煤机头部和尾部，通过控制截割部的摇臂调高液压缸可以控制截割滚筒高度；牵引部布置于采煤机机身两侧，通过控制牵引部的牵引电机从而控制采煤机牵引终端设备边缘节点中心云节点信号处理任务处理截割控制状态监测统计分析状态识别任务创建数据管理模型训练状态监测统计分析状态识别任务创建数据管理模型训练数据收集状态预测数据处理任务下发状态推送协同作业数据收集状态预测数据处理任务下发状态推送协同作业采煤机振动、声音、倾角传感器；位置编码器；黑白摄像仪、红外摄像仪；霍尔大电流、压力传感器等边缘控制器(AutomationPC 3100 mobile)边缘基础设施工业网关边缘基础设施工业网关采运生产智能控制智能视频识别多传感器融合感知采运生产智能控制智能视频识别多传感器融合感知应用部署软硬件环境数据采集、分析AI智能分析应用部署软硬件环境数据采集、分析AI智能分析边缘节点硬件边缘基础设施工业网关采运生产智能控制边缘节点服务软件智能视频识别多传感器融合感知应用部署软硬件环境边缘节点数据服务数据采集、分析AI 智能分析设备接入 规则引擎设备鉴权 设备影子设备接入 规则引擎设备鉴权 设备影子设备集成 消息集成数据集成API集成设备集成 消息集成数据集成API集成多模态融合算法智能神经网络多模态融合算法智能神经网络计算存储网络计算存储网络EI企业智能数据计算引擎微服务容器服务EI企业智能数据计算引擎微服务容器服务物联网平台设备接入 规则引擎设备鉴权 设备影子集成平台设备集成 消息集成数据集成 API 集成云边协同平台多模态融合算法智能神经网络基础 IAAS计算存储网络大数据和 PaaSEI 企业智能数据计算引擎微服务容器服务5G 网络层5G 基站交换机5G 核心网灵数灵活切片数据传输基站控制器RHUB基站控制器BBUCPE设备图1基于 5G 通信的采煤机云边端协同框架Fig.1Cloud-side-terminalcollaborationframeworkforshearersbasedon5Gcommunication声音传感器摄像仪压力传感器振动传感器霍尔大电流传感器倾角传感器位置编码器图2传感器安装位置示意Fig.2Schematicofsensorinstallationposition2023年第6期煤炭科学技术第51卷208速度。2.2边缘节点边缘节点一方面融合工业网关从端侧获取实时数据；另一方面进行区域的数据融合与分析处理，根据场景智能化控制需求进行快速决策，降低控制时延10。边缘节点包括边缘节点服务软件、边缘节点数据服务和边缘节点硬件 3 大部分。采煤机边缘计算的硬件为边缘控制器，边缘控制器是基于 PC 的控制器，其也具备终端控制器的功能，所以在终端设备中对边缘控制器进行了介绍，相比于传统 PLC 控制器，它是边缘计算和边缘数据中心的主要计算载体，配备边缘工业网关可具备较强接入能力和协议转换能力，边缘控制器将 PLC、PC和运动控制器集成到同一台设备里，兼具多模态信号数据处理和调高调速逻辑控制，2 种任务可以同时进行，又互不干扰。边缘节点数据服务提供采煤机数据的基本管理功能，包括采煤机的上下行日志存储，以及一些数据指标的聚合分析，利用边缘计算数据处理组件和边缘 APP 为现场侧提供了丰富的计算和存储能力，实现边缘和云的协同。边缘节点服务软件基于边缘计算的微服务架构，将采运协同智能控制、智能视频识别和多传感器融合识别等功能封装到边缘应用程序上，实现了软件与硬件平台的解耦，降低了开发难度，可通过边缘计算进行边缘应用程序的灵活部署，提高了软件质量。2.35G 网络层5G 通信技术所提供的单个用户 100Mbit/s 以上，总吞吐量 10Gbit/s 以上的数据传输带宽，以及99.999%的高可靠性和毫秒级超低时延的网络性能，可为采煤机的远程控制和数据传输提供通信保障34。5G 网络层主要包括 5G 核心网、5G 网管平台、交换机、基站控制器 BBU（BasebandUnit，基带单元）、基站控制器 RHUB（RemoteRadioUnitHub，射频远端CPRI 数据汇聚单元）、5G 基站 pRRU（picoRemoteRadioUnit，远端汇聚单元）和 CPE（CustomerPremiseEquipment，客户前置设备）等设备，采煤机智能控制系统通过 5G 网络的低时延，大带宽特点和灵活切片技术，满足边缘节点和中心云节点的数据交互要求14。1）5G 核心网（5GC）包括 5GC 控制面、UPF（UserPlaneFunction，用户面功能）&MEC（Multi-Ac-cessEdgeComputingorMobileEdgeComputing，多接入边缘计算），具备部分网络管理、监测、独立运维运营等能力，支持数据分流、数据加密、数据隔离、数据访问控制等功能，提供 NAT（NetworkAddressTranslation，网络地址转换）功能。2）5G 网管平台对核心网、传输、基站接入以及终端设备进行管理，保障 5G 网络稳定、安全、可控运行。3）交换机安装在地面机房，用于实现大容量 5G网络接入、汇聚和传输。4）BBU 安装在井下机头，集中控制管理整个基站系统，基带处理单元 BBU 支持插板式模块化结构，可根据不同网络容量需求配置不同数目的基带处理单板。5）RHUB 安装在控制台旁边设备板车上，具备与 BBU25GE 级联能力和 8 路 pRRU 接入能力。6）5G 基站 pRRU 的型号为 KT618(5G)-F，安装在液压支架和巷道的合适位置上，主要包括高速接口模块、信号处理单元、功放单元、扩展接口和电源模块等。使用预调度方案发送信息给基站，将采样周期内空口的平均时延控制在 12ms，实现远程控制业务平滑上车。7）CPE 设备安装于采煤机机身上，通过 5GAR路由器双发选收的包复制技术，将采煤机与无线网络之间进行双链路连接，降低由于丢包带来的大幅度时延抖动。2.4中心云节点中心云节点包括云边协同平台、集成平台、IoT物联网平台、大数据和 PaaS（PlatformasaService，平台即服务）以及基础 IAAS（InfrastructureasaService，基础设施即服务）。中心云节点将数据抽取进行融合处理，从采煤机高效运行的角度进行全局化运营决策；另一方面，构建各场景数据引擎，对智能化模型进行训练，为边缘侧提供智能化数据模型与数据服务，发挥其存储及计算优势。云边端进行协同管理，动态分配云边计算资源，实现边缘计算数据和云计算数据跨层级交互的融合性、保证边缘计算层设备控制实时运算和保障数据安全交互。云边协同平台涉及云、边、端各个方面的协同合作，基于端侧的监测数据和人工干预指令输入，将多模态融合煤岩分布识别算法和智能神经网络控制模型在高性能中心云上进行训练与搭建，并将训练后的模型算法部署到现场侧边缘节点，实现采煤机快速响应和控制。云边协同平台解决了模型训练和推理过程中的精度、时延、数据隐私等问题。集成平台为采煤机控制系统提供了设备系统互崔耀等：基于 5G+云边端协同技术的采煤机智能调高调速控制系统设计与应用2023年第6期209联互通、数据集成汇聚、消息集成通讯、API 生命周期管理等功能，支持多种数据源、多目标、多种协议的数据集成。物联网平台集中管理声音传感器、振动传感器、压力传感器、电流传感器和摄像仪等物联网设备，提供强大的数据处理、数据分析、大数据等功能。大数据和 PaaS 提供了测试环境、部署环境等应用，使得在编写和部署采煤机智能控制系统时无需关心应用服务器、数据库服务器、操作系统、网络和存储等资源的运维操作。IaaS 为采煤机智能控制系统提供了计算和存储等资源，采用了虚拟化、分布式存储、海量数据库存储（关系型、非关系型（如大表）等）等技术，使得采煤机智能控制系统可灵活扩展且数据安全性高。2.5基于 5G 通信的云边端协同采煤机智能控制系统基于云、边、端协同架构，以 5G 网络通信为纽带进行各个设备系统之间的数据通信，边缘计算与云平台协同联动，云平台作为大脑，聚焦长周期、全局大数据的处理，而边缘侧作为中心云的触点延伸，聚焦实时、小数据的处理，灵活解决近实时业务需求，端侧聚焦于智能感知、数据采集、命令执行，是云边端协同的基础。具体的采煤机智能调高调速控制系统中各层结构的协作功能如下：1）云侧可提供应用统一管理与数据统一展示分析功能，汇集海量多模态数据，对采煤机截割模型和算法进行 AI 训练。2）边侧将工作面截割监测数据预处理后发送到云平台，并且接收来自云平台的控制命令和训练模型等数据，下发采煤机控制参数至采煤机控制器进行采煤机截割控制，满足云边端数据协同与数据安全管理的要求。3）端侧包括控制器、多种传感器和采煤机执行设备，端侧可以监测采煤机截割过程中的多模态数据信息，并且执行控制命令进行截割。4）网络侧为采煤机智能截割控制系统提供大带宽、大连接、低时延高可靠特性的数据传输功能，同时对接云端网络管理平台，提供云边端一体化的管理方式。3采煤机智能控制硬件平台及通信网络在图 1 中已针对采煤机的云边端协同框架和5G 通信技术进行了介绍，5G 通信技术是采煤机远程通信的关键技术，但是采煤机控制系统针对采煤机内部通信和远程通信配置了多种不同的通信方式，并且远程通信还通过冗余通信的方式来提高通信可靠性，因此进一步介绍采煤机的智能控制硬件平台及通信网络，采煤机智能截割控制系统通信拓扑如图 3 所示，采煤机智能截割控制系统是以高性能边缘控制器 AutomationPC3100mobile 为核心，基于高可靠 CAN 总线及工业以太网的分布式系统，对外提供 CAN、RS485、以太网等多种标准接口，并且可左端头显示器右端头显示器机载摄像仪振动传感器声音传感器倾角传感器位置编码器霍尔大电流传感器压力传感器SPE 交换机 25G 通信系统机身显示屏LASC系统SPE交换机BPLM 模块BOC 模块AXI 模块SGC 通信模块WCR 遥控模块EIO 扩展模块HEF 漏电组件MOC 电机控制HPC 模块传感中心传感中心变频器 1变频器 2TCP/IPTCP/IPCAN BUSTCP/IPRS485CAN BUS采煤机电控箱采煤机机身采煤机机身集控中心交换机调度中心交换机架间基站云5GWifi宽带载波FSK 载波SPE 交换机BPLM 模块GSC模块交换机机头基站顺槽显示器图3采煤机智能截割控制系统通信拓扑Fig.3Communicationtopologyofshearerintelligentcuttingcontrolsystem2023年第6期煤炭科学技术第51卷210以通过 5GWiFi 网络进行数据无线传输。系统架构主要分为采煤机机身和采煤机外 2 部分，采煤机机身按照功能模块可分为传感器、显示装置、交换机、BOC 模块、BPLM 模块、AXI 模块、SGC 通信模块、MOC 电机控制模块、WCR 遥控模块、HEF 漏电组件等，各组件模块之间基于 CAN 总线和工业以太网进行通信。采煤机支持 5GWiFi 网络、宽带载波、FSK 载波、光纤等多种远程通信方式，采煤机外由BPLM 模块、GSC 模块、交换机、5G 基站、集控中心、调度中心等组成，可以实现采煤机工作远程干预、采煤机数据监测、数据上云分析、数据展示等功能。采煤机智能截割控制系统可以识别滚筒附近的煤岩分布情况和读取采煤机的牵引速度及位置，在显示屏中能够对采煤机当前的截割状态和牵引状态进行显示，并且可以对采煤机牵引速度和摇臂高度进行智能控制，实现采煤机的智能采煤功能。采煤机截割控制系统显示界面如图 4 所示。4煤岩分布识别算法及采煤机智能调高调速控制方案采煤机的高速通信网络和云边端协同框架是实现采煤机智能调高调速割煤的硬件基础和先驱技术，在此基础上依靠煤岩分布识别算法及采煤机智能调高调速控制方案输出控制决策对采煤机进行调高调速控制，以实现采煤机的智能采煤功能。4.1煤岩分布识别算法多模态融合可以分为 4 个层级，传感器级融合、特征级融合、分数级融合和决策级融合。如图 5 所示，采煤机智能控制系统的多模态融合煤岩分布识别算法采用了前端特征级融合和后端决策级互补的融合策略，能够更好利用多模态信息的互补性和冗余性，相比一般的单一层级融合算法的准确性和鲁棒性更好35。目前最典型的 2 种特征级融合方法分别为串行特征融合和并行特征融合，并行特征融合在小样本问题上的性能要优于串行特征融合36。假设有 2 个特征向量为 a 和 b，维度为 p 维和 q 维，串行特征融合相当于 2 个特征向量沿纵轴方向进行连接得到一个 p+q 维的向量；并行特征融合则是将这 2 个特征向量组合成复合向量 a+ib，特征向量维数不等时对低维特征向量进行补零。决策级融合是最高层级的融合，通常采用简单的逻辑规则、多数投票法和模糊集合等方法，将来自不同特征向量的决策组合在一起，其中最常用的方法是多数投票法37。采煤机智能控制系统的多模态融合煤岩分布识别算法的具体内容如下：1)通过 MFCC（MelFrequencyCepstrumCoeffi-cient，梅尔频率倒谱系数）特征提取方法将声音信号和振动信号转换成时间和频率的二维向量表示，对图4采煤机智能截割控制系统界面Fig.4Shearerintelligentcuttingcontrolsysteminterface振动 MFCC 频谱图声音 MFCC 频谱图截割状态关联特征模型图像增强降噪截割摇臂振动截割煤岩声音截割电机电流升降油缸压力特征级融合算法决策级融合算法CNN 模型多模态融合的煤岩分布识别图像增强降噪特征级融合算法图像分割算法截割红外视频截割黑白视频图5多模态融合煤岩分布识别算法框架Fig.5Algorithmframeworkofmultimodalfusioncoalandrockdistributionrecognition崔耀等：基于 5G+云边端协同技术的采煤机智能调高调速控制系统设计与应用2023年第6期211振动和声音特征向量进行并行特征融合，然后基于CNN（ConvolutionalNeuralNetwork，卷积神经网络）模型对截割状态进行识别。2）建立截割电机电流和升降油缸压力与滚筒截割状态的关联载荷特征模型38，对滚筒截割载荷进行特征识别。3）采用 Retinex 图像增强算法对摄像机采集的截割红外图像和截割黑白图像进行增强去噪，对红外图像和黑白图像进行并行特征融合，然后采用深度对抗网络（AdversarialLearning）对煤岩分布进行图像分割。4）基于多数投票法可以对多个模型的判断结果进行决策级融合，多模态融合的煤岩分布识别算法从决策层融合来看可分为 3 个模型：声音和振动的CNN 模型、截割电机电流和升降油缸压力的关联载荷特征模型、截割红外图像和截割黑白图像的深度对抗网络，这 3 个模型均可对当前采煤机截割岩层的概率进行预测，利用多数投票法中的软投票方法，即以 3 个模型预测采煤机截割岩层的概率平均值作为判断标准，若预测截割岩层的概率平均值大于 0.5，则认为此时采煤机正在截割岩层。4.2多传感器信号时间同步多传感器信号的时间同步，即将各个传感器对同一目标的不同步的监测信息同步到同一时刻。多传感器信号不同步的原因主要有两个：一方面，由于通讯网络的不同延迟，各传感器平台向融合中心传送信息所需要的时间也不尽相同；另一方面，传感器采样周期往往也不相同，即使是初始时刻对齐后运行一段时间信号依旧会产生对齐偏差。目前多传感器信号时间同步常用的校准方法有最小二乘法、内插外推法、泰勒展开法、串行合并法、曲线拟合法等，采煤机多传感器信号时间同步采用内插外推法。如图 6 所示，3 种传感器由于通讯网络的延时不同导致传输到边缘节点时信号的采样初始时间 TA、TB和 TC并不相同，并且 3 种传感器的采样周期 tA、tB和 tC也不一定相同。对一段时间内的各传感器数据进行内插、外推，在进行内插和外推操作时，将传感器数据在短时间内的变化认为是线性变化的，对传感器数据变化趋势进行拟合，根据传感器数据变化趋势按照 t 的采样间隔对未测时间节点的传感器数据进行重采样，一般来说将采样频率最低的传感器的采样时间间隔看作 t，将信号采集频率高的传感器的数据推算到低频传感器对应的时间节点上，对于监测离散信号数据的传感器（如摄像仪、雷达、激光等）时间同步后的数据采样时间节点为 tr、tr+t、tr+2t、tr+nt，对于监测连续信号数据的传感器（如压力传感器、振动传感器、声音传感器等）时间同步后的采样数据为 trtr+t、tr+ttr+2t、tr+(n-1)ttr+nt 的分段监测数据，最终实现所有传感器数据的时间同步，形成传感器数据时间同步后再进行多源信号融合。如采煤机智能控制系统的振动传感器和声音传感器的采样频率可达到 23kHz，霍尔大电流传感器采样频率范围为 50100Hz，压力传感器的采样频率范围为 2001000Hz，而黑白摄像仪和红外摄像仪的采样频率约为 37Hz，所以采煤机上不同传感器的采样频率和采样周期相差较大，因此在进行信号融合前需通过内插外推法进行多个传感器的监测数据时间同步。对于采煤机多传感器时间同步来说，摄像仪的采样频率 37Hz 最低，所以将摄像仪的采样时间间隔作为 t，并且设定统一的采样初始时间 tr，将黑白摄像仪和红外摄像仪通过内插外推法同步为时间节点 tr、tr+t、tr+2t、tr+nt 的测试数据，将霍尔大电流传感器、压力传感器、振动传感器和声音传感器同步为 trtr+t、tr+ttr+2t、tr+(n1)ttr+n