基于加权集成学习的车间生产进度异常预测.pdf

第 期 年 月组 合 机 床 与 自 动 化 加 工 技 术 .文章编号:():./.收稿日期:修回日期:基金项目:国防基础科研项目()作者简介:周海浪()男硕士研究生研究方向为智能制造().通信作者:郭宇()男教授博士博士生导师研究方向为制造物联技术、智能制造与工业大数据().基于加权集成学习的车间生产进度异常预测周海浪郭 宇张 浩王胜博刘道元金 霞(南京航空航天大学机电学院南京)摘要:准确的生产进度异常预测对于提升车间生产效率具有重要意义针对单一模型预测精度低、泛化能力弱等问题提出一种基于加权集成学习的生产进度异常预测方法 首先考虑不同模型挖掘数据和训练原理的差异确定基学习器的种类提高模型的适应性和准确性其次采用遗传算法对各基学习器的权重进行优化进一步纠正基学习器的预测误差构建生产进度异常预测集成模型 实例验证表明所提方法可以准确预测出车间实际发生的生产进度异常准确度达 提升了车间生产进度异常预测精度并且在、指标上体现出更好的泛化性能关键词:加权优化生产进度异常预测集成学习中图分类号:文献标识码:():.:引言在多品种、变批量的离散制造车间中物料短缺、设备故障、紧急插单等扰动事件时有发生 在传统的制造过程中由于缺乏对车间生产运行状态的有效监控方法扰动未能及时处理影响车间生产效率和延迟生产任务完成时间 随着主动感知、自动识别、智能控制等先进技术逐步应用于离散制造车间使得车间生产运行数据的采集更加快速准确这为生产进度异常预测提供了完备的数据支撑 因此通过对生产进度异常的准确预测预判未来某个时刻的生产进度与计划生产进度的偏差对触发车间资源合理配置、任务调度优化和保证订单按时交付具有重大意义近年来众多学者对生产进度异常进行了广泛研究主要方法有仿真分析、灰色理论、统计分析和机器学习等 以往研究表明相对于其他方法机器学习在车间性能预测中具有良好的应用效果 等通过构建了具有迁移学习能力的长短期记忆网络()模型来拟合数据特征的非线性关系实现生产进度预测 等针对当前订单训练数据不足导致模型预测不准确和泛化性能力差的问题提出了一种历史数据和实时状态数据驱动的双层迁移学习预测方法实现车间生产进度精准预测 朱雪初等针对仿真分析法泛化能力较差的问题采用支持向量回归()算法实现晶圆加工周期预测 等构建深度自编码器回归模型学习高维数据中蕴含的车间运行规律以实现订单剩余时间的准确预测 等针对物理模型难以准确描述非线性关系的问题提出了一种基于极限梯度提升()树模型实现产能预测 在上述基于机器学习的预测方法中只是采用了单一模型进行生进度异常预测 由于影响生产进度的因素具有多样性和车间环境的复杂性若使用单一模型可能由于数据的随机性而导致泛化性能不佳为了解决单一模型存在的不足多模型集成学习方法在其他领域的预测问题上已有应用李飞飞等采用 集成学习对 神经网络子模型进行融合提高了模型的预测精度和泛化能力 韩腾飞等提出了融合多个相异模型的集成学习方法用于设备剩余使用寿命预测有效解决了单一预测模型性能波动较大的问题 鲁顺等针对单个模型提取特征多样性不足的问题采用集成学习构建更具泛化能力和可靠性的轴承健康因子提高轴承剩余寿命预测精度以上研究表明集成学习方法在处理预测问题时具有一定的优势但在生产进度异常预测方面应用还较少基于上述分析面对离散制造过程中复杂的车间环境和海量、多源的制造数据提出一种基于加权集成学习的车间生产进度异常预测方法 通过关联性分析选择差异度较大的模型作为集成学习的基学习器从不同的数据结构和数据空间角度观测数据使集成模型更具多样性适应复杂的车间环境采用遗传算法()优化基学习器权重并进行加权集成以实现更高的预测精度和更好的泛化性能满足车间生产进度异常精准预测的需求 问题描述生产进度异常是指车间实际生产进度与计划产生的偏差不在规定的阈值范围内 根据此定义准确的生产进度预测是核心内容 生产进度预测是指量化一项生产任务或一个订单在未来某时刻的完成程度在对生产进度精准预测的基础上判断未来 时刻是否发生生产进度异常计算公式为:()式中:表示未来 时刻生产进度是否异常 表示异常 表示正常表示预测的生产进度表示计划的生产进度 表示阈值影响 的主要因素包括生产任务组成、历史统计数据、实时生产状态 和时间长度 的计算公式为:()()式中:()表示映射关系 影响因素量化表达如下:()生产任务组成 可由各种类型工件的数量来表示计算公式为:()式中:表示第 种类型工件的需求数量()历史统计数据 指截止当前时刻 该生产任务统计到的每种类型工件已完成任务量计算公式为:()式中:表示第 种类型工件截止当前时刻统计的完工信息()实时生产状态 指当前时刻组成生产线的 个工位的实时状态包括每个工位的入缓存区、加工设备、出缓存区和流转的实时状态信息计算公式为:()式中:表示车间第 个工位在 时刻的实时生产状态 基于加权集成学习的生产进度异常预测.生产进度异常预测框架本文提出一种基于加权集成学习的生产进度异常预测框架如图 所示主要包含以下部分:()数据采集:基于车间制造执行系统获取生产任务组成数据和历史过程数据基于车间部署的智能传感器、射频识别、超宽带等各类感知设备实现实时状态数据的采集()数据预处理:通过对数据进行整合建立生产进度数据集并对数据集进行归一化()单模型训练阶段:训练 个满足迭代要求的生产进度预测模型:()式中:表示第 个预测模型()多模型集成阶段:通过关联性分析选择 个基学习器确定最佳组合方式并基于 优化各基学习器权重对各基学习器进行集成计算公式为:()()式中:()表示映射关系()应用阶段:应用集成学习模型进行生产进度精准预测计算生产进度预测值和计划值的偏离程度判断是否超出阈值分析生产进度异常是否发生图 生产进度异常预测框架.基学习器选择集成学习通过将多个预测模型的信息融合在一起以此来纠正单个模型的预测误差获得更优越的性能 在加权集成学习模型中需要分析各个基学习器的单独预测能力和比较不同基学习器组合的效果使得加权集成学习模型获得最佳预测效果由于车间环境的复杂性使得生产过程数据具有高维、海量、噪声等特点 立足于单一模型的预测性能考虑在处理车间生产进度数据时具有良好预测性能的模型有助于提升模型整体的预测效果 年 月 周海浪等:基于加权集成学习的车间生产进度异常预测采用长短时记忆结构具有挖掘长期依赖关系数据的特点 和随机森林()分别采用 和 的集成方式有着严谨的数学理论支撑和突出的学习能力 在处理非线性回归问题具有独特优势 因此该 种模型可作为基学习器的备选方案()模型 用于解决传统循环神经网络在训练过程中通过反向传播学习时存在的梯度消失和梯度爆炸的问题 主要由遗忘门、输入门和输出门等单元组成通过使用选择性传递信息的“门”结构来实现信息的有效存储和更新 模型得到的生产进度预测结果为:()()式中:表示 时刻的序列值 表示历史时间序列长度()模型 是经过梯度提升树改进的集成树模型由若干回归树组成实现输入输出的映射 目标函数为:()()()式中:()表示预测值和真实值 之间的误差()表示控制模型复杂度的正则项 表示回归树的棵树 表示数据样本的个数 模型得到的生产进度预测结果为:()()()式中:()表示最终的模型()表示第 棵树的输出值表示树的集合空间()模型 通过 与决策树的结合来提升预测精度和计算效率 在两方面体现随机性:特征的随机性 在决策树建立初期随机筛选候选特征获取最具有表征能力的分裂节点 样本的随机性 随机抽取数据样本对决策树的根节点样本进行打乱处理 模型得到的生产进度预测结果为:()()式中:()表示第 棵决策树的预测结果 表示决策树的棵树()模型 通过引入核函数技术将输入数据映射到高维空间使得数据在特征空间内线性可分因此可用于解决非线性回归的生产进度预测问题 选择性能优异的径向基函数作为 的核函数计算公式为:()()()式中:表示核函数宽度和 表示特征向量 模型得到的生产进度预测结果为:()()()式中:、表示求解时引入的拉格朗日乘子选择不同模型作为基学习器能够从不同的数据结构角度和数据空间角度去挖掘数据和生产进度的内在联系 因此选择关联度较小的基学习器参与集成能够最大程度发挥不同模型的优势达到取长补短的目的 采用 相关系数对各模型预测误差的差异度进行计算以此来衡量不同模型的关联度计算公式为:()()()()()式中:和 表示不同模型的生产进度预测结果和表示预测结果的平均值通过关联性分析选出 个基学习器参与集成获得基学习器最佳组合方式 计算公式为:()式中:表示第 个基学习器.基于 的基学习器权重优化与加权集成在上述确定基学习器最佳组合方式的基础上为了进一步降低基学习器预测误差对结果的影响采用具有较好健壮性和较强全局搜索能力的 来优化基学习器权重使得集成学习模型获得误差更小的生产进度预测结果将 中基学习器预测结果用 表示基学习器权重用 表示计算公式为:()()式中:表示基学习器 的预测结果表示基学习器 的权重取值范围是因此集成学习模型的预测结果为:()()通过最小化 中适应度函数值确定基学习器的最佳权重 适应度函数 计算公式为:()()式中:表示均方误差函数 表示实际生产进度 优化基学习器权重过程如表 所示表 优化基学习器权重过程算法:优化基学习器权重输入:实际生产进度 各基学习器生产进度预测结果输出:权重.确定种群数量、交叉率、变异率、最大迭代次数.初始化种群使种群中每条染色体含有 个基因一个基因表示一个 随机生成第一代种群.(最大迭代次数)根据交叉率 进行交叉 根据变异率 进行变异 计算每条染色体加权后的集成学习预测结果()利用 评价种群选择使得 减小的染色体产生下一代种群 .案例分析.实验环境以某航天机加车间为实验平台车间由 个工位组成从事结构件的加工 为了验证算法的性能对组合机床与自动化加工技术 第 期 条生产数据进行实验其中训练集、验证集和测试集的比例为:并进行归一化处理 本文使用 语言与 框架搭建预测模型硬件配置为 和 .性能评价指标采用均方根误差()、平均绝对误差()和 平方()对模型性能进行评估:()()()()()()式中:表示实际生产进度的平均值.模型超参数设置与基学习器选择为了获取最佳的集成学习预测模型从模型的预测性能和模型之间的关联度两方面进行分析首先经过多次实验确定模型的超参数如表 所示表 模型超参数模型超参数集树深度 树的数目 核函数 核函数系数.惩罚系数 为.神经元数量、隐藏层数量 树深度 树的数目 模型在验证集上的预测性能如表 所示表 验证集中模型的性能指标值模型.从表 中可以看出 预测性能最好因为 模型对损失函数进行了二次泰勒展开提高了模型的精度 其余模型均具有较好的预测性能可作为备选的基学习器其次通过关联度计算进一步筛选基学习器 获得基学习器之间的 相关性系数值如图 所示图 各模型关联性分析从图 可以看出 和 关联度最高是因为两类模型虽然在原理上有一些不同但都是通过决策树进行学习的集成算法数据处理方式较为类似通过前述预测性能对比 比 的性能更好因此排除 模型选择、和 三个模型作为集成学习模型的基学习器且这 个模型的实现原理存在较大差别关联性较低.实验结果与分析在选择、和 基础上构建 优 化 的 集 成 学 习 模 型 ()超参数和 中各基学习器权重如表 所示表 超参数和各基学习器权重 超参数基学习器权重种群大小.迭代次数.交叉率.变异率./为了验证本文提出的 预测性能的优越性分别设计 组实验证明:与单一模型对比 与不同基学习器组合结果对比 加权集成与平均加权集成对比 组实验均在测试集上完成结果如表 所示 下面对每组实验展开具体分析表 测试集的不同模型的性能指标值序号模型.()与单一模型对比 图 中展示了 的生产进度预测结果实际生产进度值由黑色虚线表示预测生产进度值由灰色实线表示可以看出图 中黑色虚线和灰色实线的重合度很高说明 能够实现生产进度的准确预测 为了对比 与单一预测模型的性能 从表 中可以看出(模型)的、和 均优于 个单一模型 以 为例 比单一预测模型(、和)分别降低了.、.和.图 预测结果()与不同基学习器组合的结果对比 为了验证以、和 三个模型作为基学习器的合理性不同基学习器组合的集成模型预测性能如图 所示每个基学习器的权重均采用 进行优化从图 中可以看出不同基学习器组合方式下集成模型的预测性能指标有着较大的差别其中(模型 年 月 周海浪等:基于加权集成学习的车间生产进度异常预测)具有最佳的预测性能 一方面每个单一模型都具有较强的预测性能可以挺高集成模型的整体性能另一方面 个基学习器在预测的机理方面存在不同采用关联性小的基学习器可以充分发挥每个基学习器的优势使得集成学习模型具有更好的泛化能力和稳定性图 不同单一算法组合的预测性能指标()加权集成与平均加权集成对比 为了进一步验证通过 优化基学习器权重对集成模型的影响与平均加权方式进行比较 从图 中可以看出 加权集成方法的在评价指标、和 上均优于平均加权集成方法 说明采用 加权方法能够更加准确的为每个基学习器分配权重整合基学习器的预测结果实现更高预测精度图 不同集成方法的预测性能指标在集成学习模型 实现生产进度精准预测的基础上选取该模型预测的 个数据样本进行分析根据式()计算预测值和计划值的偏差判断是否发生生产进度异常 其中式()的 根据历史生产数据与生产异常产生情况确定为.图 给出生产进度异常发现结果从图中可以看出 号和 号数据样本的生产进度偏差值大于.为生产进度异常点和实际相符图 生产进度异常发现 结束语本文研究了基于加权集成学习的车间生产进度异常预测方法主要贡献如下:提出了一种集成、的生产异常预测方法 采用 对、三个基学习器的权重进行优化使得集成模型能够获得精确的预测值 实例验证表明本文所提出的方法能够满足车间生产进度异常预测的需求具有良好的性能较为明显提升车间生产进度异常预测能力综合考虑领域的发展和本文的研究内容在后续研究中可以考虑在模型集成中引入竞争机制进一步提升模型的鲁棒性以提高生产进度异常预测能力参考文献 黄少华郭宇查珊珊等.离散车间制造物联网及其关键技术研究与应用综述.计算机集成制造系统():.():.():.():.朱雪初乔非.基于工业大数据的晶圆制造系统加工周期预测方法.计算机集成制造系统():.:.():.().():.李飞飞宋勇刘超等.板带力学性能预报的集成学习模型及其可靠性评价.机械工程学报():.韩腾飞李亚平.基于 集成学习的剩余使用寿命预测.计算机集成制造系统():.鲁顺汪立雄徐增丙等.基于集成迁移学习的滚动轴承剩余寿命预测.组合机床与自动化加工技术():.():.:/:.():.(编辑 赵 蓉)组合机床与自动化加工技术 第 期