流程工业中工业大数据融合应用创新研究.pdf

投稿网站：Theme Plan 主题策划IM 2024年第2期 21流程工业中工业大数据融合应用创新研究俞文光，娄舜杰，王得磊，陈晖（中控技术股份有限公司，浙江 杭州 310053）摘要：本文旨在探讨流程工业中工业大数据融合应用的理论框架和实践应用，分析工业多模态数据的融合应用对提升生产效率、优化资源配置及提升智能制造水平的潜力。首先，概述了当前流程工业的定义和工业大数据的特点；其次，构建了一个工业大数据融合应用模型，并提出相应的实施策略；最后，通过案例分析、验证融合应用模型的有效性，为未来的流程工业智能优化制造提供了新的思路和方法。关键词：流程工业；工业大数据；融合应用；智能优化制造；数据驱动中图分类号：TP274+.2文献标志码：A1引言 流程工业是国民经济的支柱产业，其生产过程具有强耦合、大时滞、多约束和非线性等特征，典型行业如石化、化工、制药和钢铁等。这些行业不仅需要快速处理大量复杂的物料流和能量流，实现平稳优化生产，还需满足不断提升的环境、安全、效率等的要求，实现绿色低碳生产。传统生产管理模式已难以应对，亟需物联网、大数据与人工智能等新一代信息技术的赋能支撑。目前流程工业界已经迈过自动化、信息化的门槛，汇聚了海量的多源生产数据，部分企业已利用 EXECL 等对收集的数据进行简单统计，形成了班报表、日报表、月报表等管理工具，实现了生产过程自动化控制与管理过程的分析记录，但对复杂工艺装置的先进控制、生产计划及排产、工艺优化等，还缺乏有效的工业大数据应用软件支撑；在数据钻取、辅助决策方面，仍然存在数据应用不充分、不规范、不全面的难题。为了充分发挥工业大数据在流程工业中的价值，实现生产全过程的绿色化、智能化，我们必须自主创新，探索并发展适合我国流程工业特点的智能制造新模式1-2。这需要加快工业大数据建模与分析技术的研发步伐，同时在现有生产流程的优化、设备健康的管理，生产策略的调整上进行探索应用，以应对市场的快速变化，最终达到效率和环保的生产目标。本文旨在深入探讨流程工业中工业大数据融合应用的实践路径和理论架构。我们IM主题策划 Theme Plan22 2024年第2期将剖析工业大数据在流程工业中的特性，识别关键技术难题，并提出解决方案。同时，本文也将展望工业大数据技术后续在助力流程工业实现高质量可持续发展的方向，为相关领域的研究者和实践者提供参考和启示。2工业大数据概念界定 2.1流程工业定义及其重要性流程工业的定义是指以连续流程为基础的生产方式，特点在于生产过程的连续性和稳定性，它涉及到原材料通过一系列化学、物理或生物反应，在高度自动化和精确控制的工艺步骤中转化成最终产品。与离散工业相比，流程工业通常需要相对固定的生产线和连续的生产过程，而离散工业则更多依赖于单个产品的制造过程和对市场需求变化的快速响应3。流程工业之所以至关重要，是因为它为电子工业、航空航天、交通物流和民生医疗等行业提供了必不可少的原材料，广泛支持其他制造业和经济活动。随着技术的进步，流程工业在生产工艺、装备及自动化水平方面取得了显著的提升，这对于提效降本、品质提升具有重要意义。然而，流程工业也面临着信息化和工业化深度融合的挑战，尤其是在利用大数据实现智能优化制造方面还存在一些待解决的问题。2.2大数据概念与特征工业大数据是指在工业领域中生成的、具有高速度、高体积和多样性特点的大量数据集合。这些数据通常来源于生产线的各种传感器、设备日志、质量系统和企业资源规划系统等，涵盖了从材料采购到产品生产、销售的全过程。流程工业中工业大数据可以从数据来源、技术应用和深度融合等方面展开。从数据来源来看工业大数据主要来源于生产经营相关业务数据、设备物联数据及外部数据，这些数据通过传感器等物联网技术进行采集和传输；从技术应用维度看，工业大数据不仅包括数据本身，还包括相关的分析技术和应用场景。它利用大数据技术对传统工业信息化技术进行创新，形成了基于数据驱动的新型工业信息化技术及其应用；在深度融合方面，随着信息化与工业化的深度融合，物联网、大数据与人工智能已经渗透到工业企业各个环节，产生了大量的智能制造创新应用场景。因此，流程工业中的工业大数据在原有 4V 特征基础上，赋予了工业大数据新的特性：容量大：工业数据规模庞大，蕴含着无限的数据价值潜力；多样性：工业数据类型多样，需要整合治理结构化、半结构化和非结构化数据；快速性：现场数据快速高频，需要实时或近实时处理；价值低：数据中有用信息比例不高，需要通过去噪、挖掘、建模等提取价值；时序性：工业数据时序特性明显，需要确保数据同步与动态适应；强关联：数据间紧密耦合，需要关注安全数据异常的负面影响；闭环性：工业数据应用需要形成闭环，需要数据模型与机理模型的可信可行。3大数据融合应用理论框架 在探索工业大数据融合应用的理论框架前，我们需明确两者的内在联系及其对智能制造的深远影响。流程工业的核心在于生产流程，功能不同的装置单元通过串联或并联作业，协同运行，实现连续式平稳生产，生产过程的复杂性带来了数据的丰富性。随着新一代信息技术的快速迭代演变，如何高效地获取、处理和利用大数据以优化生产过程，已成为推动流程工业创新和竞争力提升的关键问题。工业大数据不仅为流程工业提供了前所未有的智能化机遇，也带来了新的挑战。数据的有效分析和应用能够极大提高资源利用效率，降低能耗和环境影响，同时增强产品质量和企业响应市场变化的能力。然而，数据的海量性、多样性和实时性要求我们必须建立新的应用理论框架，以支撑数据驱动的决策制定和智能优化。本文旨在构建一个面向流程工业在工业大数据中融合应用的理论框架，如图 1 所示。框架将基于以下几个核心要素：多源数据来源、多源数据建模优化和应用服务。我们将探讨每个环节的具体实施步骤，并分析它们如何相互作用以实现整个生产系统的优化。3.1多源数据构成大数据融合应用理论框架中数据获取与处理机制是至关重要的一环。首先，数据获取涉及到从各种传感器、设备和系统中收集实时数据，这些数据涵盖了生产过程中的各个环节，包括但不限于温度、压力、流量、物位和成分等关键参数。此外，还需要考虑到数据的时间戳和采集频率，以确保数据的时序性和准确性。在流程工业中，在不同的工艺环节，存在不同的流程数据，如在原料准备环节，包含静态的原料数据、配方标号、配方工艺、原料和辅料配比等，其往往通过静投稿网站：Theme Plan 主题策划IM 2024年第2期 23态的离散型数据的形式进行存储，且不跟随生产过程的进行而改变；在半成品制备过程中，存在连续性变量数据，用来记录半成品产品的质量，其数据更新时间往往与生产批次同频，且多采用抽样的方式得到质检数据；在具体每个批次生产的过程中，通过生产设备的实时监测设备等，按照秒级或毫秒级生成对应的过程时序数据。过程时序数据包含了生产过程中生产设备的电流、电压、温度和压力等传统物联数据，和近年来机器视觉广泛应用带来的视频监控等数据。综上所述，伴随产品从原材料到成品生产过程，绝大多数场景都会产生多种模态的流程数据，按照数据连续程度可以分为连续型数据和离散型数据；按照数据类型可以分为结构化数据与非结构化数据；按照数据生成速度可以分为实时动态数据、静态数据和其他数据。3.2多源数据建模优化（1）多模态数据融合针对多数据源现状，需要一个新的框架针对数据进行集成融合，主要包括多模态数据分析处理和多模态数据对齐融合，如图 2 所示。多模态数据分析处理包括数据清洗、数据转换和数据存储等步骤。数据清洗是指对收集到的数据进行预处理，去除噪声和异常值，以提高数据质量。数据转换则是将原始数据转换为适合分析的格式，例如通过归一化或标准化方法将数据转换为统一的度量标准。最后，数据存储是将处理后的数据保存在合适的存储介质中，以便于后续的数据分析和挖掘。多模态数据对齐融合包括数据特征序列化，特征嵌入及特征对齐等步骤，将原本不同类型和表达形式的数据，转换为序列化数据，并通过嵌入和对齐完成多模态数据融合。通过将多源数据进行融合处理，将产品完整生产过程数据进行统一整合，有效提升了产品生产数据跟踪追溯能力；结合控制、优化策略，可以有效提升流程工业中自动化，稳定性与高效性。（2）融合数据建模融合数据建模是大数据融合应用理论框架中的核心组成部分，致力于从大量异构数据中提取有价值的信息，为决策提供支持。其方法步骤包括数据探索性分析、数据预处理、特征工程、模型构建、参数调优、算法训练、模型评估、结果解释，以及部署与监控11，如图 3 所示。数据探索的目的是通过描述性统计和可视化方法来理解数据集的特征，包括数据的分布、中心趋势、离散程度，以及潜在的异常值或缺失值；数据预处理是在分图 1流程工业与工业大数据融合理论框架图IM主题策划 Theme Plan24 2024年第2期析前对数据进行清洗和转换，包括去除或修正异常值，处理缺失数据，标准化或归一化数值，以及编码分类变量，以确保数据适合后续处理；在特征工程中，选择或构造出对预测任务最有帮助的特征，可能包括特征选择、特征提取和降维；模型构建是依据问题的性质选择合适的统计模型或机器学习算法；参数调优则是通过交叉验证和其他技术来优化模型参数，以提升模型的性能和泛化能力；算法训练是使用选定的算法在训练集上进行模型学习，以捕捉数据中的规律性；模型评估阶段是通过测试集对模型的性能进行评估；在结果解释环节，将模型输出转换为业务决策的可行建议，可能涉及模型的解释性分析和特征的重要性评估；最后，在部署与监控环节中，将训练好的模型部署到生产环境中，并持续监控其性能，确保其稳定性和准确性。（3）决策与反馈决策支持系统设计是实现数据驱动决策的核心组成部分12，如图 4 所示。其旨在集成复杂的数据分析和挖掘技术，以辅助决策者在工艺控制和优化中做出更加科学和有效的决策。决策支持系统的设计要点包括：用户界面：提供直观、易用的交互界面，使决策者能够轻松访问分析结果和报告；数据处理模块：集成数据预处理、清洗和转换功能，确保输入数据的质量；分析引擎：包含多种统计和机器学习算法，用于执行复杂的数据分析任务，如预测、分类、优化等；知识库：存储领域专家知识和历史决策案例，为决策提供参考和依据；模型管理系统：管理各种分析模型，包括模型的训练、存储、更新和维护；实时反馈机制：实现实时数据监控和性能评估，以便及时调整决策策略；可视化工具：通过图表、仪表盘等形式直观展示分析结果，增强决策的透明度和理解性。图 4决策支持系统同时，构建一个有效的反馈与优化闭环是实现持续改进和系统进化的关键，如图 5 所示。闭环机制涉及监测系统性能、评估结果、诊断问题、制定改进措施及实施调整等多个环节。具体来说，性能监测：通过实时数图 2流程工业多源数据处理融合处理图图 3数据分析与挖掘技术流程投稿网站：Theme Plan 主题策划IM 2024年第2期 25据采集系统持续追踪关键性能指标（KPIs），以监控生产过程的状态；结果评估：利用数据分析技术对收集到的性能数据进行评估，确定是否达到预定目标或存在偏差；问题诊断：当性能不达标时，运用因果分析、故障树分析等方法识别问题根源；改进措施：基于诊断结果，制定针对性的改进策略，包括参数调整、流程再设计、设备维护等；实施调整：将改进措施付诸实践，并在系统中进行更新和部署；效果评价：重新评估性能指标，验证改进措施的效果，并确保系统稳定性；知识积累：将经验教训和成功的改进策略纳入组织知识库，为未来决策提供参考。反馈与优化闭环在流程工业与工业大数据融合中起到动态调节和持续提升的作用，它确保了系统能够自适应地进化，增强可靠性和效率，同时积累有价值的知识资产。图 5反馈与优化闭环3.3应用服务大数据融合应用非常广泛，目前已在以下具体应用有了较好的探索与推广应用。1）排产优化：通过分析历史数据、市场需求变化及原材料供应情况，多模态大数据分析可以帮助企业优化生产计划和排程，减少库存积压和提高资源利用率。2）生产过程优化：在生产过程中，多模态大数据可以结合传感器数据、机器日志和视频图像等信息，对生产线的工作状态进行实时分析，不仅可以及时发现生产中的问题，还可以通过对生产数据的深入分析来提出改进措施，从而提高生产效率和产品质量。3）能效优化：能耗是流程工业生产的主要成本因素。多模态大数据可以通过分析能源消耗模式、环境参数和设备性能数据，帮助企业发现节能减排的机会。4）设备健康管理：工业设备的维护是保证生产稳定性的关键。多模态大数据可以结合振动分析、温度监测、润滑油分析等数据，实现对设备健康状况的实时监控与分析预测。通过预测性维护，可以在设备出现故障之前进行维修，从而减少停机时间和维修成本。5）质量控制：结合图像识别和机器学习技术，多模态大数据可以用于自动检测产品缺陷。通过对生产图像的实时分析，系统能够快速识别出不合格品，并及时调整生产参数，确保产品质量符合标准。6）安全监控：在安全关键的工业环境中，多模态大数据可以结合视频监控、传感器数据和员工行为分析，实现对潜在安全风险的实时监控和预警。这有助于预防事故的发生，保障员工安全和生产的连续性。7）研发创新：多模态大数据的分析可以揭示产品使用过程中的潜在问题和改进空间，为产品创新提供数据支持。同时，通过分析竞争对手的产品和市场表现，企业可以发现新的研发方向和机会。流程工业中大数据融合应用创新潜力巨大，可以为企业在多个层面带来优化和提升。随着技术的进步和数据分析手段的不断完善，这些应用领域将不断扩展和深化，为企业带来更多的价值。4大数据融合应用创新实践某公司轮胎生产线生产工艺，如图 6 所示，其包括橡胶原料称重与配料准备、对橡胶原料进行密炼、将多种不同特性的橡胶进行压制及胎纹制作、将橡胶进行切分与轮胎组合，以及轮胎橡胶组件与轮毂组合。图 6橡胶轮胎生产工业生产流程IM主题策划 Theme Plan26 2024年第2期4.1数据收集与处理收集的数据主要包含三个内容：生产线设备设定参数、密炼设备实时工艺参数及原料配方数据。数据收集与处理主要分连续数据、离散数据及产品对应时序数据三个对象。针对以上数据，采用数据补全、数据筛选、特征筛选、特征编码和时序特征提取等不同数据处理方法，同时采用多种机器学习模型与基于 Transformer 架构的深度学习模型进行并行学习，并使用集成学习中的 stacking方法进行综合学习，如图 7 所示。针对连续数据，对数据进行特征筛选，去除重复数据，异常值筛选，特征生成，归一化等数据预处理方法，进行处理；针对离散数据，采用类别编码和独热编码等方法处理；针对时序数据，采用时序切分，长度补全、时序趋势提取、归一化等方法进行处理。并在多模态数据融合应用时，通过将不同类型的数据进行序列化、特征嵌入与特征对齐得到多模态序列数据。通过采用包括XGBoost、CatBoost、LightGBM 等机器学习模型与基于Transformer 的深度学习模型，对收集数据进行充分学习；通过多模型融合的方式，将多个模型学习后结果继续集成学习，得到完整的模型预测结果。图 7橡胶密炼工艺质检结果建模流程橡胶密炼批次生产设定值预测推荐，包括质检结果预测，一级参数推荐、二级参数推荐及融合参数推荐，其过程如图 8 所示。首先通过历史数据和质检数据进行学习，采用优化推荐算法，学习设定值和生产数据，以及质检数据之间的关系，得到对应模型。接着通过生产结果预测模型，得到当前批次检测预测结果。同时将历史数据中的同一规格生产数据和质检预测结果作为输入数据，通过算法模型，得到一级参数推荐，用于指导同类规格下，下一批次生产时机器参数设定；将实时生产数据、当前批次质检数据等数据作为输入，通过算法模型，得到同类规格下生产参数推荐值；最终将通过满足约束条件的一级参数推荐和二级参数推荐结果进行融合，完成批次生产参数推荐，为工艺部门进行工艺指标调整提供决策参考。图 8橡胶密炼批次生产参数推荐过程4.2应用成效评估基于大数据融合后的密炼工艺建模和批次生产参数推荐，在现场得到了较好应用，提升了产线高效稳定运行和生产效能。1）中间产品质检数据预测结果，能够有效帮助管理人员及时研判生产结果，为是否需要及时人工进行干预提供必要的辅助决策数据。2）生产参数的实时推荐，能够稳定控制生产过程工艺，降低产品质量波动情况，减少人工干预，提升自动化水平。投稿网站：Theme Plan 主题策划IM 2024年第2期 273）批次生产参数推荐，能够提供工艺部门跨季度、跨年度调整生产配方与参数的辅助决策数据，提升工艺指标调整及时性和产能。5结论与展望 5.1局限性与未来方向工业大数据融合应用研究的局限性主要表现在数据质量、模型通用性、算法可解释性及技术实现的复杂性等方面。具体而言，数据收集过程中可能引入噪声和偏差，影响分析结果的准确性；构建的模型往往针对特定工况，难以泛化到不同场景；许多高级数据分析算法缺乏透明度，其决策逻辑难以被非专业人士理解和信任；此外，从理论到实际应用的转化仍面临技术和成本的双重挑战。未来研究方向将致力于提升数据的代表性和质量，开发更具适应性和泛化能力的分析模型，增强算法的解释性及降低实施的技术门槛。跨学科的合作也将成为推动该领域发展的关键，通过整合计算机科学、人工智能、工业工程等领域的知识，不断促进大数据融合应用研究和创新发展。5.2融合应用的趋势预测智能化与自动化的融合加深：预计未来流程工业将更加依赖于智能算法和自动化技术，以实现更高效、精准的生产过程控制和优化。这包括采用机器学习和人工智能来预测设备维护需求、自动调节生产参数及实现自适应制造。实时数据驱动的决策制定：随着数据处理能力的提升，企业将趋向于利用实时数据流进行决策支持，使得响应市场变化更加迅速，提升供应链的灵活性和效率。数字孪生技术的应用拓展：数字孪生将成为流程工业智能优化制造的重要工具。通过创建一个全面的数字映射，企业能够模拟并优化实际生产过程，减少物理原型的依赖，从而降低成本和加速产品上市时间。边缘计算与云计算相结合：为了处理日益增长的数据量并降低延迟，预计将有更多的工业企业采用边缘计算，同时结合云计算的强大数据处理能力和资源弹性。多模态数据与大模型相结合：流程工业在生产过程中，必然伴随着大量不同类型的数据，包括图像视频监控数据、工艺配方数据，过程实时数据等，与最近 2 年AI 大模型的方向不谋而合，可以预见，两者紧密结合会出现大量智能优化制造场景得到进一步的提升。参考文献1 柴天佑工业过程控制系统研究现状与发展方向 J中国科学：信息科学，2016，46(8)：1003-10152 桂卫华，曾朝晖，陈晓方，等知识驱动的流程工业智能制造 J中国科学：信息科学，2020，50(9)：1345-13603 OZDEMIR S，DIVYA S Feature Engineering Made Easy：Identify unique features from your dataset in order to build powerful machine learning systemsM Packt Publishing Ltd，20184 钱锋，桂卫华人工智能助力制造业优化升级 J中国科学基金，2018，32(3)：257-261 5 桂卫华，王成红，谢永芳，等流程工业实现跨越式发展的必由之路 J中国科学基金，2015，29(5)：337-3426 李杰，SINGH J，AZAMFAR M，等 工业人工智能工业应用中的人工智能系统框架（英文）J中国机械工程，2020，31(1)：37-487 丁进良，杨翠娥，陈远东，等复杂工业过程智能优化决策系统的现状与展望 J自动化学报，2018，44(11)：1931-19438 王越 不确定环境下生产计划和调度的研究 D 杭州：浙江大学，20169 钱锋，杜文莉，钟伟民，等石油和化工行业智能优化制造若干问题及挑战 J自动化学报，2017，43(6)：893-90110 孙传尧，周俊武流程工业选矿过程智能优化制造发展战略 J有色金属（选矿部分），2019(5)：1-511 王飞跃天命唯新：迈向知识自动化自动化学报创刊 50 周年专刊序 J自动化学报，2013，39 (11)：1741-174312 桂卫华，曾朝晖，陈晓方，等知识驱动的流程工业智能制造 J中国科学：信息科学，2020，50(9)：1345-136013 刘博元，范文慧，肖田元决策支持系统研究现状分 析 J系统仿真学报，2011，23(B07)：241-244收稿日期：2024-03-18