大数据在石油石化行业的应用综述及展望.pdf

通过梳理石油石化行业大数据的应用现状，对该行业大数据的特点进行了归纳。结合相关行业的经验，提出了面向石油石化行业的大数据应用架构和技术框架，以充分挖掘和利用上中下游产业链的海量数据。重点展望了平台在生产优化、供应链优化、营销优化和管理优化等方面的应用场景，并对石油石化行业大数据面临的挑战和发展趋势进行了总结。关键词：石油石化；大数据；应用架构；技术框架中图分类号：TP399文献标志码：B文章编号：10 0 7-7 32 4（2 0 2 3)0 4-0 0 0 1-0 5Overview and Prospect of Big Data Application in Petroleum and Petrochemical IndustryWang Chenguang(Sinopec Marketing Dept.,Beijing,100728,China)Abstracts:By analyzing the status of big data application in petroleum and petrochemical field,the characteristics of big data in the field is summarized.Referring to the experiences of relatedindustries,a petroleum and petrochemical industry oriented big data application architectureand technical framework is proposed to fully explore and utilize the massive data in theupstream,middle,and downstream industrial chain.The application scenarios of the platformin optimization of production,supply chain,marketing,and management are prospected withstress.The challenges and development trends of petroleum and petrochemical industry bigdata are summarized.Key words:petroleum and petrochemical;big data;application architecture;technical framework2023年3月，中国国家数据局正式成立1，标志着数据作为生产要素的应用进人了新的阶段。同时，随着数字经济的发展，大数据正在深刻影响着国民经济的各个领域。石油石化行业也在积极探索大数据的应用，并且已经取得了一定进展。同时，石油石化行业的大数据具有显著的行业特点，需要有针对性地进行研究，并结合未来发展趋势，提出更加完善的大数据应用框架和场景。1大大数据发展概述1.1概念及发展历程一般认为，“大数据作为计算机领域的新概念，是在2 0 0 8 年自然杂志中被首次提出的 2 。此后，随着互联网、电子商务等行业的发展，大数据逐渐显露头角。近几年，新一代信息技术层出不穷，特别是云计算、物联网、人工智能、移动互联网、工业互联网等技术的发展和成熟，进一步拓宽了大数据的来源，也促进了大数据在各个领域的应用。大数据的概念被提出后，国际数据公司、麦肯锡咨询、美国国家标准和技术研究院等产业和学术机构分别从不同的角度给出了大数据的定义 3。简而言之，大数据就是无法在合理时间内利用现有的数据处理手段进行存储、管理、抓取等分析和处理的数据集合 4。相较于一般的数据，人们将大数据的特征总结为“3V”，即大规模（Vo l u me）、高速度（Velocity）、多样性（Variety）。此后，研究人员从不同的应用视角和需求出发，又提出了价值性（Value）、真实性（Veracity）、黏性（Vi s c o s i t y）、邻近性（Vicinity）、模糊性（Vague）、多变性（Variability）等多种不同的特征，形成了“(（3+)V的大数据特征 5-6 稿件收到日期：2 0 2 3-0 4-14，修改稿收到日期：2 0 2 3-0 5-10。作者简介：王晨光（1991一），男，河南驻马店人，2 0 18 年毕业于清华大学计算机科学与技术专业，获博士学位，现就职于中国石油化工股份有限公司油品销售事业部，主要从事石油石化企业数字化转型相关研究及管理工作，任高级工程师。第59 卷石油化工自动化1.2主要应用领域大数据因为在公共健康领域初显身手而首次进入大众视野。为了更好地预测流感，谷歌公司于2 0 0 8 年推出了“Go0gle流感趋势”工具，通过对流感症状、胸闷、温度计等用户搜索的关键词进行分析来追踪流感疫情，其速度和准确度远超传统的疾控报告 4。此后，大数据在诸多领域都得到了应用。1）社交网络。随着移动互联网和智能终端的发展，社交网络的规模不断扩大，传统的网络分析方法因计算成本过高而不再适用。针对该问题，文献 7 探索了大数据背景下的大规模社交网络抽样，通过一种聚类随机游走抽样算法，能够在降低计算规模的同时较好地保留原始网络的结构特征。2）零售营销。针对大型城市的零售商业结构调整和优化等问题，可以基于最近邻分析和密度估计等大数据方法，建立人口耦合度模型，并进行空间布局的特征分析 8 。文献 9 将大数据营销的发展历程划分为互联网、社会网络、移动互联网、大数据和人工智能等四个阶段，并围绕客户旅程、营销活动量化评估和营销分析技术开发等三个方面，对大数据营销的未来趋势进行了展望，3）金融银行。随着金融科技的兴起，大数据在金融银行领域的应用也受到了广泛关注，尤其是对于传统信贷机制的革新等。通过构建大数据信贷模型，文献 10 对直接信贷、传统信贷和大数据信贷等三种机制进行了对比分析，论述了大数据有助于解决道德风险和逆向选择等信贷难题的内在机理。4）交通运输。针对交通信号控制系统难优化、数据采集设备不完备等现状，文献 11 基于网约车的行驶轨迹进行大数据分析，在不依赖道路渠化、路口改造和交通信号设备改造的前提下，仅通过软件优化的方式，降低了早晚高峰平均延误时间和停车次数等关键指标，有效缓解了交通拥堵现象。2大数据在石油石化领域的应用作为传统行业，同时也是数据要素密集行业，石油石化行业的大数据应用场景十分丰富。在生产、经营、管理、销售和科研等各个环节，大数据已经得到了初步应用，并且在提高管理效率、降低经营成本、改善客户体验等方面取得了一定成果 6 2.1勘探开发针对油气资源开发全流程的需求，文献 2 提出了涵盖勘探开发、运输存储、分配销售的大数据智能化平台，将各子流程的数据提取融合，有望在存储层物性参数预测等方面发挥重要作用。文献12提出了基于大数据的精细注水方案优化方法，充分发挥机器学习的自动化、智能化优势，某区块优化后的产量与优化前相比提升了8.2%，取得了较好的注采效果，2.2炼油化工针对炼化生产工艺优化和设备预见性维护等问题，文献 13 建立了大数据分析平台，对生产平稳率、设备运行状态和质量预测等指标进行分析，提高了炼化企业在过程控制、安全保障以及故障预警等方面的能力。文献 14 提出了用于大机组等动设备运行状态预警预测的解决方案，利用RBF神经网络作为核心算法，实现了运行状态的预警预测，在一定程度上解决了动设备运行管控中存在的难题。2.3销售服务在销售服务领域，大数据的应用场景十分广泛。针对经营管理辅助决策的需求，某石油销售企业建设了一个基于大数据的决策支持系统 15。该系统涵盖企业资源计划系统（ERP）、加油站管理、油库管理、一次物流、二次物流、财务和客户管理等各业务系统数据的统计分析，并将分析结果以可视化的形式展现出来，提供了“一站式”的决策支持服务。2.4安全环保针对安全生产风险管控，文献 16 设计了大数据风险预警平台，利用前缀树、“词频-逆文本”指数和知识图谱等技术，实现了对风险的识别、分析、评价与预警等功能。文献 17 按照终端汇集层、数据管理层、智能优化层、可视化管理层四层架构，建设了基于环保大数据的智能云平台，实现了涵盖通信、优化、监管与决策的环保管理一体化。3石油石化大数据平台针对石油石化业务场景，结合该行业大数据特点，提出一个面向石油石化行业的大数据平台。借鉴互联网等行业的经验，充分挖掘和利用上中下游产业链的海量数据，广泛应用于生产、供应链、营销和管理等领域，促进数据要素进一步发挥应有作用，推动企业实现高质量发展。3.1大数据的特点石油石化行业大数据的特点有以下几方面：1）数据体量大。在石油石化产业链，各类动静设备的数量和采样频率都较高，这使得产生的数据达到TB,PB,EB甚至ZB等量级 4。随着物王晨光.大数据在石油石用综述及展望第4期联网、工业互联网和边缘计算等技术的深化应用，数据的维度将不断扩展，数据体量也会进一步增大。2）数据类型多。在石油石化生产经营过程中，除了会产生海量结构化数据，也会产生各种类型的半结构化和非结构化数据 6 。前者包括设备采样数据、信息系统日志数据等，后者则涵盖各类文档和智能化“田、厂、院、站”环境的图纸、声音、视频等数据。3）数据实时性强。石油石化行业是典型的连续生产型流程工业，持续不断的流程，会积累源源不断的数据。因此，为了确保各项生产经营业务的安全性、稳定性和连续性，对数据在采集、处理、分析、反馈等各个环节中的实时性要求也比较高。4）数据价值高。石油石化大数据产生于各类生产装置、传感设备以及各类信息系统，其中蕴含了大量的生产和经营规律，这些信息对于企业优化生产、提高效率、改善经营等具有很高的价值。5）信息隐藏性强。在某些场景，数据所携带的信息较为隐蔽，需要进一步挖掘。例如，产品的产量与原料和工艺参数之间的关系，通常是一个复杂的模型，依靠一般的统计分析方法难以量化。3.2大数据平台应用架构石油石化大数据平台的应用架构如图1所示。该大数据平台应用架构包括：数据源层、采集存储层、计算分析层和应用服务层。针对石油石化行业大数据的特点，重点加强了对于体量大、类型多、实时性强的大数据的整合处理能力；同时，引人了目前业界主流的人工智能算法，以提高对于隐藏信息的分析挖掘能力。1）数据源层汇集了各领域各类型数据的产生源。石油石化产业链较长，因此数据来源也较多，不仅包括信息系统的基础数据、日志数据等，也包括物联网、工业互联网、边缘计算等设备的采样数据，以及生产经营过程中沉淀的文档、声音、视频等业务数据，同时也包括第三方共享数据。2）采集存储层对数据进行初步处理并存储，便于后续分析。具体包括数据传输、预处理和存储三个流程。首先，遵循数据同源的原则，通过数据传输服务（DTS)、抽取等方式进行传输；其次，按照统一的标准，对数据进行清洗、变换等预处理操作，形成符合规范的数据；最后，根据数据的类型、规模和读写频率等因素，综合选择最合适的方式进行存储。异常诊断质量预测市场预测物流优化精准营销决策支持自动设计排产调度生产优化应用服务层预知维护111111交互索引数据报表商业智能可视化Open forInnovationPyTorchmxnetCaffeNLTK计算分析层KNIMElearnSPSSRSSas1FTensorFlowKerasChatGPT统计分析AI机器学习深度学习神经网络数据存储SQLNoSQLNewSQL数据仓库数据湖采集存储层数据预处理清洗降噪集成规约修正变换数据传输DTSMQWebService爬虫抽取结构化半结构化非结构化数据源层基础日志采样业务第三方数据数据数据数据数据勘探开发炼油化工销售服务安全环保图1石油石化大数据平台的应用架构示意3）计算分析层根据应用场景，匹配相应的算法进行处理。除了基础的数理统计分析工具以外，平台也提供了目前业界使用较多的人工智能算法。通过统计分析和人工智能的应用，能够进一步提高平台针对石油石化大数据中隐藏信息的分析挖掘能力。4）应用服务层提供各种人机交互场景下的大数据服务。基于交互索引、数据报表、商业智能和可视化等基础应用场景，进一步封装并提供预测、优化、诊断以及辅助决策等方面的大数据服务能力。3.3大数据平台技术框架在搭建大数据平台技术框架时，主要标准是既要符合业界主流和发展趋势，也要满足石油石化行业大数据的应用需求。本文提出的技术框架包含：数据存储、数据库、计算模式、数据管理、数据分析、应用服务和数据安全七个方面，如图2所示。原始数据经过初步处理后，根据数据类型和特征，选择合适的存储技术进行存储，确保数据同源。数据库是数据存储的实体，考虑到大数据的“（3十）V 特征 5 和石油石化大数据特点，关系型分布式数据库已基本无法满足要求，故需要选择第59 卷石油化工自动化非关系型数据库。计算模式是根据数据特征和计算特征抽象出的高层次模型，当前主流的大数据计算框架，如Hadoop，Sp a r k，HA NA 等，均涵盖一种或多种计算模式。数据管理是通过整合，使数据源符合规范，以便于分析 17，包括数据治理、日志采集、消息系统、集群调度等。数据分析是大数据计算框架的核心之一，基于“数理统计十人工智能”相结合的分析路径，才能挖掘出数据中的隐藏信息，从而使数据的价值最大化。应用服务是连接技术与业务的桥梁，进一步提高了大数据技术的实用性、实效性和实操性。其中，可视化及BI工具等能够显著降低非专业人员进行大数据应用的门槛。随着数据安全的重要性日益提升，数据安全技术也成为大数据关键技术之一 2 ，同时，数据安全也为大数据的发展起到了保驾护航的促进作用。数据存储数据库计算模式数据管理数据分析应用服务数据安全关系型DB查询分析数据治理数理统计数据报表身份认证文件系统分布式DB批式计算日志采集人工智能数据集市匿名保护列数据库流式计算数据交换神经网络对象存储图数据库选代计算消息系统自然语言处理BI工具数字水印K-VDB交互计算知识计算集群调度可视化联邦学习文档DB内存计算社会计算混合存储工作流程时序DB图计算管理图分析人机交互隐私计算图2石油石化大数据平台的技术框架示意3.4大数据平台应用场景大数据平台在石油石化行业的应用场景如下：1）生产优化是石油石化行业大数据应用的核心场景。对于工艺较为复杂的炼油化工生产过程，传统的数学建模方法难以获得准确的量化关系，而这恰是大数据擅长的领域。大数据平台能够挖掘产品产量或质量与原料、工艺、设备和环境等参数之间的关系，进而得出提升产量或质量的生产优化方案。2）供应链优化的目标是“全链条”统筹优化。打通计划、采购、调度、物流及仓储等各个环节的数据，并针对业务需求统筹分析。需求预测方面，实现需求驱动采购，根据需求和库存综合制定采购计划；物流优化方面，利用运筹优化等算法实现路径最优、运距最短、运费最小；库存优化方面，实现“满足所有条件下库存最低”的协同管理。3）营销优化是最早应用大数据的场景之一。大数据平台能够赋能炼油和化工产品的销售环节，实现新零售转型。基于数据抽取、分类/聚类等技术，能够将不同来源和类型的数据进行组合分析，挖掘客户习惯、完善客户画像，并进行精准营销、个性化推荐和定制化检索等，提升客户体验。4）管理优化是提升整体效率的关键。相较于业务优化，管理优化有时能带来更直接的效益提升。例如，对基层班组的用工数量和效益进行大数据分析，可以得到用工优化方案，进而实现精简人员、提高效率的目的。针对重点领域或重点岗位的经营风险，可以利用机器学习算法挖掘出异常数据，进一步规范业务流程、提高风控水平。4#挑战和趋势4.1面临的挑战大数据平台的建设会面临诸多的挑战，例如：1）系统复杂性。一方面，石油石化行业的信息化建设起步较早，很多企业的核心生产经营系统已运行多年，其整体架构较为老旧；另一方面，新建项目一般都会倾向于选择当前主流的技术路径。新、旧两种体系，会给数据的整合与拉通带来挑战。2）数据复杂性。随着石油石化行业的数字化转型，特别是物联网、数字李生等技术的应用，数据的多样性、动态性、不确定性以及极弱监督性等，将会成为大数据应用落地的难点。3）场景复杂性。石油石化应用场景具有一定的专业性和特殊性，导致新技术应用难度较大。例如，通用型AI算法难以直接应用，需要结合行业知识进行迁移学习 18 。但是，针对石油石化行业知识的相关研究较少，这给AI的落地带来了挑战。4）隐私安全性。随着数字化转型的深入，数据中的敏感信息越来越多，例如客户、交易、供应链等信息。同时，随着数据要素的流通，跨部门、跨企业的数据传输与交互越来越频繁。如何做好王晨光.大数据在石油石业的应用综述及展望第4期挖掘价值和隐私保护二者之间的平衡，是一个重要问题。4.2发展趋势在石油石化行业应用大数据，发展趋势如下：1）应用服务更加灵活。当前，石油石化业务范围正在向新能源、新材料、新经济等领域延伸，大数据的应用服务也将会更加灵活、更具可扩展性。2）人工智能应用更加深人。作为大数据分析的核心驱动力之一，AI应用的广度和深度都会进一步加强，少量样本深度学习、大规模预训练模型等领域的最新进展，将在石油石化行业得到有效应用。3）从信息挖掘到决策支撑。随着基础平台的完善、技术的进步以及行业知识的积累，大数据应用的目标将从基本的信息挖掘向高层次的决策支撑发展，并促进生产经营相关的决策更加科学合理。4）数据要素资产化。作为生产要素，数据的流通、整合、共享和交易等会越来越频繁，并成为一项重要资产。同时,拥有数据资产的多少与好坏，将成为数字时代下企业竞争力的决定性因素之一。5结结束语数据有着“数字时代的新石油”之称，这既说明了数据发挥的重要作用，又体现了数据蕴含的宝贵价值。在能源结构加速转型、市场竞争不断加剧、客户需求日益多样的背景下，石油石化行业面临的挑战与机遇并存。只有进一步深化大数据在提高管理效率、降低经营成本、改善客户体验等方面的应用，才能使数据要素发挥更大的作用，进而促进全行业的高质量发展，参考文献：1国务院.国务院关于部委管理的国家局设置的通知 EB/OL.2023-03-20.http:/ 宋洪庆，都书一，周园春，等.油气资源开发的大数据智能平台及应用分析 J.工程科学学报，2 0 2 1，43（0 2）：17 9-192.3李学龙，龚海刚.大数据系统综述J.中国科学：信息科学，2015,45(01):1-44.4吴信东，何进，陆汝铃，等.从大数据到大知识：HACE十BigKEJ.自动化学报，2 0 16，42（0 7）：96 5-98 2.5郭平，王可，罗阿理，等。大数据分析中的计算智能研究现状与展望 J.软件学报，2 0 15，2 6（11）：30 10-30 2 5.6 崔海福，何贞铭，王宁。大数据在石油行业中的应用J.石油化工自动化，2 0 16,52（0 2）：43-45.7贺建风，李宏煜.大数据背景下基于社交网络的聚类随机游走抽样算法研究 J.统计研究，2 0 2 1,38（0 4）：131-144.8 张健，基于POI大数据的城市零售商业空间布局与人口耦合关系研究一一以上海市为例.复旦学报（自然科学版）,2 0 19,58（0 2)：151-16 1.9 杨扬，刘圣，李宜威，等.大数据营销：综述与展望 J.系统工程理论与实践，2 0 2 0，40（0 8）：2 150-2 158.10邱志刚，罗煜，江颖，等.金融科技会颠覆传统金融吗？大数据信贷的经济解释 J.国际金融研究，2 0 2 0（0 8）：35-45.11张博，庞基敏，章文嵩，等.互联网大数据技术在智慧交通发展中的应用J.科技导报，2 0 2 0，38（0 9）：47-54.12贾德利，刘合，张吉群，等.大数据驱动下的老油田精细注水优化方法 J.石油勘探与开发，2 0 2 0 47（0 3）：6 2 9-6 36.13牛启光，苏耀东.炼化装置工业大数据应用开发 J.石油化工自动化，2 0 2 0,56(0 6)：58-6 1.14贺宗江.工业大数据技术在石化设备预警预测中的研究与实践J.当代石油石化，2 0 2 0，2 8（0 6）：35-40.15张岩松，张景东，刘速，等.HANA在某石油销售决策支持系统的应用 J.石油规划设计，2 0 17,2 8（0 2）：43-46，54.16王新浩.基于事故隐患大数据分析的风险预警方法研究D.北京：中国地质大学，2 0 19.17高阳，刘政伟，杨文玉，等.石化企业环保大数据智能云平台建设探讨.现代化工，2 0 2 2，42（0 7）：15-2 0.18匡立春，刘合，任义丽，等.人工智能在石油勘探开发领域的应用现状与发展趋势J.石油勘探与开发，2 0 2 1,48 0 1）：1-11.计为自动化推出哈氏合金音叉液位开关近日，深圳计为自动化技术有限公司（以下简称：计为自动化）推出耐高温防腐蚀新品哈氏合金音叉液位开关。该仪表的推出，有效解决了用户使用涂层防腐音叉液位开关在高温环境下防腐涂层易起皮、脱落，致使仪表耐腐蚀性降低，使用寿命缩短的难题，填补了国内空白。哈氏合金是一种镍基耐腐蚀合金，具有良好的抗腐蚀性和热稳定性，对大多数腐蚀介质具有优异的耐腐蚀性能。采用哈氏合金的计为音叉液位开关的可靠性和适用性得以显著提升，应用领域进一步拓展。该哈氏合金音又液位开关主要用于铁基Cr-Ni或Cr-Ni-Mo不锈钢、非金属材料等无法使用的强腐蚀性介质场合，可以广泛用于石油、化工、环保等行业的液位测量。（深圳计为自动化技术有限公司）