工业物联网大数据平台建设方案.docx

资源描述

工业物联网大数据平台建设方案 -JLjLe —1一刖5：工业物联网是将具有感知、监控能力的各类采集、控制传感器或控制器，以及移动通信、智能分析等技术不断融入到工业生产过程各个环节，从而大幅提高制造效率，改善产品质量，降低产品本钱和资源消耗，最终实现将传统工业提升到智能化的新阶段。从应用形式上，工业物联网的应用具有实时性、自动化、嵌入式（软件）、平安性、和信息互通互联性等特点。正文：工业互联网与大数据的特点全要素全过程全方位全融合全要素就是说产品数据的完整性，它携带了全部的尺寸、工艺、制造、售后使用的信息。数据的设计和使用，必须要考虑跨越不同的设计、制造阶段。关注产品设计、制造、采购、使用等上下游信息。万物互联意识，关注企业各业务的全面关联及融合. 大数据对企业的应用价值表达技术高效、低本钱增强管理水平让运营商实时高效决策…. 提升业务效率自助分析、生产管道可视化、资源霹耦随需而动，营销实时，以业务效率提升为标志. 城集中到辘中心 ,多数据源管理，透明服务支持，实时的决策和预测能力提升整体经营管理水平. 以技术驱动力标志，内存计" MPK CEP... 分而治之的分布式计算互联网化的电子渠道全景体验、个性化商品椎荐、LBS位置营销、面向客户个体的深度洞察创新商业模式数据开放服务、租隹数据、广新业务. 口将计算机的逻辑功能嵌入到机器上，用数据的方式描述机器制造和运行过程中产生的大量信息。工业大数据云平台实现路径数据产品化产品数据化 □从海量产品数据中挖掘出对用户有价值的信息，以直观，有效的表现形式，为用户决策提供商业支持和服务大数据处理的需求和特点纵向扩展横向扩展扩展性可用性灵活性增量式的、几乎无限的扩展要求系统总是在线运行灵活可动态改变的数据模型「分布式》资源集中 ►可用性数据复制 ►单份数据一致性计算和存储分布 •不要使用分布式事务处理目录 Contents ＞背景介绍＞调查分析＞平台建设＞云平台总体架构大数据平台介绍大数据平台应用模型算法介绍云平台总体架构 PaaS 业务层 PaaS 环境层数据融合仓库管理 laaS （基础设寇层）提供虚拟及物理环境能力开放榷架数据处理算法服努）业务应用/服务仓库业务数据库数据资源目录共享数据池数据处理售法库应用环境调度应用环境引孽（中间件, 消息队列、工作流大数据处理框架（枇处理.流处理 .内存计算）大数据环境调度基础设施跳■平台 eeee）・・里日日除解统一米口系(平安+*+运维) 虚拟计肾环境物理计算环境存储环境网络环境统一资源♦大数据♦开放服务 A laaS:提供基本的计算、网络和存储资源。 > PaaS:中间层，提供对行业业务应用的支持° > SaaS:向用户交付最终业务应用和数据分析。 > PaaS环境层：为业务应用提供支撑的软件组件、包括各种中间件和数据库等。以Hadoop 为代表的大数据处理。 A PaaS业务层：包含了应用的后台程序，数据处理算法以及业务数据等实现业务能力的元素。 APaaS服务层：将业务层的业务、算法和数据以接口的形式提供给上层的前端应用直接访问C 云平台总体架构介绍面向一般数据中心典型的应用场景，提供对混合IT 资源的统一接入，以构筑云模式下基础资源调度的最正确实践。将大数据平台作为典型服务组件整合到云平台中进行统一管理，以适应未来应用对大数据能力的普遍使用。以PaaS能力为核心，将应用系统的典型软件组件以服务形态提供，为业务系统提供统一环境支持，并进行统一管理和监控。为用户提供面向DevOps的统一云服务业务流程，以统一平台提供传统的laaS 和PaaS能力,并贯穿开发、测试和生产的全过程。工业大数据平台一数据业务逻辑数据源数据接入 3 ie唱构化总期主哈构化m ⑥1 ra*4i 咚， §育分析 W 价值数据展示数据管理数据分析大数据平台目标架构及定位精邈假设打智便膏二］［朝而巨赤跳邈反客求还招标应用| 居邈瓦| |主8汾析| |专陵分析। 怅力层 8电分析能力买&J分杯畿力自助分析莱力蜘》纣I卑徙力数据统一服务和开放SQL FTP. WS. MDX、API. Hadoop 平基于X8& 数据采集（ETL）：负责源数据的采集、清洗、转换和加载包括： 1、把原始数据加栽到Hadoop平 :台. 2：把加工后的数据加载分布式；数据库和主数据仓库 :Hadoop云平台：负责存储海量的流量话单数据，：提供并行的计算和非结构化数据「台・的处理能力，实现低本钱的存储；和低时延、高并发的查询能力。分布式数据库（MPP）: 存储加工、关联.汇总后的业务数据，井提供分布式计算，支律数据深度分析和数据关根能力，：向主数据仓库输出KPI和高度汇! 总数据。主教据仓库（与MP哈设）：存储指标数据、KP；数据和高度 J：网图邑 j ；数据开放接口：：向大数据应用方提供大数据平台 j的能力. ——— w・ —・・ ― «B«W 一 — 一 — — — — — ■ ■—— ■■■ ■—— — — — *— — — 大数据平台：数据分级存储数据分级存储原那么》数据生命周卤中在线数据对高性能存储的需求，以及随着数据生命周期的变更，逐渐向一般性能存储的迁移，是分级存储管理的•条主线。同时兼顾考虑•他分级原那么，共同作用影响数据迁移机制。基于生命I 擢何数据融合与分级存储实施 ,将核心模型（即中度汇总的模型）通过改造融入到现有主数据仓库的核，模型中，减少数据冗余，提升 “将主数据仓库中的历史数据和清单数据迁移到低本钱分布式数据库，减轻主数据仓库的计算与存储压力并支撑深度数据分析。数据数据数据 1、核心模型融入主数据仓库 2、历史数据迁移到分布式数据库工业大数据平台一技术架构 0・工业传■的议通用SQL分析用挈 IW流跋讴文时分析全文也索 SearchSQLAAPI 资产管理废将清我队列数据管理/服务 likiSS 应用层据采£ 大散据基础技术平台散掘存储层内存存他 Redis Uk级算法分析引挈浦用搜索引攀 DATA Collector TSDB NO-SQL HBase 数据平安数据分析分布系统文件 <> DATA AGENT 计祭稣引 IMS <> 憎品数据导入系番据批■数据导入数据采集一设备数据 ■外加传感器利用关键测量技术，将夕郦传感器力曝于原有复杂装备上，实现设备数据化； ■内置传感器利用设备内置传感器，解析复杂装备原有工业传输协议关键组件解决方案连，㈱拴油服温度拒" , 收力E 婚初反虎发射犯” 数据采集—实时数据接入处理 Hadoop 分布式数据库内存数据库 kafka、Rum♦数据接入流式计算引擎(storm、spark-streaming) ■ Kafka/Flume 一般用于日志数据/传感器数据/用户行为数据的接入 • 业务系统教娓库的噌量实时接入采用CDC 、binlog方案 ,实现采用数据库日志的方式无负荷接入数据采集一批量数据接入处理 Gobblin/Kettle/Sqoop • 支持到多种者旧居源，支持到各种关系型数据1尔MongoDB/HBas造NoSQL • 支持全量/增量/定fl寸各种传雉模式 • 采用ETL方式接入数据，数据接入的过程中可I为进行清闲口整合 —里 a三内・a MvSCX/***/ 1 IC •• MM 技术架构解决方案交互式查询＞通常的时间跨度在数十秒到数分钟之间 - 按数据维度进行统计、聚合 - 根据历史数据进行拟合和预测 - 计算数据之间的相关性和模式等 - 适合提供高速在线分析服＞典型应用场景 - 政府各部门数据 - 证券交易 - 银行保险 - 企业ERP/CRM等＞适用于数据量在GB到TB的高速数据分析实时在线处理＞通常的时间跨度在数百毫秒到数秒之间 - 数据来源多、高并发、数据处理量达 - 分析结果快速响应＞典型应用场景 - 社交网络分析、关联关系分析 - 用户分类、用户行为预测＞高并发查询 - 按主健毫秒级检索 - 按多维度秒级检索 - 按照关键字秒级检索和计算的高可靠俣证。快速的数V大数据存复杂”算大数据平台：Hadoop主要功能 Hadoop平台提供了海量数据的分布式存储与处理的框架。基于服务器本地的计算与存储资源，Hadoop集群可以扩展到上千台服务器。同时，Hadoop在设计时充分考虑了硬件设备的不可靠因素，在软件层面提供数据 • HDFS:分布式文件系统 ,有较强的容错性 ,可在x86平台上运行，减少总体本钱 ,可扩展，能构建大规模的应用 • HBase:非结构化NoSQI分布式数据库 ,列式存储，节省存储空间・提供大数据量的高速读写操作 • Hive:分布式关系型数据库储 ,类SQL的查询语句，提供大数据的统计和分析操作，适合海量数据的批处理 /通过M叩Reduce实现大规划并行计算 • M叩Reduce:大规划并行计算引擎 /可将任务分布并行运行在一个集群服务器中 ■技术基础研究方向研冗方向大数据可视化挖掘大数据内存计算关键任务 1）新型内存迭代数据挖掘算法 2）数据挖掘可视化开发平台 3）房地产、金融、电侑等机器学习模型研究 1）基于内存的迭代算法研究 2）内存入数据高速统计分析技术制高点 1）基于内存计算的机器学习算法 2）行业大数据深度机器学习模型 3）大数据可视化挖掘 1）基于大数据内存的计算技术 2）国内产品领先大数据语义分析大数据云计算技术 1）大数据自然语言识别 2）非结构化数据的知识发现、集成技术 1）大数据芯计算平台技术 2）商业智能云平台技术大数据平台的可视化集成目前是空白领域 1）石BI技术及大数据平台的核心技术研 2）大数据公BI在国内应用是未来趋势，行望建成国内第•家云B卜平台大数据平台应用一资产管理服务核心目标：资产建模，连接资产和数据源资产分类原那么：属性分类（质量、压强等）或用户H定义（位置信息、资产供应商等） □查询引掌 • 利用图形表达式语言（GEL）检索数据 • API接口层 • 支持资产分层、属性分类和自定义建模对象 • 终端访问域对象建模层 • 转换数据格式，便于数据库存储和直询. • 图形数据库 • 资产服务数据存储是T 图形数据库 • 将元数据描述成数据模型资产模型是工业大数据平台的关键，是连接平台所有服务的中枢，能帮助应用开发者更好的理解、分析和处理数据大数据平台应用一数据管理与服务常用的数据管理与服务：对各种类型数据进行接入、处理和储存。数据接入数据处理数据储存支持多渠道多类型的数据接入，包括实时数据接入和批量数据接入。对数据进行处理，例如对传感器数据进行标签处理、资产数据与ERP 数据相结合等。可根据需求选择存储方式：时间序列存储传感器实时数据 BLOB数据库存储图片式数据关系型数据库存储其他数据大数据平台应用一数据分析服务常用数据分析服务实时数据分析 1. 2. 3. 4. 异常检测(Anomaly Detection ) 事件流处理(Event Stream Processing ) 分析运行环境(Analytics Runtime ) 分析界面(Analytics User Interface ) 迭代提升通过对历史数据进行整合和分析 ,建立工业级的预测模型，以进行更有效的生产和运营 5.分析日志(Analytics Catalog ) 历史数据分析通过分析实时数据检测设备状态、预防设备故障、优化生产过程什么是大数据? 飞所谓“大数据”，指的是所涉及的数据量规模巨大到无法通过目前主流软件工具，在合；工" 理时间内到达截取、管理、处理、并整理成为帮助企业经营决策更积极目的的信息。。 IDC Analyze the Future WikipldlA 大数据处理技术代表了新一代的技术架构，这种架构通过高速荻取数据并对其进行分析和挖掘，从海量形式各异的数据源中更有效地抽取出富含价值的信息。从大量数据中挖掘高价值知识是各界对于大数据的一个共识。海量数据可广泛获得，所稀缺的是如何从中挖掘出智慧和观点。 T? Google首席经济学家Ha! Varian 大数据主要被用于分析和决策，企业用以分析的数据越全面，分析的结果就越接近于真实。大数据分析意味着企业能够从这些新的数据中获取新的洞察力，并将其与业务的各个细节相融合，对企业产生新的价值。大数据平台应用一数据平安服务主要目标: , 满足企业互联网稿对端的平安需求 , 建立企业互联网应用，平安性问题关键依赖授权和身份验证两个环节. 1.租户管理 I 2 .用户账户和身份验证 3.访问控制为租户提供特定服务实体及注册表，完成租户和服务实体间的完獭射，在确保客户数据信息安全的基砒上，实现服务生命周期管理. 在传统用户信息验证方法的基砒上，增加多种验证方法完善身份验证系统. 建立资源访问限制，增强用户账户信息验证的权威性，同时不断提升和优化网络访问信息平安，实现复杂条件下的访问控制。大数据平台应用一数据展示 • 基于R语言的交互式数据探索 • 对接后台海量数据 • 用于数据分析师各种分析，挖掘, 预测等场景多维数据分析展示（来源：软件定义世界、工业观察）工业大数据分析及应用的三个阶段大数据特征：量(Volume)、速度(Velocity)、多样性(Variety)、真实性(Veracity) 工业大数据特征：大数据特征+可见性(Visibility) ＞价值(Value) 时间第一阶段 1990-2000 第二阶段 2000-2010 第三阶段 2010〜至今核心技术远程监控、数据采集和管理大数据中心和数据分析软件数据分析平台与高级数据分析工具问题对象/价值以产品为核心的状态监控，问题发生后的及时处理，帮助用户防止故障造成的损失以使用为核心的信息服务，通过及时维修和预测型维护防止故障发生的风险以用户为中心的平台式服务，实现r 以社区为基础的用户主导的服务生态体系商业模式产品为主的附加服务产品租赁体系和长期服务合同按需的个性化H服务模式，提供经济代表性企业和技术产品 GM OnStar™ 阿尔斯通 TrackTracerTM GE Predix 平台互联网大数据与工业大数据的比照分析 I：业大数据待解决问题(3B)：隐匿性(Below Surface)；碎片化(Broken)；数据量需求大量样本数数据质量要求较低对数据属性意义的解读不考虑属性的意义，只分析统计显著性分析手段以统计分析为主，通过挖掘样本中各个属性之间的相关性进行预测分析结果较低准确性要求低质性(BadQuality) 尽可能全面地使用样本较高，需要对数据质量进行预判和修复强调特征之间地物理关联具有一定逻辑地流水线式数据流分析手段强调跨学科技术的融合，包括数学、物理、机器学习、控制、人工智能等较高 __ 嗜目录 Contents >背景介绍工调查分析 >平台建设 > 云平台总体架构 > 大数据平台介绍 > 大数据平台应用 > 模型算法介绍工业大数据的核心是机器数据 ■*：专有机器数据流梃取存储 ■ 1 II 机器数据采集各种产生数据的机器 II 各种基于机器以及机器上下文的分析模型优化机器的数据流返回机器基于机器特征的算法和敢据分析工业4.0系统可以被看作是数据、硬件、软件和智能的流通与互动。从智第设备和网络中获取数据，然工业大数据循环体系可视远程和集中数据以及智能信息机器数据系统后利用大麦切基于机器所在行业的分析工具进行存储、分析和可视化。最终的“智能信息”可以供决策者（在必要时实时）使用，或者作为各工业系统中更广泛的资产优化或战略决策流程的一局部。基于直杂数值茸法的实时和历史分析机器大数据的特点独特数据类型机器产生的时间序列，时空序列，或者数组阵列数据，多种类型 -个典型的大规模机器大数据应用系统（如工程机械（物联网、；由气生产物联网、智能电网、车联网、地质师等），每天产生的数据量是淘宝交易的100倍，且要在这些数据上实a寸做复杂的领域相关分析工业互联网与大数据的作用提升产品智能化 •产品的智能化是把传感器、处理器、存储器、通信模块、传输系统融入到各种产品中，使得产品具备动态存储、感知和通信能力，实现产品的可追溯、可识别、可定位C目前互联网汽车、工程机械、智能家电等是产品智能化的热点领域。深入拓展行业应用 •工业互联网与大数据通过网络与企业管理平台连接，企业管理平台可以运用无线网络、视频远程故障诊断等信息服务系统，远程监控设备的运转情况，并基于工业大数据实现故障预警，有针对性地提供维修等服务，实现“服务型制造:

展开阅读全文