©2010-2025 宁波自信网络信息技术有限公司 版权所有
客服电话：4009-655-100 投诉/维权电话：18658249818
浙ICP备2021020529号-1 | 浙B2-20240490
关注我们 ：
1、工业物联网大数据平台建设方案 -JLjLe —1一 刖5： 工业物联网是将具有感知、监控能力的各类采集、控制传感器或控制器，以及移动通信、智能分析等技术不断融入到工业生产过程各个环节，从而大 幅提高制造效率，改善产品质量，降低产品本钱和资源消耗，最终实现将传统工业提升到智能化的新阶段。从应用形式上，工业物联网的应用具有实 时性、自动化、嵌入式（软件）、平安性、和信息互通互联性等特点。 正文： 工业互联网与大数据的特点 全要素 全过程 全方位 全融合 全要素就是说产品数据的 完整性，它携带了全部的尺 寸、工艺、制造、售后使 用的信息。 数据的设计和
2、使用，必 须要考虑跨越不同的设 计、制造阶段。 关注产品设计、制造、采购、 使用等上下游信息。 万物互联意识，关注企 业各业务的全面关联及 融合. 大数据对企业的应用价值表达 技术高效、低本钱 增强管理水平 让运营商实时高效决策…. 提升业务效率 自助分析、生产管道 可视化、资源霹耦随 需而动，营销实时， 以业务效率提升为标志. 城集中到辘中心 ,多数据源管理，透 明服务支持，实时的 决策和预测能力提升 整体经营管理水平. 以技术驱动力标志，内 存计" MPK CEP... 分而治之的分布式计算 互联网化的电子渠
3、道 全景体验、个性化商 品椎荐、LBS位置营 销、面向客户个体的 深度洞察 创新商业模式 数据开放服务、租隹数据、 广新业务. 口将计算机的逻辑功能嵌入到机器上，用数 据的方式描述机器制造和运行过程中产生 的大量信息。 工业大数据云平台实现路径 数据产品化 产品数据化 □从海量产品数据中挖掘出对用户有价值的 信息，以直观，有效的表现形式，为用户 决策提供商业支持和服务 大数据处理的需求和特点 纵向扩展 横向扩展 扩展性 可用性 灵活性 增量式的、几乎无限的扩展 要求系统总是在线运行 灵活可动态改变的数据模型 「分布式》资源集中 ►可用性 数据复制
4、►单份数据 一致性 计算和存 储分布 •不要使用分布式事务处理 目录 Contents ＞背景介绍 ＞调查分析 ＞平台建设 ＞ 云平台总体架构 大数据平台介绍 大数据平台应用 模型算法介绍 云平台总体架构 PaaS 业务 层 PaaS 环境 层 数据融合 仓库管理 laaS （基础 设寇层）提 供虚拟及物 理环境 能力开放榷架 数据处理算法服努） 业务应用/服 务仓库 业务数据库 数据资 源目录 共享数 据池 数据处理 售法库 应用环境调度 应用环
5、境引孽 （中间件, 消息队列、工作流 大数据处理框架 （枇处理.流处理 .内存计算） 大数据环境调度 基础设施跳■平台 eeee）・・里日日除解 统一米口系(平安+*+运维) 虚拟计肾环境 物理计算环境存储环境网络环境 统一资源♦大数据♦开放服务 A laaS:提供基本的计算、网络 和存储资源。 > PaaS:中间层，提供对行业业 务应用的支持° > SaaS:向用户交付最终业务应 用和数据分析。 > PaaS环境层：为业务应用提供 支撑的软件组件、包括各种中 间件和数据库等。以Hadoop 为代表的大数据处理。 A PaaS业务层：包含了应用的后 台程序，数据处
6、理算法以及业 务数据等实现业务能力的元素。 APaaS服务层：将业务层的业务、 算法和数据以接口的形式提供 给上层的前端应用直接访问C 云平台总体架构介绍 面向一般数据中心典型的 应用场景，提供对混合IT 资源的统一接入，以构筑 云模式下基础资源调度的 最正确实践。 将大数据平台作为典型服 务组件整合到云平台中进 行统一管理，以适应未来 应用对大数据能力的普遍 使用。 以PaaS能力为核心，将应 用系统的典型软件组件以 服务形态提供，为业务系 统提供统一环境支持，并 进行统一管理和监控。 为用户提供面向DevOps的 统一云服务业务流程，以 统一平台提供传统的laaS 和PaaS能
7、力,并贯穿开发、 测试和生产的全过程。 工业大数据平台一数据业务逻辑 数据源 数据接入 3 ie唱构化总期主哈构化m ⑥1 ra*4i 咚， §育 分析 W 价值 数据展示 数据管理 数据分析 大数据平台目标架构及定位 精邈假设打 智便膏二］［朝而巨 赤跳邈反 客求还 招标应用| 居邈瓦| |主8汾析| |专陵分析। 怅力层 8电分析能力 买&J分杯畿力 自助分析莱力 蜘》纣I卑徙力 数据统一服务和开放SQL FTP. WS. MDX、API. Had
8、oop 平 基于X8& 数据采集（ETL）： 负责源数据的采集、清洗、转换 和加载包括： 1、把原始数据加栽到Hadoop平 :台. 2：把加工后的数据加载分布式 ；数据库和主数据仓库 :Hadoop云平台： 负责存储海量的流量话单数据， ：提供并行的计算和非结构化数据 「台・的处理能力，实现低本钱的存储 ；和低时延、高并发的查询能力。 分布式数据库（MPP）: 存储加工、关联.汇总后的业务 数据，井提供分布式计算，支律 数据深度分析和数据关根能力，： 向主数据仓库输出KPI和高度汇! 总数据。 主教据仓库（与MP哈
9、设）： 存储指标数据、KP；数据和高度 J：网图邑 j ；数据开放接口： ：向大数据应用方提供大数据平台 j的能力. ——— w・ —・ ・ ― «B«W 一 — 一 — — — — — ■ ■—— ■■■ ■—— — — — *— — — 大数据平台：数据分级存储 数据分级存储原那么 》数据生命周卤中在线数据对高性能存储的需求， 以及随着数据生命周期的变更，逐渐向一般性能 存储的迁移，是分级存储管理的•条主线。同时 兼顾考虑•他分级原那么，共同作用影响数据迁移 机制。 基于生命I 擢何 数据融合与分级存储实施 ,将
10、核心模型（即中度汇总的模型）通过改造融入到现有 主数据仓库的核，模型中，减少数据冗余，提升 “将主数据仓库中的历史数据和清单数据迁移到低本钱分 布式数据库，减轻主数据仓库的计算与存储压力并支撑 深度数据分析。 数据 数据 数据 1、核心模 型融入主 数据仓库 2、历史数 据迁移到分 布式数据库 工业大数据平台一技术架构 0・ 工业传■的议 通用SQL分析用挈 IW流跋讴文时分析 全文也索 SearchSQLAAP
11、I 资产管理废将 清我队列 数据管理/服务 likiSS 应用层 据采£ 大散 据基 础 技术 平台 散掘 存储 层 内存存他 Redis Uk级算法分析引挈 浦用搜索引攀 DATA Collector TSDB NO-SQL HBase 数据平安 数据分析 分布系统 文件 <> DATA AGENT 计祭 稣引 IMS <> 憎品数据导入 系番据 批■数据导入 数据采集一设备数据 ■外加传感器 利用关键测量技术，将 夕郦传感器力曝于原有 复杂装
12、备上，实现设备 数据化； ■内置传感器 利用设备内置传感器， 解析复杂装备原有工业 传输协议 关键 组件 解决 方案 连，㈱拴 油服温度拒" , 收力E 婚初反 虎发射犯” 数据采集—实时数据接入处理 Hadoop 分布式数据库 内存数据库 kafka、Rum♦数据接入 流式计算引擎(storm、spark-streaming) ■ Kafka/Flume 一般用于日志 数据/传感器数 据/用户行为数 据的接入 • 业务系统教娓 库的噌量实时 接入采用CDC 、bin
13、log方案 ,实现采用数 据库日志的方 式无负荷接入 数据采集一批量数据接入处理 Gobblin/Kettle/Sqoop • 支持到多种者旧居源，支持到各种关系型数据1尔MongoDB/HBas造NoSQL • 支持全量/增量/定fl寸各种传雉模式 • 采用ETL方式接入数据，数据接入的过程中可I为进行清闲口整合 —里 a三内・a MvSCX/***/ 1 IC •• MM 技术架构解决方案 交互式查询 ＞通常的时间跨度在数十秒到数分钟之间 - 按数据维度进行统计、聚合 - 根据历史数据进行拟合和预
14、测 - 计算数据之间的相关性和模式等 - 适合提供高速在线分析服 ＞典型应用场景 - 政府各部门数据 - 证券交易 - 银行保险 - 企业ERP/CRM等 ＞适用于数据量在GB到TB的高速数据分 析 实时在线处理 ＞通常的时间跨度在数百毫秒到 数秒之间 - 数据来源多、高并发、数据处理 量达 - 分析结果快速响应 ＞典型应用场景 - 社交网络分析、关联关系分析 - 用户分类、用户行为预测 ＞高并发查询 - 按主健毫秒级检索 - 按多维度秒级检索 - 按照关键字秒级检索 和计算的高可靠俣证。 快速的数V大数据存复杂”算 大数据平台：Hadoop主要
15、功能 Hadoop平台提供了海量数据的分布式存储与处理的框架。基于服务器本地的计算与存储资源，Hadoop集群 可以扩展到上千台服务器。同时，Hadoop在设计时充分考虑了硬件设备的不可靠因素，在软件层面提供数据 • HDFS:分布式文件系统 ,有较强的容错性 ,可在x86平台上运行，减少总体本钱 ,可扩展，能构建大规模的应用 • HBase:非结构化NoSQI分布式数据库 ,列式存储，节省存储空间 ・提供大数据量的高速读写操作 • Hive:分布式关系型数据库 储 ,类SQL的查询语句，提供大数据的统计和 分析操作，适合海量数据的批处理 /通过M叩Reduce实现大规
16、划并行计算 • M叩Reduce:大规划并行计算引擎 /可将任务分布并行运行在一个集群服务器 中 ■技术基础研究方向 研冗方向 大数据 可视化挖掘 大数据 内存计算 关键任务 1）新型内存迭代数据挖掘算法 2）数据挖掘可视化开发平台 3）房地产、金融、电侑等机器学 习模型研究 1）基于内存的迭代算法研究 2）内存入数据高速统计分析技术 制高点 1）基于内存计算的机器学习算法 2）行业大数据深度机器学习模型 3）大数据可视化挖掘 1）基于大数据内存的计算技术 2）国内产品领先 大数据语 义分析 大数据 云计算技术 1）大数据自然语言识别 2）非结
17、构化数据的知识发现、集 成技术 1）大数据芯计算平台技术 2）商业智能云平台技术 大数据平台的可视化集成目前是空白领 域 1）石BI技术及大数据平台的核心技术研 2）大数据公BI在国内应用是未来趋势， 行望建成国内第•家云B卜平台 大数据平台应用一资产管理服务 核心目标：资产建模，连接资产和数据源 资产分类原那么：属性分类（质量、压强等）或用户H定义（位置信息、资产供应商等） □查询引掌 • 利用图形表达式语言 （GEL）检索数据 • API接口层
18、 • 支持资产分层、属性分类和 自定义建模对象 • 终端访问域对象建模层 • 转换数据格式，便于数据库 存储和直询. • 图形数据库 • 资产服务数据存储是T 图形数据库 • 将元数据描述成数据模型 资产模型是工业大数据平台的关键，是连接平台所有服务的中枢，能帮助应用开发者更好的理解、分析和 处理数据 大数据平台应用一数据管理与服务 常用的数据管理与服务：对各种类型数据进行接入、处理和储存。 数据接入 数据处理 数据储存 支持多渠道多类型的 数据接入，包括实时 数据接入和批量数据 接入。 对数据进行处理，例如 对传感器数据进行标签 处理、资产数
19、据与ERP 数据相结合等。 可根据需求选择存储方式： 时间序列存储传感器实时数据 BLOB数据库存储图片式数据 关系型数据库存储其他数据 大数据平台应用一数据分析服务 常用数据分析服务 实时数据分析 1. 2. 3. 4. 异常检测(Anomaly Detection ) 事件流处理(Event Stream Processing ) 分析运行环境(Analytics Runtime ) 分析界面(Analytics User Interface ) 迭代提升 通过对历史数据 进行整合和分析 ,建立工业级的 预测模型，以进 行更有效的生产 和运营 5.分析日
20、志(Analytics Catalog ) 历史数据分析 通过分析实时数据检测 设备状态、预防设备故 障、优化生产过程 什么是大数据? 飞所谓“大数据”，指的是所涉及的数据量规模巨大到无法通过目前主流软件工具，在合 ；工" 理时间内到达截取、管理、处理、并整理成为帮助企业经营决策更积极目的的信息。。 IDC Analyze the Future WikipldlA 大数据处理技术代表了新一代的技术架构，这种架构通过高速荻取数据并对其进行分析和 挖掘，从海量形式各异的数据源中更有效地抽取出富含价值的信息。 从大量数据中挖掘高价值知识是各界对于大数据的一个共识。 海量数据
21、可广泛获得，所稀缺的是如何从中挖掘出智慧和观点。 T? Google首席经济学家Ha! Varian 大数据主要被用于分析和决策，企业用以分析的数据越全面，分析的结果就越接近于真实。 大数据分析意味着企业能够从这些新的数据中获取新的洞察力，并将其与业务的各个 细节相融合，对企业产生新的价值。 大数据平台应用一数据平安服务 主要目标: , 满足企业互联网稿对端的平安需求 , 建立企业互联网应用，平安性问题关键依赖授权和身份验证两个环节. 1.租户管理 I 2 .用户账户和身份验证 3.访问控制 为租户提供特定服务实体及注册 表，完成租户和服务实体间的完
22、 獭射，在确保客户数据信息安 全的基砒上，实现服务生命周期 管理. 在传统用户信息验证方法的基 砒上，增加多种验证方法完善 身份验证系统. 建立资源访问限制，增强用户账 户信息验证的权威性，同时不断 提升和优化网络访问信息平安， 实现复杂条件下的访问控制。 大数据平台应用一数据展示 • 基于R语言的交互式数据探索 • 对接后台海量数据 • 用于数据分析师各种分析，挖掘, 预测等场景 多维数据分析展示 （来源：软件定义世界、工业观察） 工业大数据分析及应用的三个阶段 大数据特征：量(Volume)、速度(Velocity)、多样性(Variety)、真实性(Veracit
23、y) 工业大数据特征：大数据特征+可见性(Visibility) ＞价值(Value) 时间 第一阶段 1990-2000 第二阶段 2000-2010 第三阶段 2010〜至今 核心技术 远程监控、数据采 集和管理 大数据中心和数据 分析软件 数据分析平台与高 级数据分析工具 问题对象/价值 以产品为核心的状 态监控，问题发生 后的及时处理，帮 助用户防止故障造 成的损失 以使用为核心的信 息服务，通过及时 维修和预测型维护 防止故障发生的风 险 以用户为中心的平 台式服务，实现r 以社区为基础的用 户主导的服务生态 体系 商业模式 产品为主的附加服 务
24、 产品租赁体系和长 期服务合同 按需的个性化H服 务模式，提供经济 代表性企业和技术 产品 GM OnStar™ 阿尔斯通 TrackTracerTM GE Predix 平台 互联网大数据与工业大数据的比照分析 I：业大数据待解决问题(3B)： 隐匿性(Below Surface)；碎片化(Broken)； 数据量需求 大量样本数 数据质量要求 较低 对数据属性意义的解读不考虑属性的意义，只 分析统计显著性 分析手段 以统计分析为主，通过 挖掘样本中各个属性之 间的相关性进行预测 分析结果 较低 准确性要求 低质性(BadQuality) 尽可能全面
25、地使用样本 较高，需要对数据质量 进行预判和修复 强调特征之间地物理关 联 具有一定逻辑地流水线 式数据流分析手段强 调跨学科技术的融合， 包括数学、物理、机器 学习、控制、人工智能 等 较高 __ 嗜 目录 Contents >背景介绍 工调查分析 >平台建设 > 云平台总体架构 > 大数据平台介绍 > 大数据平台应用 > 模型算法介绍 工业大数据的核心是机器数据 ■*：专有机器数据流 梃取存储 ■ 1 II 机器数据采集 各种产生数据的机器 II 各种基于机器以 及机器上下文的 分析模型 优化机器 的数据流 返回机器 基于机器 特征的算 法和
26、敢据 分析 工业4.0系统可以被看作是数据、 硬件、软件和智能的流通与互动。 从智第设备和网络中获取数据，然 工业大数据 循环体系 可视远程和集 中数据以及智 能信息 机器数据系统 后利用大麦 切基于机器所在行业 的分析工具进行存储、分析和可视 化。最终的“智能信息”可以供决 策者（在必要时实时）使用，或者 作为各工业系统中更广泛的资产优 化或战略决策流程的一局部。 基于直杂数值茸法的实 时和历史分析 机器大数据的特点 独特数据类型 机器产生的时间序列， 时空序列，或者数
27、组阵 列数据，多种类型 -个典型的大规模机器大数 据应用系统（如工程机械（物 联网、；由气生产物联网、智 能电网、车联网、地质师 等），每天产生的数据量是 淘宝交易的100倍，且要在 这些数据上实a寸做复杂的领 域相关分析 工业互联网与大数据的作用 提升产品智能化 •产品的智能化是把传感器、处理器、存储器、通信模块、传输系统融入到各种产品 中，使得产品具备动态存储、感知和通信能力，实现产品的可追溯、可识别、可定 位C目前互联网汽车、工程机械、智能家电等是产品智能化的热点领域。 深入拓展行业应用 •工业互联网与大数据通过网络与企业管理平台连接，企业管理平台可以运用无线网 络、视频远程故障诊断等信息服务系统，远程监控设备的运转情况，并基于工业大 数据实现故障预警，有针对性地提供维修等服务，实现“服务型制造:
©2010-2025 宁波自信网络信息技术有限公司 版权所有
客服电话：4009-655-100 投诉/维权电话：18658249818
浙ICP备2021020529号-1 | 浙B2-20240490
关注我们 ：
