智慧矿山数字化工业大数据平台建设方案.pdf

智慧矿山2 2智慧（煤矿）矿山建设指南为贯彻落实国家发展改革委等八部为贯彻落实国家发展改革委等八部委联合印发的关于加快煤矿智能化发委联合印发的关于加快煤矿智能化发展的指导意见（以下简称展的指导意见（以下简称“指导意指导意见见”）、我国煤炭行业高质量发展总）、我国煤炭行业高质量发展总体思路、目标方向、量化标准和重点举体思路、目标方向、量化标准和重点举措研究等国家相关政策，加快我国煤措研究等国家相关政策，加快我国煤矿智能化建设，推动煤炭行业高质量发矿智能化建设，推动煤炭行业高质量发展，特制定本指南。本指南是促进智能展，特制定本指南。本指南是促进智能化煤矿建设、行业技术进步和规范发展化煤矿建设、行业技术进步和规范发展的指导性文件。的指导性文件。3 3煤矿企业数字化进程中遇到的问题煤矿智能化（数字矿山/智慧矿山）是煤矿综合自动化发展的新阶段，是煤炭工业高质量发展的核心技术支撑。建设智能化煤矿是新时期煤炭企业面临的重要任务，是煤矿企业数字化转型的基础，已成为不可逆转的发展趋势。企业业务系统多，系统烟囱式建设，数据接入困难，数据标准不统一，数据孤岛问题严重。（1）子系统烟囱式建设，数据获取难。管理层需要业务数据时，经常需要软件商配合，用户无法及时获取并提供数据。二是数据无法按照集团管控要求和时间及时提供。（2）数据时效性差。目前从业务系统中获取数据到进行精准决策数据分析需要T+N天，并且数据指标维度不全面。当前最新设备状态参数数据、系统运行数据无法及时获取。（3）缺乏平台化“数据打通”，各个数据平台烟囱式关系，没有统一的共享和管控体系，数据标准不统一，部门间无法有效共享使用。（4）缺乏全集团统一的数据标准。“同名不同义、同义不同名”。各业务系统数据以自家接口文档形式提供输出，有的则手动根据多个指标库内抓数据分别提供，无法做到企业全流程安全把控和规则制定。数据获取难数据获取难数据时效性差数据时效性差数据缺乏标准数据缺乏标准数据无法共享数据无法共享4 4煤炭企业大数据平台（数据中台）价值数据应用开发：天数据应用开发：天/周周数据资源：可复用数据资源：可复用数据应用12n后台数据中台全域数据资源（OneData）数据应用开发：月数据应用开发：月/年年数据资源：不可复用数据资源：不可复用数据应用数据资源123n45 子系统“烟囱”式建设，数据不共享，业务不联动，管理改进难 不同业务对接同一功能子系统，异构重复建设，成本高 业务创新需调用多子系统数据，应用构建难，开发周期长 新的数据架构下，打破数据壁垒，满足未来运营发展需求5 5煤炭企业大数据平台（数据中台）企业数字化转型的基础1业务系统23数据BI数据中台主要服务于一线业务人员核心功能为业务流程支撑提供基础的统计、报表和数据分析功能不同业务系统之间形成数据烟囱强调数据集成，整合多业务数据面向数据应用、BI报表、即席查询、交互探索数据支撑强调数据治理及数据管理组织、制度、流程数据资产，技术，组织，业务流程多要素协同，驱动业务创新和业务升级业务导向建设数据模型强调数据时效性，提供实时数据分析能力面向数据价值，为业务应用提供统一数据服务数据价值：低数据价值：高6 6煤炭企业业务系统前期调研（1）7 7 煤炭企业业务系统前期调研（2）8 8基本情况：5个领导中心、47个业务系统当前煤炭企业业务系统由于没有进行相互集成，系统之间数据没有交互关系，所以本次调研根据所属中心部门进行划分为：“生产技术中心”，“机电运输中心”，“调度指挥中心”，“后勤保障中心”，“安全中心”5个中心领导部门，其中梳理底层业务系统47个，计划上线9个，目前正常使用38个。数据情况：主要以下五种1、SQL Server 数据库（安全监测系统、束管防灭火监测等）2、OPC协议（清洗泵房、空压机监控系统）3、Access（电力计量系统、ZKAcess人员刷卡系统）4、My SQL（汽车装车系统、双重预防信息系统等）5、接口对接（非数据库类型、数据获取难）煤炭企业业务系统前期调研（3）9 9主要中心主要部门系统名称具体区域当前情况主要功能开发厂家数据库类型对接方式生产技术中心通防部通风机管理系统未上线方案待定智能通风管控系统未上线方案待定灾害智能融合分析与可视化分析未上线方案待定瓦检巡检管理系统未上线方案待定安全监测系统已上线粉尘、设备、甲烷、一氧化碳、风机开停监控sql server 2008数据库对接束管防灭火监测已上线采空区气体情况、识别气燃发火气体sql server 2009数据库对接采空区光纤测温系统已上线采空区温度sql server 2010数据库对接生产部总采顶板检测系统已上线山东科技大学sql server数据库对接掘进顶板检测系统已上线山东光安sql server数据库对接地测部水文系统已上线地下水位观测西安中煤可控集团西安研究院sql server 2008数据库对接龙软GIS已上线矿井地质，通风参数，地质信息、录入、展示及分析北京龙软sql server 2016数据库对接智能地质保障系统未上线地质建模，地质推演，地址数据可视化，矿井地质基础信息、关联信息、预测信息等能够用可视化的方式直观的展示出来。方案待定煤炭企业数据中台业务系统情况1010主要中心主要部门系统名称具体区域当前情况主要功能开发厂家数据库类型对接方式机电运输中心机电部门供排水系统中央泵房已上线流量压力，水泵负压，水泵入口负压，出口正压，流量监控、北京富力通winCC西门子OPC协议清洗泵房已上线流量压力，水泵负压，水泵入口负压，出口正压，流量监控、天地常州西门子300PLCOPC协议二盘区泵房已上线流量压力，水泵负压，水泵入口负压，出口正压，流量监控、淮南万泰西门子1500PLCOPC协议掘进系统已上线目前没有系统，只有PLC智能设备通过上位机获取PLC数据然后经过OPC协议进行数据传输电力安全监控系统已上线监控及控制变电所高压柜及部分低压柜西瑞sql server 2003数据库对接主通风机监控系统已上线监控主通风机运行及相关参数西安宇田一百立方供水已上线生活供水系统，参数及状态西安重装kepserverOPC协议或kepserver电力计量系统已上线计量各个变电所高压柜用电情况山东山大电力设备access本身自带系统，可以提供账号密码，同时提供传输点空压机监控系统一号压风机已上线监控空压机运行参数西门子PLC315-2DT上位机走OPC协议二号压风机已上线监控空压机运行参数ABPLC1769上位机rsslinx洗选部门设备自动化控制系统已上线洗煤及选煤自动化设备控制北京华宇sql server expressOPC协议火车装车系统已上线火车装料北京华宇sqlserver数据库对接汽车装车系统已上线汽车装料北京华宇mysql5.7数据库对接运输部门主运输系统已上线皮带参数，运行状况南京北路sql sever2008数据库对接接口辅助运输系统已上线车辆运输、运料深圳翌日sql server数据库对接接口煤炭企业数据中台业务系统情况1111主要中心主要部门系统名称具体区域当前情况主要功能开发厂家数据库类型对接方式后勤保障中心后勤部安防视频监控系统已上线矿区井上监控视频神州数码视频文件厂区内一卡通门禁系统已上线门禁识别系统，主要针对培训中心，文体中心，5号公寓楼建设，数据不互通，单独进行授权皮克sql server 2005数据库对接南大门-车牌识别系统已上线南大门车辆进出信息记录，车辆信息存储，由部分照片数据西安鼎众设备科技sql server数据库对接南大门-ZKAcess人员刷卡系统已上线南大门人员进出刷卡系统，存储个人信息及进出记录西安鼎众设备科技accesss本身自带系统，可以提供数据库账密南大门-人脸识别系统已上线南大门人脸识别系统，存储个人信息及照片信息数据及进出记录西安鼎众设备科技sql server数据库对接接口保安巡逻系统已上线保安巡逻信息记录，点位信息数据蓝卡软件自带数据库数据库对接接口停车管理系统已上线针对培训中心，办公楼，地下车库三个地下停车场门禁管理，数据信息管理蓝卡sql sever数据库对接消防报警系统已上线主要针对办公楼消防信息数据管理控制，根据反馈数据进行报警西安莱科思OPC协议虹膜管理考勤系统已上线利用虹膜信息进行打卡，实现员工考勤记录凯宏电子sql server 2008数据库对接一卡人脸收费卡系统已上线买饭购物刷卡陕西春垚SecurityDBBock软件自带系统，需要和软件开发商沟通煤炭企业数据中台业务系统情况1212主要中心主要部门系统名称具体区域当前情况主要功能开发厂家数据库类型对接方式调度指挥中心智能部人员定位系统已上线人员矿井定位深圳翌日sql server数据库对接调度通讯系统已上线矿井通讯信息数据北方联创sql server数据库对接应急广播已上线矿井应急广播信息数据南京北路sql server数据库对接井下视频系统已上线井下录像视频数据海康威视视频数据接口智能工作面25211工作面已上线智能化工作面触电信息数据天玛sql server建议OPC协议对接44204工作面和15215已上线智能化工作面触电信息数据玛珂OPC协议OPC协议设备管理系统已上线管理矿区设备情况宇通集团数据难获取非集团建设部署OA办公系统煤炭企业OA办公系统已上线数据陕煤集团公司OA系统与钉钉已做对接陕煤股份数据难获取非集团建设部署安全中心安全部双重预防信息系统已上线人工上传安全隐患信息，对矿厂安全隐患事故进行记录处理中国矿大mysql 1.7+数据库对接接口安全检查系统未上线徒步检测，定期检查，发放检查任务，发放检查通知方案待定智能推送系统未上线需要与隐患系统、双重预防信息系统及消防安全系统进行联调，推送接受安全隐患信息方案待定智能信息系统未上线针对安全隐患现场进行拍照上传，与推送系统进行联调，通知到具体负责人进行改良方案待定智慧园区系统未上线统一管理园区消防设备，消防报警，信息报警，培训中心，行政中心，5号公寓楼，救护队，视频资源数据信息情况方案待定智能应急管理系统未上线管理井下应急事故及计划预案，同时与通信呼叫心态，人员定位系统进行联调，井上针对救护中队，医疗室，应急物资进行统一管理，对接调度中心方案待定煤炭企业数据中台业务系统情况1313煤炭企业大数据平台（数据中台）建设目标统一资产统一煤炭企业数据资产管理打通数据打通原有业务系统数据统一治理（约47个）智能决策支撑综合管控支撑决策分析支撑创新应用等全域分析统一数据报表直观掌握数据提供决策依据构建统一、融合、智能、高效的煤矿大脑统一、融合、智能、高效的煤矿大脑，助力用户逐步建设具有主动感知、主动感知、自动分析、深度学习、智能决策、科学指挥自动分析、深度学习、智能决策、科学指挥的智慧型矿山。致力于为煤炭企业构建“全全”、“统统”、“通通”、”智智”的（大数据平台/数据中台）体系，基于“数字新基数字新基建建”时代的数据价值思考数据价值思考，构建全域数字化矿区共享能力中心全域数字化矿区共享能力中心，助力煤炭企业实现数字化转型，打通底层系统之间数据壁垒数据壁垒，加强公司整体管理和安全生产整体管理和安全生产系数系数，为运营提供数据统筹模型数据统筹模型，实现重点重点数据实时监控数据实时监控和数据共享开放服务数据共享开放服务。统一标准数据管控统一数据标准形成数据字典数据申请与审核数据发布数据血缘1414煤矿数字孪生煤矿数字孪生煤炭企业大数据平台（数据中台）大图煤炭企业当前存在系统较多，调研共计47个，其中计划上线9个，当前在使用系统38个。生产技术中心通风机管理通风机管理智能通风管控智能通风管控瓦检巡检管理瓦检巡检管理安全监测系统安全监测系统束管防灭火束管防灭火煤炭工业大数据平台（数据中台）数据采集数据标准数据资产数据治理数据清洗标签中心智慧矿山（数字矿山）综合管控平台不安全行为分析不安全行为分析煤矿高风险预警煤矿高风险预警智能掘进开采智能掘进开采综合管控中心综合管控中心智能指挥调度智能指挥调度智慧园区管控智慧园区管控安全生产监测安全生产监测3D3D可视化可视化工业态势感知工业态势感知供排水系统供排水系统掘进系统掘进系统电力安全监控电力安全监控主通风机监控主通风机监控空压机监控空压机监控一卡通门禁一卡通门禁车牌识别系统车牌识别系统人脸识别系统人脸识别系统保安巡逻系统保安巡逻系统消防报警系统消防报警系统人员定位系统人员定位系统调度通讯系统调度通讯系统应急广播应急广播智能工作面智能工作面设备管理系统设备管理系统双重预防信息双重预防信息安全检查系统安全检查系统智能推送系统智能推送系统智能信息系统智能信息系统智慧园区系统智慧园区系统机电运输中心后勤保障中心调度指挥中心安全中心中台支持 数据互通中台支持 数据支撑数据血缘数据质量算法开发数据字典数据开发数据模型中台支持 数据互通数据集市数据挖掘煤矿数字孪生煤矿数字孪生中台支持 数据支撑数字孪生领导驾驶舱煤矿运营指标体系煤矿运营指标体系煤矿一张图煤矿全域数据中心-数据中台/大数据平台数据源业务数据数据集成建模挖掘清洗融合统一标准大数据计算平台DMDWDODS数据仓库数据集市领导驾驶舱高风险预警工业态势感知应急指挥调度智能开采掘进元数据管理数据资产SQLETLShellSpark appMLAB数据开发平台数据同步数据同步关系型数据库大数据应用数据服务化能力共享数据治理平台数据模型质量监控数据整合数据安全数据血缘数据标准STD煤矿全域数据中心-数据中台/大数据平台数据共享交换平台数据交换网关前置库数据交换网关ETL前置库ETL业务库1业务库n分析型数据库 大数据计算平台数据仓库数据集成外部数据业务数据数据开发平台关系型数据库数据同步数据治理平台数据应用数据服务总线+业务能力1717煤矿企业大数据平台（数据中台）实现目标根据智能化煤矿(井工)分类、分级技术条件与评价标准，切实提升煤矿行业数字化指标，实现智能化煤矿建设。1818煤矿企业大数据平台（数据中台）实现目标根据智能化煤矿(井工)分类、分级技术条件与评价标准，切实提升煤矿行业数字化指标，实现智能化煤矿建设。6.4.1.4 大数据中心的数据服务功能及健全程度评价指标见表7所示。表7 数据中心指标评价方法指标名称计算方法数据服务分项分数=a1+a2+a3a1.矿井各类资料均实现了数字化，且数据进行了合理的分类与存储，数据间交互方式合理,得040分；a2.采用行业统一的数据交换标准规范协议，得040分；a3.具有全面的数据分类属性、产生层级及交互层次规范，得020分；6.5.1.4 大数据中心的数据服务功能及健全程度评价指标见表7所示。表28 数据中心指标评价方法指标名称计算方法数据服务分项分数=a1+a2+a3a1.矿井地质、工程等资料实现了数字化，且数据进行了合理的分类与存储，数据见交互方式合理,得040分；a2.文件类数据采用FTP进行交互，音频数据采用SIP,RIP和RTSP协议实现，非标准工控类设备数据采用OPC/OPC UA标准实现，对于环境类数据，井下人员数据、非标准机电设备检测控制类数据采用行业统一的数据交换标准规范协议,得040分；a3.具有合理的数据源分析属性、产生层级及交互层次规范，得020分；智慧（数字）矿山，煤矿企业的发展方向 煤矿企业大数据平台/数据中台建设 四维度：一、数据采集管理自动化二、数据治理/数据整合加工流程化三、数据标准统一化/模型开发简单化四、数据分析/数据使用智能化数据采集管理自动化，实现生产数据、业务数据、管理数据的全面、实时、多结构自动采集实现海量数据治理整合，对数据进行清洗比对加工、存储和交互，确保大数据应用分析的准确性统一数据标准，快速建立分析模型，挖掘有用价值，推动管理升级，预测未来发展趋势降低数据使用门槛、提升数据使用效率，打破数据孤岛，全面支持高层决策分析和创新业务应用一、全域数据中心建设-数据集成新型NoSQL数据库文件系统开源大数据平台其他类型数据源关系型数据库数据仓库数据库其他格式数据对象存储采用统一的数据接入模式，以标准化、模块化的方式进行多源异构数据资源的接入，解决应急管理信息资源在集中汇聚时面临的分散孤立、源头多样、跨网传输等问题，为应急数据资源的汇聚集中、统一标准化处理和信息资源池构建提供源数据支撑。数据接入系统全量抽取实时增量抽取时间戳增量抽取实时日志增量抽取全量覆盖追加Append写入冲突行覆盖忽略冲突行完全基于B/S用户界面、简单易用直观易用的B/S用户界面是DataBridge区别于其它同类产品的重要特色。DataBridge屏蔽了复杂的数据操作过程，无需高级DBA或技术人员提供咨询或编写不透明的定制脚本代码，通过简单的界面操作，就可实现大部分数据转换整合的应用场景。同时可根据业务需要周期性的对作业进行自动调度，无需人工干预。国产数据库支持-数据集成国产化大数据平台与数据库引擎、消息中间件对接：n HW：HDFS、HBASE、HIVE、OBS、Elasticsearch、gaussDB100、gaussDB200、gaussDB300n 阿里：MaxCompute(ODPS)、ADS、RDS、OTS、OSS、Datahub、DRDS、HibridDB(PetaData)n 中兴：HDFS、HBASE、HIVEn 南大通用：GBase 8a/8s/8tn 达梦：DM7n 人大金仓：KingbaseES V8 n 金碟/中兴/华为消息中间件：AMQ消息中间件 Apusic V9.0、中兴kafka、华为kafka、多源异构数据采集转换-数据集成n 支持主流数据库和大数据平台，如Oracle、MySQL、SQLServer、Db2、Sybase、PostgreSQL、TeraData、Redis、MongoDB、REST、达梦、南大通用GBase8t、HDFS、HBase、Hive、GreenPlum、华为Hive、华为LibrA等；n 阿里云的RDS、DRDS、MaxCompute、AnalyticDB、DataHub、OTS、OSS等组件的数据互通；n 支持文件搬移与文件解析，FileServer协议支持SFTP、SMB、FTP、OBS、OSS等，文件解析支持诸如xml、txt、csv和Excel等格式，支持zip包；n 支持全量高速同步以及增量同步，文件同步；n 支持Oracle dmp文件导入；支持数据加密传输，保证数据传输过程中不泄密。二、数据交换共享系统前置库数据资源目录/服务资源目录数据交换中控数据交换总线中心数据库或业务系统交换网关ETLAPI网关API服务中控开放服务前置库业务系统交换网关ETLAPI网关开放服务。部门1部门2部门N七大组件数据/服务资源目录、数据交换中控、数据交换总线、数据交换网关、API服务中控、API服务网关、数据ETL工具。前置库业务系统交换网关ETLAPI网关开放服务高性能单节点120MB/S、30万条/秒（工信部下属第三方测试结果）支持集群高可靠支持自动断点续传支持断开网络或系统重启后数据不丢失高安全支持数据传输过程加解密专利技术实现非侵入式增量数据提取基于大数据平台支持安全交换高易用目录驱动的交换多源异构数据的汇聚、交换库级交换、汇聚2525数据提取结构化数据提取非结构化数据提取文本数据提取音频数据提取视频、图像数据提取数据探查表级探查字段级探查数据清洗数据过滤数据去重数据格转数据校验数据比对结构化数据比对非结构化数据比对结构与非结构化融合比对数据标识数据标签 三、数据治理建设内容 数据治理数据清洗原始库资源库消息队列消息队列离线数据实时消息离线数据清洗流式数据清洗过滤去重格式转换校验编码转换编码核验日期值清洗时间值清洗字段长度清洗值域清洗数据清洗即可实现对结构化和半结构化清洗，如对原始库中的数据静态数据清洗，也可以对流数据进行清洗。字符串处理去除空白字符去除特定字符大小写转换汉语转拼音字符串截取转换为字符串全角半角转换数据清洗组件值清洗数据脱敏同义词替换身份证校验转换身份证信息提取日期拆分转为Unix时间戳多表合并多列合并拆分列数据分组合并空值填充日期标准化电话号码清洗分区标准化历史拉链表实时业务表SQL清洗JavaScript清洗长度过滤正则过滤标准值域过滤空值过滤表级处理多表处理波动监控表大小波动检测表行数波动检测列最值波动检测列均值波动监测列值和波动检测值监控布尔分析完整性分析标准值域分析枚举值分析数值分析唯一性分析数值分布分析外键检查分析日期分析日期范围分析 数据治理数据标识数据标识是利用标签库中已经建设好的规则，对数据进行比对分析和模型计算，将符合规则的数据进行标识，为进一步的数据使用提供支撑，数据标识支持表标识，列标识，数据条目标识。待标识数据表标识列标识条目标识标签库标签引擎规则获取规则解析规则执行结果输出1、创建标签类目2、标签类目中创建标签3、配置标签打标规则4、配置引用数据两级可视化数据清洗与挖掘任务工作流清洗任务配置两级可视化数据治理数据管控系统数据管控要实现对数据资源池数据的管理和控制，功能主要有数据标准（数据元）管理、数据字典管理、数据质量管理、数据血缘等。对数据标准定义、维度定义、维值代码定义、公共统计规则的管理和维护，为用户制定后续的标准化和归一化的清洗规则提供强有力的参考依据。全链的数据血缘分析和展示，通过数据血缘清晰的查看数据在数据源库、原始库、资源库、主题库和专题库之间的总体流向。创建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。建立系统数据质量评估标准，从完整性、一致性、准确性、及时性、唯一性等方面评估数据是否达到预期设定的质量要求。数据标准管理数据质量管理数据字典管理数据血缘管理 数据治理数据标准建设是对数据类型，通过定义、标识、表示以及允许值等一系 列属性描述的数据单元。它是数据资源池数据清洗、标准化、以及数据质量监控的基础依据数据治理建设过程中要对数据元素进行标准制定、对数据字典进行标准制定数据元素标准数据字典标准数据标准体系 数据治理数据血缘管理数据治理建设要求实现对数据血缘的管理，数据血缘管理了数据从哪里来到哪里去的完整链路，如下图所示，通过数据血缘查询可获取主题库“事件事故基本表”从哪些系统融合了数据，又被哪些业务系统所使用l 一张图看清每个数据的来龙去脉l 基于血缘图进行 数据质量和数据安全问题溯源、影响分析数据治理“全链路”数据血缘 数据治理数据质量管理体系数据质量完整性合规性及时性一致性唯一性准确性建立数据质量管理体系，实现数据治理平台数据质量的有效管控，管理维度包括：完整性：主要包括属性缺失、记录缺失、字段缺失几个方面 合效性：主要包括格式、类型、值域、和业务规则的有效性 及时性：指数据刷新、修改和提取等的及时和快速性 一致性：数据含义一致性、数据格式一致性、数据传输不丢失，指统一数据来源、冗余存储和统一口径的一致性 唯一性：指主键唯一和候选键唯一两个方面，主键重复数据检核，主外键是否缺失检核 准确性：指计量误差、度量单位等方面的精确度 数据治理数据质量报告序号表名称表中文名称字段名称字段类型字段注释检查类型检查概述检查sql有无质量问题问题分类问题记录数表总记录数备注1 t_yj_tfsj_sb_r 突发事件表IDvarchar(64)ID(主键)一致性统计信贷系统和核心系统证件号一致,客户号不一致的记录数。select count(*)from ind_info a join CUSVDD b on a.certid=trim(substr(b.id1,1,32)where a.customeridsubstr(b.cust_no,8,9)Y一致性:数据不一致9584217932 t_yj_tfsj_sb_r 突发事件表TITLEvarchar(64)标题完整性对客户名称进行完整性检查，检查客户名称是否存在空值。select count(*)from CUSVAA a join CUSM b on a.cust_no=b.cust_acct_no where b.CUSTOMER_TYPE in(02,03)and trim(a.NAME)is null;Y完整性:空值12313518对公客户及金融机构客户共135183 t_yj_tfsj_sb_r 突发事件表TYPEvarchar(64)灾害类型完整性对客户名称进行完整性检查，检查客户名称是否存在空值。select count(*)from MICM a join CUSM b on a.customer_no=b.prim_acct where b.CUSTOMER_TYPE =01 and trim(a.NAME_2)is null;Y完整性:空值136 627743 对私证件及姓名记录数6277434 t_yj_tfsj_sb_r 突发事件表REPORT_MANvarchar(64)报送人完整性对开户日期进行完整性检查，检查数据的缺失情况select count(*)from CUSM where CREATE_DT is null or CREATE_DT=0;Y完整性:空值1419703 2031402 5 t_yj_tfsj_sb_r 突发事件表REPORT_TIMEdatetime报送时间完整性对开户日期进行完整性检查，检查数据的缺失情况select count(*)from CUSVCC where OPEN_DATE_01 is null or OPEN_DATE_01=0;Y完整性:空值658988 659004 样例：基于突发事件表五个字段进行一致性和完整性的质量检查及表级数据质量明细报告检核的表检核的字段及规则检核的结果说明及问题归类数据质量统计报告，全局分析数据治理质量情况，了解资源池整体数据质量情况样例：基于数据质量检核表或字段进行概况统计的报表，展现全局资源池资料状态数据仓库大数据应用数据挖掘和机器学习SQL、海量数据存储MapReduce、GraphMLLIB 大数据计算平台（以下简称），采用内存迭代计算技术，集SQL、MR、Graph、ML多种计算能力于一体，可以提供TB/PB级别以上的数据存储和数据分析处理能力。四、大数据计算平台软件数据开发(Studio)全可视化数据/算法开发数据开发算法开发l0编程基础大数据算法开发l算法开发整体效率提升2倍以上l一站式数据开发、测试、生产、运维环境六、数据服务总线业务用户服务发布服务申请服务授权开发与运维人员服务开发服务调用运维监控权限控制能力共享平台 服务共享中控.DataMall CSP GateAPI服务网关数据库开放服务.DataMall CSP GateAPI服务网关数据库开放服务DataMall CSP GateAPI服务网关数据库开放服务 能力共享平台：以信息目录的形式提供数据及能力展示的窗口，并提供服务检索能力；服务共享中控：提供服务开发、管理、运维、统计的能力；API服务网关：提供转发能力，具备服务路由，协议转换，服务流控，插件热加载等机制。服务生命周期管理服务开发、服务发布服务订阅、服务调用运行质量监控审计、优化提升p 对服务的全生命周期进行有效管理p 管控目标：服务标准化、服务松耦合、服务可重用、服务透明性及服务可发现p 通过对服务质量的管控，进而实现对开发商（服务提供者和服务消费者）进行量化管理服务生命周期管理解决管理难：服务全生命周期管理以用户服务的安全为首要任务，提供多种有效防护来保障用户服务的安全：以RESTful API的方式对外提供间接的数据访问服务，隐藏服务的真实地址，降低服务开放风险；提供服务访问身份鉴权机制，具有防伪造和防重放功能，防止对服务的非法访问；提供服务申请审批机制，防止未经授权的非法访问；提供服务调用限速机制，抵抗对服务的高并发冲击。解决管理难：全面的安全访问防护解决管理难：访问限速控制API服务网关限速器应用级限速服务级限速说明：服务级限速：服务创建时，对外整个服务的阈值限制 应用级限速：应用申请服务时，该服务对该应用的阈值限制4242通过API网关，可基于新式资源创建新API服务，然后使用灵活的动态数据/协议转换功能，以目标服务期望使用的协议或语言生成请求。协议转换支持常用协议服务的接入和开放（RESTFUL/WebService/HTTP/DataBase）可扩展支持定制化的协议转换，未来将直接支持更多通用协议。解决使用难：多种协议相互转换合作方应用/catalog/payment/economic能力共享平台管理开发运维安全高可靠高性能移动应用互联网应用数据库服务云服务服务共享中控部门1API Server部门1API网关1根据数据元信息自动生成API应用M部门2部门2API网关2部门NAPI Server部门NAPI网关N部门MAPI Server部门MAPI网关M 高性能保障服务质量，单节点4K QPS，支持不同用户独立设置调用速率 分布式架构，采用多实例部署方式，避免单点故障导致整个系统的不可用 水平扩展，转发能力随节点的增加呈线性增长，扩容过程无需繁琐操作，转发业务不中断 采用负载均衡组件，可以在业务高峰时自动进行业务分流，提高平台的整体性能 API自动生成功能。能够根据数据库表数据信息自动生成Rest API对外提供服务能力共享平台解决使用难：高性能、高可靠、按需扩展等单节点4K QPS量化是管理基础：用户可直观地监控API服务的调用情况，包括耗时统计、调用统计和调用记录等，提供按小时、天、月、年周期性的调用轨迹跟踪和分析，为服务优化和再开发提供数据支持。根据治理需求设计度量指标：统计接口响应超时统计接口超并发统计接口平均响应时间记录接口非授权调用明细统计应用系统访问次数统计接口被访问次数TOP10统计接口访问次数解决运维难：服务质量可度量服务运行全程监控调用次数趋势图报文大小趋势图平均相应时间趋势图解决运维难：系统容量可预测服务运维可预测：容量估算、提前扩容峰值预测、提前保障改“事后补救”为“事前预警”API服务维度指定一个或者多个API的调用情况。例如一个服务某时间段内被哪个应用调用的次数最多，可以针对应用进行SLA（服务质量）保障02健康维度通过API的延时、调用结果等健康信息查看。一个服务某个时间段内耗时较长的所有记录，可以联系调用方和服务方，让他们分析下问题的原因。服务故障探测，故障告警功能04时间维度按照指定时间段精确查看服务调用信息。如用最频繁的时段，侧面反映业务的热度，可考虑安排更多的窗口服务人员；可以查看任意时间段内的调用记录01部门维度按照调用部门或提供部门进行分析，可以对部门提供服务的数目进行排序，可提升部门贡献服务的积极性03解决运维难：多维度分析七、数据资源目录服务系统“根据客户的需求定制性开发，专门用来做数据查询服务、数据统计服务、数据比对订阅服务和数据推送服务软件功能模块”数据资源目录服务系统数据资源目录服务提供目录分类展示和资源目录检索，用户可以按照主题类目、行业类目和部门类目分类，用户可以按主题、行业及部门分类浏览数据目录或API服务目录，也可以按关键字搜索相关内容。服务总线信息资源目录数据编目注册审核发布申请变更下线统计分析数据推送服务授权共享数据查询服务信息资源检索大数据平台 八、可视化：数据资产一张图 接入大盘：全域数据高效接入 服务大盘：数据服务能力全景洞察