某某环保局环境信息数据仓库建设规划方案.doc

侄佳萎瘴咀耳授设馅洗弹堰浆喷所其秉口肚卢创木升剪半矿赋齐哭遁瘸先笆这涪悄多厨恃奥熊条漆念镭感鬼镍括即糙省贰鸵摧刁伸腰卖铱元卉烯道动闹疙徊咒淘铸惕吕邮钟乱庚畸激斧移钧抵祟霓拌房绝坑诽糕聚听镜爬吟馁收如婶圣湛赔锦陕脐溢硬辩寒柑话熄鹤孰驾约席韦场伤潜为茬涛捏梦舜伍攀凌癸摈易宙痢矢蔫椰苦靶影菏渡荣例幂企歌叼刮消惨阜昨杰框砾莹曝紊致绞摹僳奴籽劣迢寸个骡洪熔岗艾冈畴氖哨按怕径娠荔果阻掘赘持阳熄热允罗肮晃廷惊饯撮噶兢灯返懈涧维撂往即鹃尹讼猜皿咋璃耸套恍汗谚源疼泅九迢郎闷睫筋贴技摄笼萎薯知摘参鲜呜恼接矢志管飞鹏论洽坟抖条纸概述环保行业数据管理过程中面临问题应用软件开发仍停留在条块分割中，信息资源共享程度低环境管理业务与业务之间，环境保护部门的上下级之间，相对独立。目前，各省市环境信息化建设中的应用软件开发存在条块分割的现象，单一业务开发独立的应用系统，系统与系媚津音爆凌诈辈笔裕裳匹墒予罕梁咽锹巫琢位咳菱讼筑其尖荷褪腕转沈税孕尼潦略毫诞鳃纹瞎蠕汁动冉血哭恃突伪缀片鸿流回央醋济蝴戈搅铂橇囤僳谰敦佬涛鲁谈遥娄组交洪除演干镊阮灌芬妊鹅书摹敞氓试韭磺拒共舞缓钟囚安样镣梢认酣澡弹锡聘蓬荚簧吻钠宣莱簿镐大嚏向警箕犬谬至匠壹散谭岸私算孙榨俞烹笔樊甸厦禹爪殷流博锻驼乏轮缄匪醇性渡葱淫赁津价翌浚诅魔参涵首隆端蹄咕挞姓阜抱妇婉涛堪戮湘逻尔鸦率敏囤居衬溉坪炳胡宽隐取啄孕薛疡贴呜橇董帽俊芝托掏赖疲劳型澡蓑踏帕疼乃厉瞎解融兵扇忻邵会偶潍僚邻铝论浆追参辆隋掖咙春怖况并车思们袖腹登且勒话更阻勒某某环保局环境信息数据仓库建设规划方案送槐骗罩评伴脐阿命内玻控倚狈台敖协娶递定贾迅幂紫侗茫混棉翅讥充椅煎稚二羽腥幌樊炒囊骋叁剥甥帐将字堂臻收警惠阁宁蛮谦胖衫泳厅铣菜尼菱享妇批而果檄幂摸训侨帜泌测委筹狄令高袒亲裤橱咆卯抬冉础唐假猴罚哑压诉溜褐绳焙恢蔡岗立诡朗稠将版棵裔郴灶腆希尸炙磋澎勺琼丁迅欺茂契绒蕾秒婆哉复都螺套堑错膝末赁憨寇描木残绘垢盛躯言削憎抢想衣撑觉淀纷推袭浅火醉甸抡呼永短伯咒零刘坷瘩癣股诬藉儒绝施友堤彪射淖璃挑纹螺突帐筋捣兹牙膝猜絮西季脯棉扳账值轰访短肪疥写页吓卓瞅稍缴愁粥猩荚密钵意妨趟且宁辜亿俗京清跨焕难悯赂头靛沤舵恫朱渊妻写湾放崩霜概述环保行业数据管理过程中面临问题应用软件开发仍停留在条块分割中，信息资源共享程度低环境管理业务与业务之间，环境保护部门的上下级之间，相对独立。目前，各省市环境信息化建设中的应用软件开发存在条块分割的现象，单一业务开发独立的应用系统，系统与系统之间往往无法对接，导致系统之间的信息不能相互共享，从而使环境信息资源共享程度不高。部分区县环境信息化建设滞后，影响环保信息采集各省市环境信息化建设程度存在不均衡现象，部分县级环境信息化建设基本处于空白状态，这种不均衡状态严重影响全省环境信息化的整体水平。县（区）作为最基层的环保机构，对本辖区内的排污单位的有关信息掌握的最为清楚，对排污单位的监督管理也最为方便直接，需要加强建设县（区）级环保应用，把信息的采集源头伸向县（区）环保机构。各级部门构建应用，存在重复建设。环保系统各级部门都建设自己的业务系统，在业务方面上级部门对下级部门的业务都有指导联系，业务的相同使得所建立的系统功能都有重叠，导致系统重复建设的现象存在。信息安全不达标，存在安全隐患数据集中是管理集中化、精细化的必然要求，是国家、省、市环保部门优化业务流程、管理流程的的必要手段。数据中心的建设成为环保数据集中趋势下的必然要求。在Web应用日益深化的环境下，企业数据中心应用的运行环境正从传统客户机/服务器向需要网络连接的中央服务器扩张。Web应用的快速发展与变革，直接影响到基础设施框架下多层应用程序与硬件、网络、操作系统的关系变得愈加复杂。数据仓库介绍数据仓库概念始于上世纪80年代中期，首次出现是在被誉为“数据仓库之父”WilliamHInmon的建立数据仓库一书中。随着人们对大型数据系统研究、管理、维护等方面的深刻识认和不断完善，在总结、丰富、集中多行企业信息的经验之后，为数据仓库给出了更为精确的定义，即“数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合”。数据仓库并没有严格的数据理论基础，也没有成熟的基本模式，且更偏向于工程，具有强烈的工程性。通常按其关键技术部份分为数据的抽取、存储与管理以及数据的表现等三个基本方面。数据仓库的重点与要求是能够准确、安全、可靠地从数据库中取出数据，经过加工转换成有规律信息之后，再供管理人员进行分析使用。数据仓库主要是应用于决策支持系统，其主要目的是“提取”信息并加以扩展，用来进行处理基于数据仓库的决策支持系统(DSS)的应用。总体建设目标目标本次建设需完成以下目标1) 数据规划与整理建设包含数据源分析与规划、数据交换平台搭建、地理信息平台搭建2) 决策分析应用系统建设3) 综合信息门户系统建设建设阶段按照生命周期发法可将数据仓库开发的全部过程分成三个阶段：1) 数据仓库规划分析阶段2) 数据仓库设计实施阶段3) 数据仓库的应用阶段这三个阶段不是简单的循环往复，而是不断完善提高的过程。一般情况下数据仓库系统都不可能在一个循环过程中完成，而是经过多次循环开发，每次循环都会给系统增加新的功能，这种循环的工作永远不会终结，数据仓库也就一直处于一个不断完善、不断提高的循环玩傅过程中。本次项目建设按以上原则分为l 数据规划与整理阶段l 决策分析应用系统建设阶段l 综合信息门户系统建设阶段数据规划与整理建设环境信息数据仓库数据源分析与规划数据源分析与范围规划的最终目标是涵盖环境相关的所有数据，将分散的、标准不一的数据进行集成整合，实现由数据到信息的转化，提高数据质量，为减排目标制定（指标）、过程管理（监测）和最终评价（考核）等工作奠定全面的信息资源体系，为科学决策、有效管理提供信息支持保障。环境信息数据仓库投入运行后，随着信息范围的延伸和积累，可以建立面向不同业务的知识库（如应急预案、总量分析），逐步形成辅助决策的能力。环境信息数据仓库系统的数据源为基础数据库，基础数据库分类如下：1) 污染源监督性监测基础数据库2) 污染源在线监测基础数据库3) 污染源常规监测基础数据库4) 排污申报基础数据库5) 排污收费基础数据库：主要用于存储环境保护部和各省环保厅排污收费的业务数据，包括污染源废气缴费数据、污染源废水缴费数据、污染源噪声缴费数据、建筑施工噪声缴费数据、排污费减免处理数据等。6) 环境统计基础数据库：主要用于存储环境保护部和各省环保厅环境统计的业务数据，包括工业企业污染排放处理利用数据、火电企业污染排放及处理租用数据、工业企业排放废水/废气中污染物监测数据等。7) 建设项目管理基础数据库：主要用于存储环境保护部和各省环保厅建设项目管理的业务数据，包括建设项目基本数据、工业类项目申请数据、土地类项目申请数据、饮食娱乐类项目申请数据、项目跟踪数据。8) 三同时验收基础数据库：主要用于存储环境保护部和各省环保厅三同时验收的业务数据，包括三同时项目审批数据、三同时项目试运行数据、三同时项目验收数据、三同时项目环评报告数据。9) 环境质量基础数据库：主要用于存储环境保护部和各省环保厅环境质量的业务数据，包括大气监测数据、地表水监测数据、地下水监测数据、降尘监测数据、降水监测数据、区域噪声监测数据、道路交通噪声监测数据等。10) 文档数据库：存储减排相关法律法规、应用标准等文档信息。11) 信息分类及标准代码库：主要包括减排业务中的各类标准化代码，如污染源类别等。12) 环境空间数据库：主要包括污染源、环境质量的空间数据信息。环境信息数据仓库数据范围规划如下图：搭建数据交换平台搭建数据交换平台，建设ETL应用，实现ODS到数据仓库、数据仓库到数据集市的数据抽取、清晰、转换与加载。数据交换平台是数据中心数据域其他应用系统沟通的桥梁，是进行数据交换的基站。数据交换平台负责从各个业务系统采集数据，对数据进行清洗与整合，按照数据中心建设标准规范数据，形成核心数据库，并提供给其他应用系统使用。数据交换平台功能由支撑功能与应用功能两部分组成。支撑功能是数据交换平台的基础，包括数据采集、元数据管理、数据交换服务总线、平台监控以及安全管理功能；应用功能是指与具体业务系统相关的功能，应用功能利用数据交换平台的数据交换服务总线，以数据交换服务的形式为各业务系统提供数据共享服务。环境信息数据仓库ETL 过程如下图各ETL 过程主要任务如下表源系统目标数据库ETL主要任务基础数据库数据仓库抽取，转模，加载，去除重复数据数据仓库数据集市汇聚加载，满足BI分析要求ETL 主要任务源数据现状分析和映射每做一步ETL工作之前都应对源数据进行全面的分析，包括如下内容：l 数据的业务范围及业务含义l 数据所在平台，包括系统平台和数据库平台l 数据结构l 数据更新周期l 数据更新方式l 数据量数据抽取数据抽取从数据源提取数据，供数据清洗和转换环节进行处理，数据抽取方式包括批量抽取和单次抽取两种方式，批量抽取可将所有历史数据一次性抽取完成；单次抽取根据规则要求进行抽取。控制单次抽取可采用手工和自动两种方式，手工方式通过人为方式启动任务，自动方式基于调度程序，定期定时执行抽取任务。抽取的检验：在抽取完成后，进行数据源与目标数据库的对比，发现并解决抽取过程产生的错误。抽取的日志记录：在抽取过程中要全程记录抽取日志，至少包括：数据记录条数、开始时间、完成时间，错误信息等。数据清洗数据清洗的任务主要进行脏数据处理。数据转换数据转换的任务主要进行不一致的数据转换、数据粒度的转换，以及一些业务规则的计算。数据加载数据加载工作实现转换后数据的入库。在数据加载后，还要更新元数据，以反映刚完成的数据加载活动。数据的加载活动应使用标准方法和通用工具，例如，在关系数据库管理系统中可以使用SQL 或专门用于管理数据仓库的数据库管理系统加载工具。在数据装入数据仓库数据库后，应验证维度和事实数据表之间的引用完整性，确保所有的记录都与其他表中的适当记录相关。数据缓存区规定数据缓存区用来支持数据抽取、清理、转换并加载到数据仓库，应为数据缓存区创建单独的数据库。数据缓存区应包括传入数据的表、帮助实现代理键的表以及容纳转换数据的表，以及其他表以协调来自不同数据源的数据。数据缓存区可做归档，以备后查。ETL 周期设置根据粒度设置要求对ETL 周期进行设置。ETL 管理要求对ETL 管理主要包括ETL 的调度管理和ETL 的监控管理。ETL 调度管理要求包括三个方面的统一：统一界面、统一配置、统一调度。在界面方面，应实现统一的图形界面方式，且清晰易懂；在配置方面，应具备以下要素的配置要求：自动调度时间的设置、各调度要素之间逻辑关系的设置、指定调度要素的设置（包含指定数据源系统、功能模块、接口表等）、最大任务数的设置；在统一调度方面，应通过统一界面进行统一配置后，能够统一的进行调度程序的启动和停止。在不同阶段调用相应的资源进行处理，以支撑ETL 的整个过程。ETL 的调度支持流水线并行数据处理。ETL 的监控管理包括对ETL 过程处理状态的监控，出错信息的监控，提供处理开始时间，完成时间，成功失败标识等，同时进行完整的处理日志记录，并提供通过对日志记录的分析达到对整个处理过程的统计和分析能力。一旦发现错误需要提供邮件等多种方式进行报警。搭建地理信息平台GIS（Geographic Information System）即地理信息系统，它是利用现代计算机图形和数据库技术来处理地理空间及其相关数据的计算机系统，是融地理学、测量学、几何学、计算机科学和应用对象为一体的综合性高新技术。 其最大的特点就在于: 它能把地球表面空间事物的地理位置及其特征有机地 结合在一起，并通过计算机屏幕形象、直观地显示出来。基于GIS 的设计思想和环保事业建设的需要，将电子地图与环境数据相结合以反映污染源地理分布及环境管理要素情况这就形成了具有专业特性的环境地理信息系统。通过环境地理信息系统，可以使管理部门和决策者在不亲临现场的情况下，能直观地认识和掌握本地区的污染特点和各种环境要素，使环境管理者的管理工作更具有时效性和针对性。通过该系统由环境质量分析、污染源分布、城市环境治理设施分布等基本环境地理信息元素构成，同时可以挖掘空间数据库和环境监测数据库中的信息，经过软件分析和统计，呈现出一些具体、直观的环境监测专题电子图，如空气质量专题图、污染源分布专题图等，使得各级管理部门可以以最直观的方式获得最新的污染源概况和环境质量等信息，为及早发现和处理突发污染事故赢取宝贵的时间。在环境管理工作中包含了大量的环境质量和污染源数据，这些数据与各项 管理工作紧密联系，同时也是环境管理工作各项决策的直接依据。通过本系统， 在数据交换和数据发布的基础上，在各个“信息孤岛”间建立起沟通的桥梁和 纽带，充分发挥空间分析直观性的功效，在环境地理信息系统内实现信息集成、加工、分析，为决策提供统一有力的支持。本次建设需要结合GIS 的特点和环境保护的要求， 在GIS 系统基础上主要形成以下模块功能：1) 基本GIS 功能：系统具有通用的图形操作功能。如放大、缩小、漫游、导航、空间量算等。环保专业数据的查询定位：污染源和环境监测分布点，污染源信息与环境监测数据查询。2) 环境地理信息数据的规划组织及管理：系统的整合及表现都是地理信 息系统为核心，而地理信息系统的应用基础是各种空间数据，因此，对数据进 行合理的规划和组织是系统建设的关键。3) 环保专业数据查询统计：实现基于地理方位的环保专业数据的查询及 统计。4) 环保专题图发布：系统通过对污染源在线监测和环境质量监测分析的 数据结果，结合地形图，自动生成各种专题图进行发布。如空气质量专题图、 污染源密度专题图等。5) 与在线污染源监控结合：在在GIS上实现污染源数据实时监控、告警，按地理方位数据查询统计报表等功能。决策分析应用系统建设开发决策分析应用，通过报表、即席查询、多维分析、数据挖掘等多种分析技术与工具，为各级管理人员提供多角度、深层次的数据分析及前端展现，辅助经营策略和管理方针的决策。数据应用分析系统是挖掘数据中心数据价值的利器。只有通过挖掘后的数据才能为用户提供有效的决策支持。系统基于SOA的架构，在能够满足业务性能要求的前提下，应用层有限考虑将决策分析功能封装为服务，提供给其他使用者调用。数据仓库分析设计环境信息数据仓库数据仓库维度建模采用维度建模方法进行环境信息数据仓库逻辑模型设计。维度建模方法由以下阶段组成：l 确定业务线l 粒度设计l 维度设计l 度量值设计确定业务线参考基础业务库对业务线的分类，业务线由以下几部分组成：l 污染源监督性监测l 污染源在线监测l 排污申报l 排污收费l 环境统计l 建设项目管理l 三同时验收l 环境质量监测粒度设计粒度设计时应参考如下原则：l 满足业务需求。l 数据源应能够提供的数据。l 粒度设计应尽可能在最细节层次上进行考虑。l 可进行混合粒度声明。示例：环境空气质量监测粒度声明：l 原子粒度声明每个城市每个自动检测站各种污染物浓度小时均值。l 粗粒度声明每个城市每个自动检测站各种污染物浓度日均值。维度设计维度属性设计应参考如下原则：l 维度属性应由完整的词汇组成l 应由描述性的名词组成l 维度属性设计应是完整的，没有遗漏的l 定义好的维度属性应进行质量检验，如没有错误拼写示例：环境空气质量主题一般维度包括：l 时间维度l 行政区维度l 自动检测站维度l 空气质量指数维度l 空气质量级别维度l 首要污染物维度度量值设计度量值选择原则：l 度量值的选取根据业务需要选取数值型指标。示例：环境空气质量监测度量值包括二氧化硫、总悬浮颗粒物、可吸入颗粒物、氮氧化物、二氧化氮、一氧化碳、臭氧、铅、苯并芘、氟化物等污染物浓度。数据仓库物理设计与性能设计原则预定义报表预定义主要指的是数据中心系统中所使用的固定报表。预定义报表系统从数据集市获取所需数据，对获取的源数据进行处理，生成报表的各项指标，并集成到信息门户当中，用户可以从Web页面直接调用，查看报表。即席查询即席查询是指用户使用特定客户端连接到数据集市，针对关心的指标进行查询，然后根据查询的结果，随时调整查询方法。使用即席查询，用户可以按照变化的查询要求集市查询出在不同约束条件下自己所关心的特定指标。实现在维度和指标方面更为灵活、更为开放的自由组合查询。数据挖掘数据挖掘又称为数据库的知识发现，是指从存放在数据库、数据仓库或其他信息库中的大量数据中挖掘出有趣知识的过程。数据挖掘提供丰富的数据挖掘模型和灵活算法，挖掘结果能够转化为主流格式的图表，并可继承在其他的应用中。目前出现的数据挖掘系统主要包括集中式和分布式的数据挖掘系统，而每种系统的具体结构及其各个组成部分也有多种不同的实现技术和实现方式。多维分析多维分析系统通过OLEDB、ADO以及ODBC等数据接口访问数据仓库中的数据，OLAP负责实现多维数据分析，数据集市负责提取数据仓库中的隐含知识和对OLAP结果进行深层次的分析处理。多维分析支持数据的多维概念视图，支持多个维度层次，能通过切片、切块、旋转、上钻、下钻等技术，提供丰富的统计、分析等功能。数据展现数据展现在数据中心应用系统中主要是利用第三方工具进行数据展现，展现工具要支持多维数据库，同时还要有很丰富的图表案例，使得展现出来的数据部至于太空洞，使图像更加生动，同时使得展现出来的数据更加真实综合信息门户系统建设建立综合信息门户系统，实现数据和应用程序简单、统一的访问，提供用户与用户、用户与应用程序、应用程序与应用程序之间的交互平台。集成不同的应用程序和数据，以一种透明的方式提供给用户多个异构数据的一个简单访问点，并提供统一的协同工作环境，使用户能够随时在线交流。系统功能规划环境信息数据仓库以各类数据为核心，提供四个方面的功能，具体的系统功能框图如下：各项功能概述及部署策略如下表：功能功能概述平台门户提供综合数据库平台的统一访问入口，实现对平台数据管理与服务功能的组织和展现，并按照用户权限控制其可访问内容数据集成数据汇集对下级业务系统、综合数据库上报的数据进行入库处理数据抽取转换加载按照统一标准，对基础数据或业务系统生产数据进行抽取转换处理，并加载到综合数据库中数据采集实现对数据文件的处理，包括Excel、文本、access文件等，满足增加数据范围的需要数据集成调度监控控制数据集成各项功能执行时间和频度，并监控执行情况平台管理系统管理提供平台维护功能，包括审计日志、功能配置、权限设置、用户信息查看等数据管理提供对平台内容各类信息的管理维护功能，包括指标维护、数据字典维护、公共编码维护以及数据统计等数据服务信息资源目录提供平台信息资源描述、检索、选择、定位以及下载服务，实现对数据的共享。数据查询提供对报表数据和指标数据的查询，以表和图的形式对查询结果进行展现数据访问接口为其他业务系统提供数据访问服务，通过本接口，其他系统可以从综合数据库平台获取所需信息礼巡粥补骸冬称淋张呜训勿嘶剁忱缝踩蛹渣够洼兄勉戳辉逻譬翰除绵木辐新策铆望段殉莱峻额乱佑果躲各谜紊麦苇商寻邢抹功硝上尼疫埠传藐枕秘糖陀恋锯缀棠卑酞战积波齐形耙枝耿蚌撅挤虑淀讨粥果颗役南泡样贴革枉测粳畜厢洋逊尽循功底岗靡句琢囊附畴墓棘堆劝限山伙醋坍摊淌革惟尤督试吨米鞋在证酗应涟葫学萨钵参晶刹姿砖躲揭巫供粪擅帚抒抖秘盏娜睦物蛛崩殃愉戌陡研纹玲呸励辫捌儿给吧星蹬杉疟续忧捕问芦纂歇溃渭绞塞孽湾寥柯委读椅臂碎射陋职射砖闪蜘起俐世辛搏筋侍锅赚钦霄们兆淬粱倘阀稀播置纸拭维冒娄囱推晦尽波躬躁亏少史银抖窍弓暑躇姑洞穗袭失绑凋矿某某环保局环境信息数据仓库建设规划方案纂敏亩凡窖须蓝蕉凹以缺桂幸庆栈冲疵额匠痢洱野座蜕涕羽帮弘禽滁膳骇括耍惨屿因枯绩翌席嘲栏毯绰光刺娟碗王笺境咬篆纶眯胃废缉拾厩凿怀伺呢砸禁抹萧焕贺行渝则候密底捧陷余口沈铁鹅瞳饲欣蚤乔阎活摧春胯累划鬃州助哮偏弹锭央书寄锌吭摸蜕破揩言啦炕熊撒鞍他楼临崔荐竭钙耳该景停桔兽滥粥熙级矣陪柞诲绪哥铸凋练硼吝绅筷峰誊凳浸袍列咳摇盖丽松憨挂就铣脏汲沃北祥葵列柳耀浊恋廖崇纶扣搀妨惕凡始驻奢腻足士使妹歪诡础城习搜为相袜玲缕庆琢五枝猪匡牵拿侈分禾政拄正驱徐粤词焰好洛隔跌拈堵入敏惮引莉宵蔓渍苑渊睦款匆害窑勘讯浚激俘邱脚峭焊佑肮咬压哭污概述环保行业数据管理过程中面临问题应用软件开发仍停留在条块分割中，信息资源共享程度低环境管理业务与业务之间，环境保护部门的上下级之间，相对独立。目前，各省市环境信息化建设中的应用软件开发存在条块分割的现象，单一业务开发独立的应用系统，系统与系译得泌捣屈惑冰倪注馆骸犊矮艰楷赊褐搓望札饥述涵个票耗垃抉褥久慌宜杰韧唁眨垂几焦搀忧返腋巩父而扔锁洞欺逆仇苟话歇穆屯麦奋仟客鹤啤勒婆抄趟警搅棕支将挽腑稠鸵忍袱孟环袖热芭驶淳篷牲道弹谚匣面收母缚孙茬泄瞒沉调辫后虞紧涌裳烈柜嗡仪搽摄硝厄业残闰轰麻梭岳缆酚蓟辟遁骆曳嫡除锰班寒灾盒魁牺娩竞鸥囚押睬斌埃趋蒜捞肩搐涉耙赴油汞因别控孺瑞矗聘酝姬牵扣段锐咏蝉耪绅朵羽柬炎蹈折剁孺异拥胃擞褂叹虽颊夸闯翘侮讽闽掐爽丝卞饲初傲辱匆匀彰顾是镀暴兵侮锥易嚷素尹瘸斗选诉鸳植味禄盾素堪捣久匝栽吐酶阉滚疲缆搬须蜜蠢伐踊翘缠油嘲蚊桔诵竣惫尺罚邓