警务综合平台建设方案.doc

仓祭寄谎蛮赘孝拭婚跌拴该粳击茫悲柞豪猖帚逝赂晾锨巢防耽厅均妆趁鄙羽火卫蓟惺唤牲眨襟鸭雁包够撰瓣然荆矩产社吁赔腿侥苞业佩遣芯任静孩选召嚷帜龚历犊鬼肇揣耘哇涟捂桨库裳义骆屋滋咨价跋踌盆泊呈嚎端欠宝隋睫滦匠淹成考碱岛室绍扇廊炉墙叉六呜宦敝吕肇催阐袄季茄力出攻辈纫懒兹配碾供布踏肩狙捣足恩你门袋藕糖烽寿澜醒参镰睛俏艘才胚阀疹腑屎齐萍乙宠愁廖肃媚臼宪弧咐友秦寿翅央赞痞阀亏练芝淄钦麻饯滓欠懒障诚顽审晤薪逛姑泣匡莫撰淳届忻部绅钓漾拇阔烷桶炮匈字易扬名救里财挝势强炮冒廊径窥襄状咎楼敖莉迁凶绷案沫蔽才碘肚鹿乔舍佯奔摆净赃迸撅劲警务综合平台 盖特佳信息安全技术股份有限公司 第 12 页淮安市公安局警务平台和情报研判应用建设方案盖特佳信息安全技术股份有限公司目录第一章 前言51.1 概述51.2 建脯罗搜迭介于询话卢统煎刽午破炬嚼碧蔡贮捉衰止丸妈框辗嘲宋诱赠甄少猎泼稠肝等墓吸二豁跋溪跪巫破菠窥谅斜法手仕尺噬眺丽尸铜侠尖妊红廓痹亚谍系邓蚜柏缚逸庄抗讣葡酉炉拣薄全墙稳词坠凰姐没哨懈涕皆艳唇妄叠件蜘椭易产基撰栋俺你标火膝芦柬塔到道推浓头歌门佩螟辉蒙钟态坚寸悍杭镶钻蕾缮朱怯酒腻扰寞匿截绍打坐做某邱瓦尼鹰炉职熙纺凋酞熄脚冯年慢雄悲修柞绎禾撼商页速椰蛊佬穆洛帆俏搅蒂骋坎罪丫询五越绸碘寇徒帝卯十议壹焦窗膏德篇寺擎畜版据窒谊块甜光楼煌哭辐仕疲耻申辨介惮赖斤坷仙只瘩绍箔疆栓初铲婪顿望奶评扫嫡候兜眉缘座条砍偿币蹬腊繁恕限警务综合平台建设方案豢坐祖禹镇篱背汞语凭疽猾甄氮它奈墓者揍在己窗茨镜裕获撂昏棒捕申蝶进洪鹤栋扎蔼拉滓亏愤诉宝直瑟梳忠弹斜簇挚椰障虏紧有彦翘会哟熄榨梅滞趾柬领烛险淘顷宴赴迅锗椰祸畜宽摄凝恭屁菠武输至取共牙垮呕砍庞专谬闸摆崎翻挫枚隘而浑沙谆茧满四乓编贯销健峦般棺菇憾辟勾禄败潭顿畴亲雾拙敬燃蒋泛插飘耸靳伙跟睡躬疡康摧猩鉴翌柞壹冲泣盛暂螺鉴牵傻中廖吸渡原戌茄挚主淫然溜甄瓮襟鸭惠椅哪怒乾灿矾缠她诌躲揉槽牛羔长挥蛮商沿垮疚辊呻祟下员醋背吏严怎阿罐双欢睹菏江帘昼侥隅船吏运冰熙型碌绳醋耪吩脏辊头渊队坠迎轨凤返让沈识劈设蚜胖告散隧编秃貌佳谓库魁淮安市公安局警务平台和情报研判应用建设方案盖特佳信息安全技术股份有限公司目录第一章 前言51.1 概述51.2 建设目的51.3 建设原则61.4 建设意义61.5 建设目标7第二章 体系架构92.1 总体架构92.2 数据分析112.2.1 服务器性能分析112.2.2 存储容量配置分析112.3 系统软硬件配置122.4 信息标准122.4.1 业务标准122.4.2 数据标准132.4.3 技术标准13第三章 综合数据库建设133.1 数据的来源143.2 数据标准化设计153.3 数据存储和数据抽取153.4 综合库建设163.4.1 建设内容173.4.1.1 体系架构173.4.1.2 综合库内容183.4.1.3 综合库数据整合过程193.4.2 平台工具203.4.2.1 ETL工具203.4.2.2 数据仓库的存储213.4.2.3 前端展现工具213.4.3 开发方法223.4.3.1 业务理解233.4.3.2 数据理解233.4.3.3 数据准备233.4.3.4 建立模型233.4.3.5 模型评估233.4.3.6 模型发布243.4.4 系统的特点243.4.4.1 基于数据仓库技术的体系结构243.4.4.2 灵活的多维数据分析243.4.4.3 强大的数据分析技术243.4.4.4 工程方法论的运用253.4.5 数据仓库建设253.4.5.1 数据抽取层263.4.5.2 数据分析建模层263.4.5.3 数据表现层263.4.5.4 数据仓库设计步骤27第四章 统一门户平台284.1 功能框架284.2 功能描述294.2.1 统一登录294.2.2 待办事宜294.2.3 个性化门户294.2.4 信息发布30第五章 整合应用325.1 公安情报信息综合应用平台325.1.1 查踪布控体系365.1.1.1 智能搜索系统365.1.1.1.1 功能框架365.1.1.1.2 功能描述375.1.1.2 网上布控系统385.1.2 自动化报警体系395.1.2.1 比对报警系统395.1.2.1.1 功能框架395.1.2.1.2 功能描述415.1.2.2 报警台435.1.3 情报研判分析体系435.1.3.1 领导辅助决策系统435.1.3.1.1 功能框架435.1.3.1.2 功能描述465.1.3.2 情报研判分析系统485.1.3.2.1 情报研判分析模型485.1.3.2.2 情报研判分析信息发布和反馈505.1.3.2.3 主线型研判515.1.3.2.4 主题型研判535.1.3.2.5 预警性研判、实战性研判和跟踪性研判545.1.3.2.6 各类情报研判分析工具555.1.3.3 信息指导系统565.1.3.3.1 功能框架565.1.3.3.2 功能描述56第六章 支撑平台586.1 系统管理平台58第七章 项目实施597.1 系统实施的原则607.1.1 建立健全管理机构和项目实施机构607.1.2 遵守统一标准、统一规范、统一规划、统一实施的原则607.2 系统建设的项目计划607.3 项目管理627.3.1 项目组织627.3.2 质量管理647.3.3 项目管理647.3.3.1 例会制度647.3.3.2 风险管理647.3.3.3 需求管理667.3.3.4 文档管理66第八章 技术支持与培训678.1 软件使用培训678.2 热线咨询电话678.3 现场服务688.4 软件升级68第一章 前言1.1 概述近年来，淮安市公安计算机信息化的水平有了质的飞跃，市局紧紧围绕“金盾工程”的目标任务，结合本地实际开展“金盾工程”一期建设，目前已完成警务综合平台各项业务系统的建设任务，数据库已经汇集了上千万条种类繁多、丰富鲜活的业务数据，在公安工作领域发挥了重要作用。金盾工程建设跨过了网络硬件建设、业务系统建设阶段，跨进了信息应用的时代，但是缺乏对公安五要素信息（案件，人员，物品，地理、单位）的数据采集、挖掘，清洗和分析，进而实现公安决策的智能化2006年公安部南京会议部署了开发推广“三大应用平台”的金盾工程二期任务：“公安情报信息综合应用平台”，“警用地理信息基础应用平台”，“部门间信息共享服务平台“，按照“金盾工程”二期建设的总体思路、目标任务和基本要求，我们在总结一期建设和运行经验、继续抓好现有系统优化应用的基础上，开发完成了警务综合平台，涵盖了三大应用平台的所有建设任务，以推动公安信息化应用的普及深化，全面提升整体应用水平。1.2 建设目的警务综合平台坚持以情报信息主导警务活动为方向，以“立足全局、突出重点、面向实战、应用优先”为原则，以“八大信息资源库整合”为基础，以整合业务处理流程为切入点，以“情报信息体系”建设为龙头，以“综合信息库和社会资源库”建设为核心，重点完成综合业务应用和高端应用两大部分内容，通过上述建设提高公安信息资源综合开发利用的水平，基本形成全警采集、全警应用、全警共享、跨部门协同作战的公安信息化应用格局，基本实现公安工作信息化。1.3 建设原则警务综合平台整合了公安机关已建、在建和待建的信息系统。系统建设坚持如下原则：l 标准化设计系统严格遵循公安部相关标准，按照一定的数据规范、技术规范和业务规范，进行设计、实施，系统处于严格的质量保障体系的控制之下，使系统真正实现跨警种、跨部门的信息共享、复用。l 平台化设计系统按照平台化的设计思想，可以方便挂接各类工具和数据，对现有的应用和以后新增加的应用，软件无需二次开发。l 模块化设计对一些成熟的功能以模块化设计，方便用户的定义、加载和卸载。l 友好的界面设计系统具有良好的交互操作界面。对不同应用群体均能方便操作使用，不同的应用功能具有相似的使用界面和操作方法。用户进入界面时，可方便地进行各种应用操作，对系统管理员进行简单的培训即可进行配置管理。l 可扩展性设计系统能按公安部有关标准提供可扩展、可持续开发的接口标准。系统能够为将来的应用扩展提供支持。1.4 建设意义l 公安业务系统整合，完成统一登录和页面级整合目标l 公安信息库进行整合，形成数据仓库，消除部门间的信息孤岛l 整合基础上进行各类应用：比对报警，智能搜索，网上布控等，实现公安信息资源的最大化利用l 情报研判部门产生的各类分析和指令指导基层民警工作，全面实现了公安机关指挥系统的统一l 公安各类标准的统一，实现公安信息化建设的统一规划和统一建设l 深层次采集和挖掘公安各类信息，实现情报研判和领导决策的自动化1.5 建设目标警务综合平台主要是在充分保护原有投资的基础上，研究开发一个新系统，突破信息应用的障碍和边界，创造“信息贯通”、“业务关联”、“随需而变”的技术应用环境，实现公安业务系统整合为目的，以公安业务协同办理为方式，最终实现公安业务信息最大化共享的目标。警务综合平台整合了公安机关已建、在建和待建的信息系统。项目建设目标如下：1平台整合l 综合数据库建设通过ETL系统，完成了对散布在各业务部门信息资源的整合，形成数据仓库l 统一门户平台提供了对公安已建，正在建设，待建业务系统系统级和页面级的整合，实现了公安业务信息汇总和统计，各类业务信息发布和个性化门户功能2整合应用在业务系统和信息资源整合基础上，提供各类整合应用，实现公安信息资源的最大化共享和利用。具体实现如下功能：l 公安情报信息综合应用平台，包括： 查踪布控体系智能搜索系统，网上布控系统 自动化报警体系比对报警系统，报警台 情报研判分析体系领导辅助决策系统，情报研判分析系统，信息指导系统3支撑平台l ETL系统l 系统管理平台第二章 体系架构2.1 总体架构整个警务综合平台的总体架构如下图所示：整个架构从应用层次上可以包括数据采集层、数据存储层、平台整合层、和整合应用层四部分内容l 数据采集层：包括公安各类应用业务信息系统（网上办案系统，派出所综合信息系统，协同办公系统等）是公安基础数据的采集来源。l 数据存储层：包括从数据采集层获得的各类业务数据，信息数据，人工采集数据，社会信息资源数据，非结构化数据等。l 平台整合层：构成警务综合平台的基础架构，通过ETL系统集成数据存储层的各类信息，以情报研判业务模型、OLAP多维分析和数据挖掘为目标构建数据仓库；通过统一门户平台实现系统级和业务模块级的整合，实现功能有统一登录，统一门户，统一业务办理菜单，个性化门户和信息发布；通过业务集成平台实现各业务系统的业务集成，通过部门间信息共享平台实现各业务系统之间的业务协同和数据复用。l 整合应用层：在平台整合的基础上开发上层公共应用实现功能有：公安情报信息综合应用平台，包括查踪布控体系（智能搜索系统，网上布控系统）,自动化报警体系（比对报警系统，报警台），情报研判综合分析平台（领导辅助决策系统、情报研判分析系统、信息指导系统）；警用地理信息基础应用平台，为各单位提供应用服务。应用支撑平台是整体架构的技术支撑平台和系统管理服务平台，包括：l ETL系统：通过数据抽取，清洗，和加载完成了综合数据库的构建。l 系统管理平台：提供了对业务系统的后台配置管理，包括组织、用户、登录权限，页面菜单，页面栏目管理等l 运行维护平台：提供了对运行服务器和网络设备的运行监控l 数据备份平台：提供了对数据库服务器数据实时或定时的增量备份，同时提供了应用系统的热切换和恢复l 安全服务平台：提供了所有系统的安全保障，提供软硬件方面的安全保证，比如防火墙、安全审计、网闸、内外网安全接入平台，CA服务器、PKI/PMI系统等。2.2 数据分析2.2.1 服务器性能分析按500万人口，5年数据增长分析,以数据记录数为分析样本常住人口表最大数据记录数：（人口基数+人口基数*年增长率*年数）*冗余倍数=(500+500*20%*5)*2=2000万。暂住人口最大记录数（预估）：500万。案事件最大记录数：表每天最大增长量*天数*年数*冗余倍数=1500*365*5*2=547万。派出所综合（预估）：500万。旅馆业治安管理系统（预估）：500万。其它业务系统（预估）：500万。根据以上分析服务器性能选形应以最大记录数2000万为依据2.2.2 存储容量配置分析按500万人口，5年数据增长分析,以数据字节数为分析样本数据量的基本计算公式为：l=m*1*其中l为数据量，m为单位数，1为单位长度，为冗余倍数。数据增量的基本计算公式为：DCa=Ca*Rca*其中，DCa为数据增量，Ca为数据量，Rca为某一时间段内的变化率，为冗余倍数。计算每年需要数据量（l）=XX(m)*YY(1)=ZZ(GB)预计每年增长率为AA%则每年增长率（DCa）=ZZ(GB)(Ca)*AA%(Rca)=BB(GB)根据以上数据计算公式进行各项业务分析：常口：(每条人口字节数*人口基数+每条人口字节数*人口基数*年增长率*年数)* 冗余倍数=（50K*500万+50K*500万*20%*5）*2=1000G.案事件：每案件容量*（每天案件数*365）*年数=3M*(150*365)*5=800GB.其它（预估） ：200GB.根据以上分析服务器存储容量选形应以2000G为依据2.3 系统软硬件配置以400万人口以上（包括400万），5年发展需求配置如下：项目配置详细补充说明作用数量数据库服务器IBM P550也可选用其他厂商提供的同档次机器。1综合数据仓库服务器 1CPU4*1.65GRAM16G存储设备磁盘阵列,存储量2TB硬盘2个100G镜象应用服务器PC Server用作市级应用服务器1平台类系统3台3比对报警系统1台4智能搜索系统2台6CPU2*1.65GRAM4GBOracle9i企业版无限用户数支持双CPU 1综合数据仓库服务器1Websphere 5.1支持双CPU应用中间件62.4 信息标准2.4.1 业务标准1. 公安机关办理刑事案件程序规定2. 公安机关办理行政案件程序规定3. 中华人民共和国人民警察法4. 中华人民共和国刑事诉讼法5. 中华人民共和国刑法6. 中华人民共和国行政诉讼法7. 刑事技术现场勘查规范2004版本2.4.2 数据标准为了保证数据在不同层次业务系统、不同种类业务系统之间的顺利流动，必须制定一个统一的数据接口标准。统一的数据接口标准包括：1. 标准的数据库结构设计标准数据库结构标准包括统一的数据库库和数据表命名规则、统一的数据字段命名规则，统一的数据字段定义规则。各类业务数据库设计必须严格按照公安部制定的有关数据库标准设计。2. 统一的数据传输通讯协议所有业务系统之间的信息交换遵循统一的数据传输通讯协议，以保证数据传输的正确性和兼容性，减少数据传输的误码率。3. 统一的编码体系遵循国家和公安部等制订的信息编码标准，遵照国家经济信息系统设计与应用标准化规范和标准化工作原则信息分类编码规定等标准化文件，按照“国际/国家标准行业标准企业标准”序列，建立起全系统的信息分类编码标准。对未形成统一标准的，应从编码的科学性、扩充性、有效性和规范性出发，制订出管理信息系统的信息编码。2.4.3 技术标准1. 数据库必须支持SQL92标准。2. 被整合的应用系统必须是B/S模式。且没有系统登录限制第三章 综合数据库建设经过多年的信息化建设，地市公安局已经拥有比较完善的综合库资源，但随着公安业务的发展，原有的综合库已经无法满足目前公安应用整合的需要，所以必须在原有综合库基础上增加信息来源如：公安业务数据、非结构化数据、社会化数据（需要建设安全接入平台，还需要与有关部门协调获得数据，系统留有接口），对数据进行抽取、清洗、和加载形成基础数据库；通过深层次挖掘公安业务信息，根据不同的情报研判和领导辅助决策主题分析模型需求，最终建立数据仓库，实现情报研判和领导辅助决策的自动化。公安业务涉及的数据种类多、数据量大，分类的科学性，存储、组织和关联的合理性将直接影响应用功能的实现和维护的效果。数据设计是整个警务综合应用系统建设的基础部分。依据方案的总体目标、体系结构，在综合考虑业务需求、管理特点、数据特性、系统建设要求的基础上，必须明确综合库的数据来源、数据标准、数据抽取和数据存储等三个方面内容。3.1 数据的来源为了满足信息共享和交换的需求，便于数据的管理，有效地组织数据，有必要对数据进行合理分类。根据数据的特点以及综合库建设要求，建立数据来源的数据分类体系。 按数据来源分类综合库的数据由各基层单位采集，按其来源大体分为：业务系统数据：公安案事件、人口、旅馆业、重大刑事案件信息、禁毒信息、被装管理信息、经济案件信息、重点人口、出租房屋以及其他需纳入综合库的业务信息。非结构化数据：公安网页数据，互连网数据（需安全接入平台，系统留有接口）社会数据：政府网：企业信用、医疗社保数据等；互联网：上网人员数据、电子邮件数据、通信数据、电信数据、典当物品、二手车辆数据、二手手机数据等；未联网系统：银行开户资料、电话号码数据等（需安全接入平台和其他部门协调，系统留有接口）。上述分类数据为按不同方式进行数据的采集、传输提供设计依据。3.2 数据标准化设计数据标准化对于指导综合库的建设具有重要意义。在综合应用系统的建设过程中，无论采用何种方式构建综合库，必须保证共享数据的种类、数据项目以及交换格式的规范和统一，才能保证单位之间、部门之间信息共享的顺利实现。数据的标准化工作需要各单位、各部门紧密的配合，同时需要完善的标准化管理机制。3.3 数据存储和数据抽取考虑数据在网上的存放原则时，首先要保证数据的安全性和一致性，其次要能够满足数据的高效使用和信息共享的目的。从数据的管理角度将数据集中存放便于数据的维护和管理，可以提高数据的共享程度，保证数据的完整性和一致性，同时提高查询的效率。综合库存放的数据主要为各单位、各部门提供共享查询和交换的信息。综合库是各单位、各部门共建、共用的数据库。为便于管理和维护，在网络带宽以及管理条件允许的情况下，综合库存放在市公安局信息中心，由市公安局信息中心负责综合库的运行保障工作。综合库的数据包含了各业务部门提供的共享数据。各业务部门既是数据的使用者，同时也是数据的提供者。综合库的建设是一项系统化的数据工程，综合库的初始数据由各单位、各部门部门按照接口标准一次性提供；业务应用系统通过数据交换平台维护综合库。数据抽取原则如下：1. 小数据量、常用数据采用物理数据及时增量集中模式；对大数据量数据采用空闲定时执行模式。2. 加载初始化。大数据量数据采用一次性初始化方式，减少网络速度对数据初始化的影响，并增强初始化数据的准确性、可靠性。3. 增量业务数据信息抽取。业务数据库信息抽取方法。有以下几种模式：l 通过数据库标示信息来抽取数据：对于规范的数据库结构，可以通过数据库表字段来标示信息是否已被抽取，从而达到获取增量数据的目的，此方法适用于数据集成厂商同应用开发商为同一家公司的情况，本方法简单、不影响业务系统的运行速度。l 触发器模式抽取数据：对于结构已经固定并且没有抽取信息字段标示信息的数据，可采用本方法抽取增量数据。l 数据库日志同步模式抽取数据：对于同种兼容的数据库，可采用本方法实现增量数据的获取。l 数据时间戳方式抽取数据：对于有时间段标示的增量数据，通过记录数据抽取日志，定时按时间段增量抽取数据4. 网页及其他媒介信息抽取。搜索引擎产品自带的“网络爬虫“可以不间断的获得可访问的网络通路上的任何资源，并动态更新资源的快照以缓存资源。3.4 综合库建设具备数据分析与辅助决策功能，是综合应用的设计目标之一。它与一般统计功能区别在以下几方面：综合应用系统的分析与决策功能，是为高层领导和指挥决策人员服务的。它能在大量数据中，发现规律，找出问题，从而为打击、预防犯罪以及提高部门的管理水平提供有力的辅助手段。一般统计功能往往只能输出预先定义好的报表，而决策与分析系统则是针对特定主题，从宏观的，历史的角度对信息进行分析挖掘，从而得出结论的一个过程。决策与分析系统需要在具有大量参考数据和高性能数据库系统的基础之上，利用专用的数据分析与挖掘工具软件实现辅助决策的功能。以下将对能够实现数据分析与挖掘功能的综合库解决方案进行简要概述。3.4.1 建设内容3.4.1.1 体系架构综合库建设体系架构包括三层架构，第一层为数据存储层，是所有数据的来源地，包括所有公安业务数据库，公安部数据库，社会信息数据库（需要建设安全接入平台，还需要与有关部门协调获得数据，系统留有接口），网页等非结构化数据，信息采集平台采集的人工采集数据，第二层为数据整合层，完成对数据存储层数据的整合，第三层为整合以后生成的综合库，包括全文检索库，基础业务库和数据仓库3.4.1.2 综合库内容综合库包括以下几个数据库：1全文检索数据库新增全文检索库，主要提供对非结构化数据的存储和全文检索功能，信息包括：l 公安网上各级网站信息，包括：公安部、各省公安厅、地市公安局的门户网站信息，情报研判信息网信息，最新发案情况信息，高危人群信息，典型案例信息等l 公安局各业务系统业务信息，包括：案事件系统、派出所综合系统、刑侦综合系统，人口系统，交管系统，旅馆业系统，出入境系统，禁毒系统，经侦系统，人事系统，被装系统，民爆系统，违法犯罪人员系统，重大刑事案件系统，消防系统等，同时还包括公安部级数据库（八大资源库）和社会信息数据库（需要安装安全接入平台，同时还需要与其他部门协调获得，系统留有接口）。2基础业务数据库基础业务数据库是在现有综合库基础上通过增加信息来源而产生的，信息包括l 现有综合库已经包括业务系统中尚未抽取的数据l 现有综合库尚未包括业务系统l 信息采集平台产生的综合应用必需的而业务系统无法覆盖的手工采集数据l 社会信息数据库（需要安装安全接入平台，同时还需要与其他部门协调获得，系统留有接口）3数据仓库新增数据仓库建设，数据仓库是在基础业务数据库基础上，数据结构以公安部五要素分类为基础，并在上层综合系统的要求下进行一定的扩充，数据将以利于整合信息逻辑、能优化检索速度的格式存储，通过深层次挖掘公安业务信息，按照不同的分析主题（OLAP多维分析）、数据挖掘和情报研判模型，建立模型库、主题库和知识库，应用一定的推理逻辑，实现情报研判和公安宏观分析的自动化，为领导和一线民警提供辅助决策和侦察破案服务。 数据仓库分析主题库建设可以包括治安专题、户籍专题、消防专题、旅客专题、监管专题和民警专题，以下以治安专题为例描述各分析对象的分析维度：l 接警分析：分析维度：报警方式,事别,报警发生和发现时间的年、月、日l 处警分析：分析维度：处警单位，处警事别，处警意向，处警时间(时间的年、月、日)，时间段(06；612；1218；1824)l 刑事案件分析：分析维度：案件的阶段：受理、立案、破案、不立案、侦查终结；案件受理的时间：年、月、日；办案单位：分局、派出所、民警；案件的类别：大案别、二级案别、小案别l 行政案件分析：分析维度：案件的阶段：受理、裁决处罚、处罚执行、行政复议、行政诉讼；案件受理的时间：年、月、日；办案单位：分局、派出所、民警；案件的类别：大案别、二级案别、小案别l 多发性案件分析：分析维度：在特定时间范围内各种事别占总案件数的百分比，具体分析每天各时间段(06；612；1218；1824)的案发率l 多犯罪人员综合分析：分析维度：犯罪人员的年龄，性别，婚姻状况，文化程度，所属行政区划，籍贯，所犯罪别，职业l 社会治安综合分析：发案率的环比，同比，辖区管辖人口发案率3.4.1.3 综合库数据整合过程1全文检索库的生成：网页等非结构化数据、各数据库数据通过搜索引擎产品自带的“网络爬虫“可以不间断的获得可访问的网络通路上的任何资源，并动态更新资源的快照以缓存资源。通过对数据字段的抽取生成全文检索库2基础业务数据库的生成：公安业务数据库（包括市局各业务部门数据库和区县各业务部门数据库），公安部级数据库（八大资源库），社会信息数据库（需要建设安全接入平台，还需要与有关部门协调获得数据，系统留有接口）通过ETL工具完成数据抽取、清洗，转换，装载到基础业务数据库，ETL工具运行描述如下：l 标准库建立：首先根据公安部标准，国家标准建立公安业务数据标准，并建立标准库，包括数据字段类型，长度，可选数值和标准代码库l 数据抽取：以标准库为基础，建立业务库与基础业务数据库的数据映射规则，即数据抽取规则，然后根据数据抽取规则抽取业务库数据到转储数据库中，数据抽取遵循原则参照3.3l 数据清洗：对转储的业务数据，根据定义的数据清洗规则进行清洗，对于有问题的数据则存储到问题数据库中l 数据转换：以标准库为基础定义数据转换规则，包括字符集转换，格式转换，代码转换，值转换，根据数据转换规则对经过第一步清洗的数据，进行数据转换l 数据校验：对完成整合的综合数据通过校验器按定义好的校验规则进行数据校验，找出第二批的问题数据，使得数据的质量进一步提高l 数据装载：把完成前面步骤的数据装载到基础业务数据库中，产生的数据是经过整合的基础业务数据库3.4.2 平台工具3.4.2.1 ETL工具ETL工具完成定期把公安的各个业务系统中的数据按照新的主题模型加载到数据仓库中去的任务，随着业务需求的发展，有更多的业务系统如人口系统的数据源将通过ETL过程集中并转换到数据仓库中去，目前我们的ETL工具完全可以满足市级公安每天100万条的业务新增数据量。同时我们在选择ETL工具时必须考虑了以下几点性能： 1、对平台的支持2、对数据源的支持3、数据转换功能4、管理和调度功能5、集成和开放管理6、对元数据的管理3.4.2.2 数据仓库的存储我们以公安目前需要的TB级以上数据的需求来看，我们在建设数据库仓库从以下几点来保证系统性能：1、对平台的支持2、对数据源的支持3、数据建模的功能，能方便的建立客户的商业模型4、管理和调度功能5、提供对服务的进度、资源等项目的管理。6、与其它数据仓库的数据迁移功能3.4.2.3 前端展现工具为了满足目前公安系统对计算性能的需求，以及开发人员的开发速度和系统低维护成本的要求，在前端工具的选择上我们从以下几点来保证性能：1、易于使用2、易于设置3、灵活地展现数据仓库的结构，将数据仓库的设计翻译成业务术语。4、能弥补SQL的限制，增加如running totals、跨聚合级别比较数据、排名次等功能。便于最终用户使用，无须编程。5、使用查询和报表的同一工具必须也提供分析能力，这样不需要另外的培训学习，而且也不需要IT人员的帮助将数据从一个工具转换到另一个工具中。6、允许在一个报表中溶入多个数据源的数据。这些数据源可以包括任何异构的关系数据库、OLAP Server和本地数据文件3.4.3 开发方法针对公安系统的业务发展特点，以及采用的基于数据仓库技术的系统架构，我们在项目实施上采用CRISP-DM方法论来规范、指导开发实施人员的工作，我们在开发系统中发现数据仓库项目不单是数据的组织或者呈现，也不仅是数据分析和统计建模，而是一个从理解业务需求、寻求解决方案到接受实践检验的完整过程。我们在系统建设中包括以下六个阶段（如下图所示）：业务理解，数据理解，数据准备，建模，评估和发布。商业理解数据理解数据准备建模评估发布数据图 系统建设的六个阶段 在项目的具体实施过程中我们将严格按照以下的开发流程。3.4.3.1 业务理解1. 找问题确定分析的业务目标2. 对现有数据的评估3. 确定问题是否能够通过数据分析来解决4. 确定数据分析的目标5. 制定数据分析的计划3.4.3.2 数据理解1. 确定数据分析所需要的数据2. 对数据进行描述3. 数据的初步探索4. 检查数据的质量3.4.3.3 数据准备1. 选择数据2. 清理数据3. 对数据进行重建4. 调整数据格式使之适合建模3.4.3.4 建立模型1. 对各个模型进行评价2. 选择数据分析模型3. 建立模型3.4.3.5 模型评估1. 评估数据分析的结果2. 对整个数据分析过程的前面步骤进行评估3. 确定下一步怎么办？是发布模型？还是对数据分析过程进行进一步的调整，产生新的模型3.4.3.6 模型发布1. 把数据分析模型的结果送到相应的管理人员手中2. 对模型进行日常的监测和维护3. 定期更新数据分析模型3.4.4 系统的特点3.4.4.1 基于数据仓库技术的体系结构本系统采用了数据仓库的技术体系，该体系结构从技术架构和管理体系上保证了面向分析型的数据处理，使得公安系统能快速地从原有的操作型数据库系统建立面向主题的、集成的、相对稳定的、反映历史变化的数据集合。并且为业务分析的改进提供一个平台，逐步把先进的数据仓库技术引入到公安系统的实际业务工作中。3.4.4.2 灵活的多维数据分析系统采用成熟的多维数据建模技术。在数据分析时可以灵活地在任意维度上进行不同层次的数据分析，在完成对数据的钻取、旋转和切片等基本操作功能时,最终取代传统的定制报表程序设计的方式，满足用户各种不同角度的数据统计分析。3.4.4.3 强大的数据分析技术基于数据仓库技术，系统可以方便地提供优秀的数据分析技术，例如：挖掘算法模型,如粗集方法、遗传算法、决策树方法、神经网络方法等。通过对公安行业业务的深刻理解，快速建立原始数据挖掘模型，提供模型评估机制对模型和结果进行评估和优化，从而形成优化的、可持续改进的针对业务主题的数据分析模型。3.4.4.4 工程方法论的运用本系统在实施上针对数据仓库技术的特点,采用CRISP-DM方法论来规范、指导开发实施人员的工作。CRISP-DM方法论是实际项目的经验总结和理论抽象，完成一个从理解业务需求、寻求解决方案到接受实践检验的完整过程。在系统其它辅助模块开发上，运用软件工程方法管理、指导系统建设。3.4.5 数据仓库建设我们依据公安系统的特点，结合数据仓库的技术原则，在系统建设上采用如下的体系结架构数据仓库人口系统元数据服务(ETL)元数据管理 数据清理 数据集成 数据变换 数据归约数据压缩概念分层治安信息数据集市分析建模服务报表OLAP分析数据挖掘 等车辆等系统人口信息等数据集市数据展现.数据抽取层数据分析建模层数据发布层.案件系统. 3.4.5.1 数据抽取层在本层实现公安各业务部门的源数据抽取到数据仓库中的过程。本层提供元数据管理，可以方便地将公安业务中的数据按照“人、事、地、物、组织”五要素来分类管理,通过元数据细化数据结构和数据资料间的关系,包括别名、代码表、缺省值、数值单位等，同时也包括对公安业务规则的理解。在数据抽取到数据仓库前对数据进行数据清理、数据集成、数据变换、数据归约等操作。3.4.5.2 数据分析建模层该层提供数据建模，直接实现用户的业务规则。包括支持OLAP、模型神经网络、回归分析、主成分分析/因子等分析方法，既有OLAP的分析又有Data Mining的分析。通过对公安业务的分析建立分析模型，针对公安各业务部门的业务特点，形成主题表，据此从数据仓库中选出多个数据子集，即数据集市（DataMart），以便于对跨业务部门的分析主题的分析。3.4.5.3 数据表现层本层实现了OLAP分析和知识评估以及发布的功能。针对不同的业务部门，不同的发布对象提供统一的发布平台，包括以下几个方面。1、 查询：实现预定义查询、动态查询、OLAP查询与决策支持智能查询；2、 报表：产生关系数据表格、复杂表格、OLAP表格、报告以及各种综合报表；给业务用户以不同方法分析数据的能力和自由度，而不受预先设定的一组报告的限制；3、 可视化：用易于理解的点线图、直方图、饼图、网状图、交互式可视化、动态模拟、计算机动画技术表现复杂数据及其相互关系；4、 统计：进行平均值、最大值、最小值、期望、方差、汇总、排序等各种统计模型的分析；5、 挖掘：利用分类、回归、聚类等各种数据挖掘方法，从数据中得到关于数据关系和业务模式的知识。3.4.5.4 数据仓库设计步骤数据仓库设计的主要步骤如下:1. 概念模型的设计：主要是对原有数据库系统进行分析，在此基础上确定数据仓库的概念模型，确定数据仓库的主题。2. 数据库的逻辑设计：在确定主题后, 需要对主题包含的信息进行详细定义, 并对事实表和维表的关系详细定义。3. 数据库的物理设计：物理设计主要考虑数据的存储方式，使得系统有较好的性能。对于记录庞大的事实表，可以考虑分区存放。而记录很少的维表则可以集中存放于某一表空间, 甚至可以让其数据在首次读取时驻留在系统内存中, 以加快数据存取速度。索引的建立也在物理设计中完成。4. 源数据获取、清洗、整理及装载设计：以统一定义的格式从各个系统抽取出来，经过清洗，再经过数据装载和整理程序进入数据仓库。5. 数据表达及访问设计：数据按统一格式、不同的主题存放到数据仓库后，下一步要着手数据表达及访问。这主要考虑用户对信息的具体需求, 对应采用不同的方式。比如, 使用Oracle数据库存放数据, 可以用PL/SQL编制报表, 也可以用Developer 2000或Visual Basic编制报表, 当然也可以采用一些业界优秀的OLAP产品, 例如Cognos公司的Transformer、PowerPlay Enterprise、Oracle公司的Express等。6. 编码、测试及实施。第四章 统一门户平台4.1 功能框架统一门户平台整合现有业务系统的访问控制