大数据可视化分析平台介绍.docx

大数据可视化分析平台一、背景与目标基于邳州市电子政务建设的基础支撑环境，以基础信息资源库（人口库、法人库、宏观经济、地理库）为基础，建设融合业务展示系统，提供综合信息查询展示、信息简报呈现、数据分析、数据开放等资源服务应用。实现市府领导及相关委办的融合数据资源视角，实现数据信息资源融合服务与创新服务，通过系统达到及时了解本市发展的综合情况，及时掌握发展动态，为政策拟定提供依据。充分运用云计算、大数据等信息技术，建设融合分析平台、展示平台，整合现有数据资源，结合政务大数据的分析能力与业务编排展示能力，以人口、法人、地理，人口与地理，法人与地理，实现基础展示与分析，融合公安、交通、工业、教育、旅游等重点行业的数据综合分析，为城市管理、产业升级、民生保障提供有效支撑。二、政务大数据平台 1、数据采集和交换需求：通过对各个委办局的指定业务数据进行汇聚，将分散的数据进行物理集中和整合管理，为实现对数据的分析提供数据支撑。将为跨机构的各类业务系统之间的业务协同，提供统一和集中的数据交互共享服务。包括数据交换、共享和ETL等功能。2、海量数据存储管理需求：大数据平台从各个委办局的业务系统里抽取的数据量巨大，数据类型繁杂，数据需要持久化的存储和访问。不论是结构化数据、半结构化数据，还是非结构化数据，经过数据存储引擎进行建模后，持久化保存在存储系统上。存储系统要具备高可靠性、快速查询能力。3、数据计算分析需求：包括海量数据的离线计算能力、高效即席数据查询需求和低时延的实时计算能力。随着数据量的不断增加，需要数据平台具备线性扩展能力和强大的分析能力，支撑不断增长的数据量，满足未来政务各类业务工作的发展需要，确保业务系统的不间断且有效地工作。4、数据关联集中需求：对集中存储在数据管理平台的数据，通过正确的技术手段将这些离散的数据进行数据关联，即：通过分析数据间的业务关系，建立关键数据之间的关联关系，将离散的数据串联起来形成能表达更多含义信息集合，以形成基础库、业务库、知识库等数据集。5、应用开发需求：依靠集中数据集，快速开发创新应用，支撑实际分析业务需要。6、大数据分析挖掘需求：通过对海量的政务业务大数据进行分析与挖掘，辅助政务决策，提供资源配置分析优化等辅助决策功能，促进民生的发展。采用新型MPP数据库+Hadoop的融合架构，使用MPP处理PB级别的、高质量的结构化数据，同时为应用提供丰富的SQL支持能力;使用Hadoop处理海量半结构化、非结构化数据，从而满足用户多种数据的处理需求。智慧政务：基于分布式计算、存储框架，面向政府不同价值的数据源，通过采集、存储、建模、挖掘等大数据技术，在社会保障、公共安全、人居环境、劳动就业、文化教育、交通运输、综合治税、消费维权、精准扶贫等领域开展大数据应用，优化公共资源配置，提高公共服务水平。帮助政府促进经济发展、完善社会治理、提升政府服务管理能力、服务改善民生，培育壮大新兴产业。如下图所示的政府综合决策分析系统，利用大数据分析平台，采集并分析多个部门共享上传的业务数据，为政务部门提供决策支持。如下图所示的政府效能监察大数据系统，通过对各类政务服务事项，全市各个部门单位的政府网上办事流程进行多维度，高效的及时监察、分析，从而对办事效率低下的职能部门和审批人员实现高效监督；找出设置不合理的办事流程，促进政府办事流程的优化。实现政府部门网上办事多维度的数据分析挖掘，秒级展现效果，让决策者一目了然发现问题，提升政府的服务水平。基础信息融合应用展示分析基于政务大数据平台开发或构建的各类系统如四大基础库系统、业务主题库系统，通过政务大数据平台信息枢纽的作用，各系统不需要再与任何政府部门业务系统对接，而直接从政务大数据平台关联形成数据，为政府业务办理提供支撑。三、视频云结构化分析系统视频云结构化分析系统可实现视频中车辆和活动目标的结构化信息提取，提取属性丰富，精确度高；支持智能结构化分析后文本信息和图片信息的存储和检索；支持动态扩容，智能分析性能随着设备数量增加呈线性增强；支持第三方标准视频流的接入和智能分析应用；支持本地录像的智能分析；系统自带IE界面，提供智能检索、数据统计、布控报警、任务管理、资源管理、集群管理、系统校时、日志查询等功能。1.车辆大数据分析车辆图片以图搜图车辆以图搜图是基于图片的搜索模式，通过图片建模后特征向量的比对分析，并且在被搜索图片中选择特征区域进行二次比对，从图片库中检索出符合条件的图片，并根据相似度返回比对结果。准确率比单纯建模后特性限量比对高50%。过车数据处理服务过车数据处理包括过车数据检索、智能研判、OD分析、统计分析等几大类。过车数据检索过车数据检索是通过全文检索技术，对海量过车数据进行快速检索，支持精确查询、模糊查询、多条件组合查询。支持千亿过车数据中秒级查询到结果。过车数据检索具体包括以下功能：普通过车查询支持根据模糊条件、组合条件进行过车信息的查询。可选的条件包括卡口、车牌、车型、时间段等。针对只知道部分车牌信息的车辆可以输入“*”代表多位，“？”代表一位号码，进行模糊匹配。违法车辆查询支持根据组合条件进行报警车辆的查询，违法车辆包括超速行驶、闯红灯等车辆，可选条件包括卡口、时间段等。未识别车辆查询支持根据组合条件对未识别车辆进行查询，未识别车辆包括非机动车辆、没有车辆通过确拍照的、只抓拍下部分车牌的车辆、正确抓拍却未识别出的车辆，可选条件包括卡口、时间段等。布控报警查询支持对布控的车辆及布控产生的报警进行查询。异常牌照查询支持根据组合条件对异常牌照的车辆进行查询，异常牌照包括假牌、套牌等，可选条件包括卡口、时间段等。红名单查询支持对红名单车辆进行情况。行车轨迹查询支持根据行车轨迹对过车信息进行查询。2.智能研判智能研判是通过对海量过车数据的分布式计算分析，快速挖掘出其中有价值的信息。智能研判具体包括以下功能：行车轨迹智能研判车辆轨迹智能研判功能包含对精确目标、模糊目标两类车辆进行轨迹智能研判。精确目标车辆轨迹智能研判：分析特定车辆在一段时间内经过多个信息采集点形成的行车轨迹，在PGIS上重现该车辆的行车路线。“特定车辆”是指查询者明确该车辆的车牌号码，至少清楚车牌号码中绝大部分字符及准确的排序位置，在查询过程中也可辅以准确的车身颜色或车型等其它特征信息缩小系统筛选范围。“特定车辆”行车轨迹出现在信息平台的PGIS地图上，单击任一采集点的卡口图标，能重现当时车辆被捕获抓拍的高清照片。若查询者确认该车辆为嫌疑车，则可启动布控报警与实时跟踪功能，当该车下一次穿过任意卡口（或卡口式电子警察）时，系统将自动报警并提示监控人员，同时该车在未拦截之前，PGIS地图上将实时显示其后续穿过的卡口位置、行车轨迹、趋势方向等信息。模糊目标车辆轨迹智能研判：当侦查或目击者提供的车辆特征信息不明确时，结合有限的车辆特征信息和车辆逃逸方向，综合目击者发现它的时间段、有限的车辆特征信息、逃逸方向范围内的卡口等客观条件进行检索查询，在PGIS上勾勒出同时满足上述条件的所有车辆的行车轨迹，在查询过程中也可辅以准确的车身颜色或车型等其它特征信息缩小系统筛选范围。为侦查办案工作进一步开展提供参考依据，比如：提供这些相关车辆的高清照片，其中包含清晰的车牌号码、车辆轮廓特征（车型、车品牌）、驾驶员面部特征等。短时通过车辆智能研判短时通过车辆智能研判是通过区间测速功能，对通过区间的时间在设定阈值内的车辆进行研判。短时通过车辆智能研判一方面有助于将长期超速行驶的车辆纳入治超名单，通过安装在街面的LED信息发布屏对其进行公示、警告；另一方面有助于公安交通管理部门统计分析哪些路段发生超速行驶的次数最多，以辅助决策是否需要对这些道路进行加强管理，消除潜在的交通事故隐患。跟车关联智能研判跟车关联智能研判是针对刑侦时犯罪团伙车辆经常结队活动的特点，对犯罪嫌疑车辆进行信息查询时，根据车牌省份地域分析其相邻车辆号牌，挖掘出有关联的车辆，为办案提供线索。根据犯罪嫌疑车辆的车牌号码、车牌种类、车辆通过时间、分析时间间隔、路口名称及车道号这几个条件筛选出与犯罪嫌疑车辆有关联的车。选定车牌号码、时间段、路口等信息，通过设定的跟车间隔时间大小，分析出与此车辆关联的其他车辆过车信息。套牌嫌疑智能研判套牌车辆智能研判功能主要包含基于车辆多个特征交叉比对的研判分析和基于行程时间的研判分析两大类。基于车辆多个特征交叉比对的套牌车辆智能研判：综合分析车辆号牌、车型、车身颜色等车辆特征，自动发现套牌车辆，因为车牌号码识别准确率最高，选择车牌号码为基准参数。比如：在城市内发现车牌号码一致，但车型不同，或者车牌号码一致，但车身颜色不同，那么其中1辆一定是套牌车，在认定过程中将借助来自车管库的登记信息。基于行程时间的套牌车辆智能研判：在PGIS地图上，以卡口、卡口式电子警察布点较密集的路段为中心划定几个区域，区域之间设定时间差，对多个区域内的通行车辆进行交叉比对，如果发现车牌号码相同的车辆，那么其中1辆一定是套牌车，在认定过程中将借助来自车管库的登记信息。其原理是在现实环境中同一辆车从一个区域跨度到另一个区域的行程时间不可能小于设定的时间差。频繁出入车辆智能研判频繁出入车辆智能研判是分析一段时间内车辆通过某一个或某几个卡口的频度，当频度大于设定值时，认为该车辆活动异常，并可显示车辆的活动轨迹。该信息可用于车辆预警，同时提供统计报表，支持打印、保存及数据导出。区域碰撞智能研判区域碰撞智能研判是利用数据碰撞技术来加速车辆特征信息的提取工作，比如在两个卡口或两个区域的所有卡口之间进行数据遍历，找出符合检索条件的车辆。根据嫌疑人会用类似的手段连续作案的动机原理，当在一定时间范围发生作案手段类似的案件，对于指定的两个或两个以上区域范围内的所有卡口为基点，在指定的时间范围内，通过遍历搜索的方式，碰撞搜索并精确定位具备相同车牌号码的机动车，可以快速发现不同区域涉案嫌疑车辆之间的关联性。初次入城智能研判在选定时间段和路口时，查询所有首次通行选定路口的车辆的过车信息，对于任意车牌号码只记录首次通行的一条过车信息。选定路口名称、车牌号码、时间段，分析得到该时间段内选定的车牌号码首次通过该路口时的过车信息。违法多发时间段智能研判通过对特定时间段内违法车辆的统计分析，可分析出哪些时间段内交通违法事件较多，如国庆期间、大型活动期间等。根据分析结果，有助于公安交通管理部门在这些时间段内，做出相应的对策。违法多发地点智能研判通过对特定地点的违法车辆统计分析，可分析出哪些地点交通违法事件较多。这些分析结果有助于公安交通管理部门找出违法多发地点，以辅助决策是否需要对这些道路进行加强管理，消除潜在的交通事故隐患。3.OD分析支持过车数据的OD分析，包括区间测速、车辆诱导等。区间测速支持卡口与卡口间车辆的区间行驶速度测算，通过两个卡口之间距离除以车辆穿过两个卡口的时间差来计算车辆在区间通行的平均速度（平均速度公式：V区间=S区间/T区间）。车辆诱导车辆诱导是根据车流量统计、区间测速而计算出哪些路段繁忙，哪些路段空闲，并实时将这些信息显示在道路的LED屏上，根据深浅不同的颜色来标识道路的繁忙程度，帮助司机判断走哪条路更加合理。4.统计分析统计分析包括以下功能：车流量统计用户能够按卡口单位、卡口名称、车辆类型、卡口车道进行流量统计，车流量统计可以包括以下查询条件：按卡口使用单位查询、按卡口名称查询、按车辆车型查询、按卡口车道查询、按所选时间模式进行查询。车流量统计可以按照五种时间模式（年、月、周、日、自定义时间段）自动生成3D柱状图形式的报表（年报表、月报表、周报表、日报表、时间段报表），并且报表可以导出和打印。统计结果可以作为日常道路交通诱导和交通优化管理的依据，方便用户定期对交通状况进行处理和总结。系统能够对车流量情况，进行数据分析，对路段堵塞、车流量异常减少、增多、断流等情况可进行智能判断并报警。车道平均速度统计用户能够按卡口单位、卡口名称、车辆类型、卡口车道进行车速统计，统计结果可以作为日常道路交通诱导和交通优化管理的依据，方便用户定期对交通状况的处理和总结。同时，对于超速频繁的路段，公安交通管理可加强管理，消除潜在的交通事故隐患。车头时距分析支持根据开始时间、结束时间对一个或多个路口进行车辆的车头时距进行统计分析，生成统计报表，支持根据需要生成柱状图，饼状图，对统计结果支持图形和报表的导出。车头距离分析支持根据开始时间、结束时间对一个或多个路口进行车辆的车头距离进行统计分析，生成统计报表，支持根据需要生成柱状图，饼状图，对统计结果支持图形和报表的导出。车道时间占有率统计支持根据开始时间、结束时间对一个或多个路口进行车道占有率统计，生成统计报表，支持根据需要生成柱状图，饼状图，对统计结果支持图形和报表的导出。车辆违法统计支持根据开始时间、结束时间和路口/卡口对车辆违法情况进行统计，生成统计报表，支持根据需要生成柱状图，饼状图，对统计结果支持图形和报表的导出。车牌识别率统计支持根据开始时间、结束时间对一个或多个路口进行车辆牌照识别率的统计，生成统计报表，支持根据需要生成柱状图，饼状图，对统计结果支持图形和报表的导出。 漏传数据统计支持根据开始时间、结束时间对一个或多个路口、下级卡口平台漏传的卡口过车数据进行统计，生成统计报表，支持根据需要生成柱状图，饼状图，对统计结果支持图形和报表的导出。