资源描述
重庆智慧旅游大数据平台
服务建设书
联通云数据有限公司重庆市分公司
2016-11
目录
第1章 项目概述 4
1.1项目简介 4
1.2项目背景 4
1.3建设内容 5
1.4建设意义 6
第2章 智慧旅游数据云中心建设方案 7
2.1建设目标 7
2.2技术框架图 8
2.3实现功能 8
2.4沃云 10
2.4.1云主机服务 10
2.4.1.1支持多种操作系统 10
2.4.1.2支持多种规格 11
2.4.1.3支持快照功能 12
2.4.1.4支持自定义镜像 13
2.4.1.5支持配置动态伸缩 13
2.4.1.6支持在线迁移 13
2.4.1.7支持防火墙功能 13
2.5云存储服务 14
2.5.1沃云整体存储架构 14
2.5.2沃云存储适应性 16
2.5.3沃云存储服务性能 17
2.5.4沃云存储服务特性 18
2.6云负载均衡服务 21
2.7虚拟路由器服务 22
第3章 智慧旅游大数据平台总体规划 23
3.1建设目标 23
3.2实现逻辑构架 23
3.3系统架构图 24
3.4整体技术框架 25
3.5数据流程设计 26
3.5.1数据交换 26
3.5.2数据同步 26
3.5.3数据挖掘 27
3.5.4数据分析 27
3.5.5数据展现 27
3.6应用功能设计 28
3.6.1旅游产业宏观监控 28
3.6.2客流量监测预警 28
3.6.3客流量预测 30
3.6.4游客价值挖掘(旅游市场大数据洞察报告) 30
3.6.5互联网舆情监测 30
3.6.6旅游行业诚信监管 30
3.6.7短信自动推送 31
3.6.8移动终端APP开发 31
第4章 总体预算分析 31
第5章 联通云数据公司简介 32
5.1联通云数据公司业务发展定位 32
5.2联通云数据公司发展战略 33
5.3联通西南(重庆)云计算生产基地概况 34
第1章 项目概述
1.1项目简介
重庆市智慧旅游大数据平台是以旅游产业相关数据为基础,通过先进信息技术手段,实现对海量旅游信息的整合、存储、分析处理和应用,从而实现旅游管理部门对旅游产业的宏观监管、市场运行监督、景区客流量监测以及旅游产业服务质量的提升。
为全面推进重庆市建设智慧旅游,我公司将充分发挥大数据技术开发和平台运营优势,为重庆市智慧旅游大数据平台提供开发、运营、维护等相关服务。该平台建成后,将支持全市及下辖区县的景区、旅行社、酒店等旅游产业基础数据、以及从运营商、互联网获取的游客相关数据的存储、交换、共享、分析等功能,并支持其他旅游信息系统的接入。同时,采用目前最新、最成熟的大数据分析挖掘技术,进行应用功能开发,真正实现旅游管理部门对行业监管、公共服务和全域营销的全面智能化。
1.2项目背景
在以往的旅游信息化建设中,大部分是以各自投入为主,造成了旅游信息的分散性、异构性和封闭性,导致相互之间不能互联互通,信息共享,形成一个个“信息孤岛”,大量信息孤岛的存在已成为旅游信息化建设进一步发展的障碍。一方面信息资源不能共享,数据格式不统一,数据在不同系统中重复存在,互相不一致;另一方面,本该协同完成的完整业务过程被认为分割和打碎,在每个孤立的系统中存在一部分,孤立的业务环境之间无法协调联动,不能实现业务合理有效的协作。
近年来,国家出台了多项政策鼓励各地推进智慧旅游的建设,以促进旅游信息的全面整合以及产业监管的智能化发展。2015年1月10日,国家旅游局发布的《关于促进智慧旅游发展的指导意见》提出,“到2016年,建设一批智慧旅游景区、智慧旅游企业和智慧旅游城市,建成国家智慧旅游公共服务网络和平台。” 2015年4月7日,重庆市人民政府发布《关于印发重庆市智慧旅游建设实施方案的通知》,提出“以‘智慧管理、智慧营销、智慧服务、智慧体验’四大平台建设为重点,建设一批智慧景区、智慧饭店(酒店)、智慧旅行社、智慧乡村旅游、智慧旅游服务商等单位”的要求。可以看出,建设智慧旅游的时机已然成熟。
重庆旅游市场发展迅速,2015年,重庆市全年接待游客达到3.92亿人次,实现旅游总收入2250亿元,同比分别增长12.27%和12.66%,在全球经济持续低迷、全国入境游大幅下滑的环境中,旅游产业发展在“十二五”时期结出了丰硕的成果。在此基础上,重庆市旅游局提出,“十三五”时期的旅游工作目标是——2020年我市旅游业增加值占全市GDP6%以上,旅游业成为我市综合性战略支柱产业。
综上所述,无论是从大环境发展要求,还是政策引导、区域需求等角度出发,建设智慧旅游大数据平台的时机已经成熟。
1.3建设内容
智慧旅游大数据平台实施 “统一规划,分步实施”的建设思路,逐步实现以云计算为基础,以互联网/移动终端应用为核心,以感知互动等高效信息服务为特征的旅游信息化发展新模式,最终实现以游客为本的高效旅游信息化服务。
以建设信息整合、系统集成、资源共享、体系完备、覆盖全面、应用创新的智慧化旅游发展格局为目标,制定重庆市智慧旅游大数据平台建设方案,建设内容包括两个方面:
(1)智慧旅游数据云中心
智慧旅游数据云中心作为智慧旅游的载体,旨在以大数据模式进一步深化旅游资源整合力度,丰富完善智慧旅游应用。
数据云中心以保障未来全市旅游行业大数据应用需求为原则,充分预留扩展空间。对市级及区县现有的旅游信息平台、景区电子票务等系统进行集成、对全市宾馆/酒店、旅行社的基本信息及游客信息进行整合,满足市辖各区(县、市)已经建成的旅游信息系统与该市数据中心的有效连接,以及各类旅游数据的完整性、共享互通。制定数据接入规范,在编码、数据、接口、资源层面实现全市范围内旅游信息化建设的统一标准,为后续全市各类旅游智慧化系统数据统一纳入数据中心进行管理提供保障。
基于智慧旅游数据云中心,未来,将逐步实现国土、公安、城管、交通、工商税务、卫生等部门与旅游信息资源的横向对接,落实各部门间的数据共享、协同应用。
(2)智慧旅游大数据平台
智慧旅游大数据平台是以旅游数据云中心为基础,在支撑各类主题数据库应用和跨部门旅游信息资源的接入、汇聚、交换和共享上,通过大数据挖掘分析,结合各类算法、模型,结合具体业务需求,进行应用功能的开发,来支撑旅游管理部门对旅游产业运行情况的监督、景区智慧化管理、游客个性化服务、旅游产品的创新等。
1.4建设意义
智慧旅游大数据平台将实现旅游宏观数据统计、行业监管、舆情监控、应急指挥、行政执法等功能的集成,实现旅游行业管理的智能化和移动办公便捷化,对规范旅游市场、优化旅游服务质量、简化商务流程起到积极的促进作用。
(1)加强智慧旅游基础设施建设
智慧旅游大数据平台的的深化应用,需要将现有的基础设施和信息系统与云计算、物联网、移动互联网等新一代信息技术的融合,而不同景区的基础设施建设水平参差不齐,有些与大数据分析应用的支撑能力有较大差距,这将成为智慧旅游后续发展的重要制约因素。因此,需要在云、网、端三个层面整体推进智慧旅游基础设施建设水平。在网络方面,需要以宽带城市建设为依托,加强景区(景点)的网络覆盖和接入带宽,形成全市范围内旅游热点区域 “3G/4G+wifi”的立体化无线网络覆盖,为智慧旅游服务以及智能化设备、终端的网络接入提供有效保障。
(2)整合智慧旅游信息资源
在智慧旅游发展初期,由于缺乏对旅游行业信息化整体性的顶层设计,采取以应用系统建设为重点的建设模式使得智慧旅游体系数据资源呈现相对分隔的局面,各类信息系统间没有形成有效连接和共享。因此,需要在智慧旅游数据中心平台的基础上建设智慧旅游大数据平台,并明确数据中心的基础性作用及其在智慧旅游体系中的核心地位,对全市范围内不同来源的旅游信息进行统一规范管理,在数据资源层面进行深度整合,全面实现各系统间的数据交互共享。
(3)满足旅游产品个性化需求
智慧旅游的发展,不仅仅局限在通过信息技术手段提升旅游行业管理、服务水平的基本层面,还应着眼于将“互联网+”思维融入旅游产业发展,积极探索基于智慧旅游体系、依托智慧旅游设施丰富城市旅游内涵的发展路径。以智慧旅游理念为指引,打破传统旅游模式在时间、空间上的限制,围绕现代游客群体多样化、个性化、高端化的需求,结合重庆市旅游发展实际,拓展新型旅游产品和旅游项目。以智慧化为契机建立和健全旅游行业的创新机制,以旅游产品的不断推陈出新,实现该市旅游业的可持续发展。
(4)促进服务能力不断提升
智慧旅游大数据平台的建设将伴随重庆市智慧旅游体系的逐步完善,旅游资源和要素的整合程度不断提高,旅游行业的企业与游客间的沟通效率和交互程度借助信息技术手段将得到显著提升,大数据、云计算、物联网等新兴技术推动旅游服务向智能化、贴身化、定制化、便捷化的趋势转变,促成旅游行业服务能力的全面优化,同时塑造出具有时代感和科技感的重庆市旅游新形象。
(5)引导旅游市场规范化发展
借助智慧旅游数据平台对旅游行业信息的采集和汇总,旅游行业主管部门能够获得即时通畅的游客投诉和旅游舆情传达渠道,可以实现对旅游市场中纳入智慧旅游体系的企业所有经营活动实现全流程监控,同时通过与旅游相关的公安、工商、卫生、城管等多部门信息共享实现协同执法管理,从而从管理层面有力推进旅游市场的规范化发展。
第2章 智慧旅游数据云中心建设方案
2.1建设目标
数据云中心应用平台是基于Hadoop体系构建的智慧旅游大数据基础平台,主要实现数据的接入、存储、分析、统计展示等基础功能。
一期建设的旅游基础数据平台预先规划大数据平台的总体框架及基础功能。本次建设主要实现基于大型数据库及互联网实现的各类旅游基础数据(景区、旅行社、酒店、旅游咨询中心的分布情况、游客票务信息、入住情况等)的上报、批量导入、接口互联功能,信息的查询和共享、信息发送,各类旅游数据的分时间、分类别的汇总、统计、比较等功能。数据中心系统将部署在联通“沃云”资源池上,并要求模块拓展性强,支持后期其他政府相关数据、运营商游客数据、互联网舆情数据、游客投诉信息、及各类旅游相关信息系统的接入、存储、交换、挖掘分析,可视化展示。
2.2技术框架图
历史数
据查询
数据接入层
应用集市数据区
互联网、移动互联网等产生的非结构化、半结构化数据
结构化数据预处理组件
数据计算层
数据应用层
实时数据区
人流量主题
收入主题
地理空间主题
数据增
值产品
产业要素数据
地理信息数据
主题数据区
… …
用户访问层
人流量汇总
收入汇总
… …
社交媒体
移动互联
舆论汇集
访问日志
处理后大数据
流程调度
监控告警
数据标准
数据质量
元数据
数据安全
流程调度平台
……
数据管控平台
流程调度层
数据管控层
数据
源层
数据接入层
实时数
据查询
景区管理
人流量管理
……
外部用户
贴源数据区
……
统计分析
政务部门用户
历史归档数据区
IT人员
旅行社管理
半结构化数据预处理组件
非结构化数据预处理组件
地理空间汇总
数据仓库数据区
大数据数据区
待处理大数据
数据科学家
业务管理系统
景区监控系统
公共资源信息库
Gis信息系统
历史统计报表
(1)数据接入层
数据接入层是根据数据源存储的不同分类而设计的,本质是通过分析数据存储结构和数据存储库的特点来针对性的选择接入方式,以追求卓越的性能。
(2)数据计算层
数据计算层是根据不同类型数据接入到不同数据区、不同数据区选用不同数据处理ETL技术,不同数据区以不同形式存放数据、以追求卓越的性能、高质量的数据、高可用性及可扩展性的数据存放及加工方式。
(3)数据应用层
支持各种报表定制、历史查询、不同要素的统计分析以及针对外部用户的数据定制报告销售。
2.3实现功能
建设智慧旅游数据云中心,整合重庆市旅游局现有内部数据资源,为未来规划建设大数据应用平台预留数据接口,实现旅游产业信息资源的有效整合。云中心建成后,将实现以下功能:
(1)支持多种数据源
旅游业务数据:
支持旅游管理部门各类专业化的旅游应用系统及全市景区监控平台的业务数据,能无缝集成,引入并高效利用。
运营商数据:
支持移动、联通、电信三大运营商提供的手机用户统计数据,该类数据可通过数据文件传递,也可通过数据服务接口进行对接。
其他政府部门相关数据:
支持公安、交通、气象、环保等其他政府部门涉旅数据,能将该类数据引入到大数据平台,进行全方位地分析、利用。该类数据可通过数据文件传递,也可通过数据服务接口进行对接。
旅游市场数据(旅行社/酒店游客数据):
支持全市旅游社数据、导游团队信息、酒店信息的接入,并获取其提供的游客信息,包括旅客人数、客源地、游览景点、酒店入住等信息,可通过文件传递,也可通过数据服务接口进行对接。
互联网游客舆情数据:
支持各大OTA、点评网站、社交媒体等平台上的游客点评信息,对市内游客体验数据进行全面监控、智能分析和统计。
(2)集成对接
支持与现有的旅游市场监管系统对接,获取并分析全市旅游举报和投诉数据,以及旅游行程监管及旅游团队情况信息;
支持与全省景区监控平台进行对接,实时查看各景区的监控视频图像。同时获取各景区门禁管理系统、停车场管理系统等数据,并进行分析统计;
支持与国家旅游局应急指挥平台对接,将我市旅游统计基础数据和产业综合数据按照国家旅游局对接标准接入国家平台。
(3)实现各类业务数据的分析展示
针对上述各类数据源和从不同系统获取的现有数据信息,从不同的维度进行分析,并通过多样化的图表展现分析结果,帮助旅游管理部门准确掌握全市旅游产业的发展态势和运行情况。通过深入挖掘分析发现业务数据间的关联关系,发现业务发展趋势,找出业务发展规律,以更好地实现旅游业务的监管。
2.4沃云
2.4.1云主机服务
弹性云主机服务允许用户自由选择不同标准规格云主机,可根据需要选择操作系统种类、VCPU数量、内存容量、系统盘容量,实现对云主机的灵活定制和动态创建;重庆市旅游局可以通过Web控制台对云主机进行创建、开机、关机、重启、续订、退订等操作;允许根据需要对云主机弹性扩展内存和系统盘容量;重庆市旅游局可实时查看VCPU使用率、内存使用率、磁盘读写、网络流量等云主机重点性能指标情况。
2.4.1.1支持多种操作系统
弹性云主机支持主流的Windows和Linux操作系统,允许自定义个性化模板,部分操作系统列表如图所示:
2.4.1.2支持多种规格
云主机规格为虚拟机的配置模板,定义了虚拟机的CPU数量(vCPUs)、内存容量(Memory_MB)、磁盘容量(Disk)及临时磁盘(Ephemeral)、Swap分区等一些参数。
弹性云主机允许根据不同需求选择标准配置或自定义配置,动态升级vCPU和内存配置。也允许从两个维度扩展业务服务能力,一个维度是在现有弹性云主机上扩展vCPU、内存、磁盘,另一个维度是在弹性负载均衡支持下按现有弹性云主机规格扩展弹性云主机数量,快速提升业务服务能力,其中标准的云主机规格如图所示:
可以在web控制台上可以通过下图所示界面进行云主机规格的选择和定制:
2.4.1.3支持快照功能
快照用于捕捉硬盘在某一个时刻的状态,未来可以随时恢复到这个状态。可以采用快照方式备份当前使用的弹性云主机。
快照功能原理:
底层在创建虚拟机时,会根据其选用的镜像,创建一个基础缓存镜像文件,以便于让所有使用同一镜像的虚拟机不必多次全量拷贝源镜像;之后在基础缓存镜像文件的基础上,创建增量镜像文件,即虚拟机的系统磁盘。
增量快照:
通过对增量镜像文件做快照及备份,即完成了对虚拟机的增量快照及备份,因为增量镜像文件相对源镜像文件要小得多,所以增量快照功能完成的速度较快,但是不可独立恢复。
全量快照:
将增量快照及备份与基础缓存镜像文件转换合并起来,就完成了对虚拟机的全量快照及备份,因为基础缓存镜像文件较大,所以全量快照功能完成的速度较慢,但是可以独立恢复。
2.4.1.4支持自定义镜像
镜像,是指云主机所使用的根分区或系统盘,可以快速地通过镜像复制出一台云主机,免除传统冗长的装机过程。同时还支持制作镜像快照,对云主机进行备份快照,该快照还能像普通镜像一样随时创建新的虚机使用。
云平台自行制作标准格式的系统镜像,上传到云平台后,经过简单配置即可以展示在网站上供选择创建基于自定义个性化模板的弹性云主机。
目前支持的镜像格式有iso、qcow2、qcow、raw、vmdk等多种模式,常用为qcow2格式的镜像。当镜像制作完成后,将上传到镜像库中,由镜像管理服务模块来管理所有的镜像。
2.4.1.5支持配置动态伸缩
云平台支持对云主机配置的动态伸缩,通过修改云主机初始的规格来修改云主机的当前配置,可以修改的主要项包括:内存容量(可增减)、cpu数量(可增减)、磁盘容量(仅增)。
动态升级时先关闭虚拟机,之后在启动时将应用新的规格作为配置模板。
2.4.1.6支持在线迁移
运维管理员登陆运维管理平台,针对的虚拟机执行迁移操作。迁移是在线热迁移,迁移中不需要关闭云主机,保证了用户业务连续不中断,为的IT管理站带来良好体验。
在迁移过程中,目的主机会与源主机建立通信通道,用于接收源主机发送过来的数据;而虚拟机处于共享存储之中,这样就使虚拟机在迁移时不需要关闭电源而使业务不必中断。
2.4.1.7支持防火墙功能
云平台基于安全组规则实现虚拟防火墙的功能。安全组是云主机的虚拟网卡上行和下行流量的防火墙,如下图所示,表示虚拟网卡的上行安全组规则。云主机的所有数据流量都是通过虚拟网卡进出的,安全组包含一组白名单安全组规则,一个安全组规则允许某一特定数据包流入、流出虚拟网卡,从而实现了类似传统防火墙的功能。而且与一般的云平台不同,这里的安全组作为一个防火墙针对的是某一个虚拟网卡,而不是一个云主机,云主机如果有多个虚拟网卡,可以针对每个虚拟网卡来设置安全组,这样可以实现更加细粒度控制安全。
2.5云存储服务
2.5.1沃云整体存储架构
2.5.1.1系统概述
联通沃云分布式云存储是为政府/企业提供革命性符合成本效益的高性能存储平台。本系统的设计原则如下:
l 必须考虑到支持TB、PB、EB级的容量无缝扩展;
l 必须考虑到支持线性的扩展;
l 必须考虑到存储的可靠性和容错性;
l 必须考虑到存储分层和自动负载均衡;
l 必须考虑到存储的初建成本和扩容成本;
l 必须考虑到异地数据容灾,保证最终用户数据的安全性;
l 必须考虑到不被硬件厂商锁定;
l 必须考虑到运维人员的维护复杂度,降低运维成本;
l 必须考虑到同既有的应用程序集成,降低集成复杂度;
基于上述设计原则,分布式云存储系统采用先进的分布式对象存储设计,同时整合文件存储、块存储和对象存储三种技术,为各种不同类型的客户应用提供适合其需求的存储服务。系统整体架构如下图所示:
l 丰富的管理分发功能
支持策略管理,如分发、QoS和存储分层;
提供详尽的监控和报告;
数据监控和自动修复功能;
根据策略进行对象分发、对象复制和对象再平衡。
高可用性
多层级的可用性设计。每台节点均可支持RAID阵列,确保节点内部数据安全和高可用。同时分布式存储集群支持实时多副本功能。数据在集群中实时保存n份副本,可确保任意(n-1)台节点出现故障,数据依旧安全且可访问。多数据中心的不同云存储集群间支持数据互备互援,确保发生人力不可控的灾难时,数据依旧安全。
l 卓越的存储性价比
支持数据去重、数据压缩和SSD加速功能。可有效节省存储空间,提高存储服务的成本优势,同时在可控的成本范围内大幅提升存储性能。
l 开放的存储硬件选择
底层采用开发式的X86系统构架,用户可根据情况选择适合自己的X86硬件架构。
沃云存储部署架构如下图所示:
l 存储网络:用于OSD节点间的存储数据的副本复制,数据修复和群集状态监测。
l 业务网络:用于重庆市旅游局对存储的请求,如创建数据,修改数据、查询数据和删除数据。
l OSD群集:根据对业务和性能的需求不同,设计划分为3个存储池,即对象存储池、块存储池和文件存储池。
l 网关群集:根据服务的对象不同,设计划分为2个存储网关群集,即对象存储网关群集、块\文件存储网关群集。
2.5.1.2系统组成
Bigtera的分布式对象存储主要分为三大组件:
l 对象存储设备(OSD):可以支持PB级数据对象的池和统一存储资源
l 存储网关(Gateway):为其他应用程序或设备提供一个支持标准的文件系统协议的挂接点,以支持iSCSI、CIFS和NFS标准传输协议。
l 远程复制服务器(RRS):将数据从一个群集复制到另一个群集。
2.5.2沃云存储适应性
云平台存储服务支持主流的开源数据库,提供完整的存储协议支持:提供Amazon S3, OpenStack swift, Webdav, CIFS, NFS, iSCSI, FC 等标准存储协议,让使用者现有应用能完整且无接缝的迁移。
云平台可保存各种类型的数据对象,不限文件数目和大小,通过分布式架构支持大规模的请求处理与数据传输,存储容量无限制。
通过分布式架构支持大规模的请求处理与数据传输,确保对象存储服务的高可用性,存储容量和服务规模没有任何限制,系统规模可以水平扩展。
2.5.3沃云存储服务性能
2.5.3.1数据安全隔离
云存储提供多用户的数据隔离机制。系统可为每位用户创建相互独立的存储池,存储于不同存储池中的数据彼此不会产生任何交叠。同时可为用户的存储池配置专用的存储网关,即用户仅可以通过配置的专用网关才可以访问相应的数据存储池中的数据,确保不同用户从数据访问通路以及数据底层存储都完全做到数据安全隔离,实现针对IP地址、用户、用户组等设置访问权限的控制。
2.5.3.2分布式存储性能
以下性能测试报告是4节点分布式存储集群上用以下硬件测试出来的效能。
l SuperMicro 2U12Bay
l CPU: Sandy B. R 6C E5-2630 2.3G 15M 7.2GT 95W x 2
l RAM: 16GB DDR3-1600 2Rx4 ECC REG DIMM x 9
l HDD: Seagate 3.5" 3.0TB SATA III, 7.2K RPM x 12
l NIC: STD Dual-port 10G Ethernet with SFP+ W/ CDR x 2
l SSD: PCI-based SSD (Fusion IO)
l Raid6
Ø IOPS测试性能
使用8台虚机,在虚机内执行 IOMeter 做 IOPS 的测试:
Ø Throughput测试性能
Parameters
Result
VM1
100% read 1MB sequential 10GB disk size
235 MB/s
VM2
100% read 1MB sequential 10GB disk size
248 MB/s
VM3
100% read 1MB sequential 10GB disk size
249 MB/s
VM4
100% read 1MB sequential 10GB disk size
221 MB/s
VM5
100% read 1MB sequential 10GB disk size
233 MB/s
VM6
100% read 1MB sequential 10GB disk size
212 MB/s
VM7
100% read 1MB sequential 10GB disk size
244 MB/s
VM8
100% read 1MB sequential 10GB disk size
234 MB/s
平均值:
234.5 MB/s
Parameters
Result
VM1
100% write 1MB sequential 10GB disk size
211 MB/s
VM2
100% write 1MB sequential 10GB disk size
206 MB/s
VM3
100% write 1MB sequential 10GB disk size
203 MB/s
VM4
100% write 1MB sequential 10GB disk size
214 MB/s
VM5
100% write 1MB sequential 10GB disk size
200 MB/s
VM6
100% write 1MB sequential 10GB disk size
207 MB/s
VM7
100% write 1MB sequential 10GB disk size
219 MB/s
VM8
100% write 1MB sequential 10GB disk size
208 MB/s
平均值:
208.5 MB/s
2.5.4沃云存储服务特性
2.5.4.1数据存储备份
分布式存储集群支持实时多副本功能。数据在集群中实时保存n份副本,可确保任意(n-1)台节点出现故障时数据依旧安全且可访问,多数据中心的不同云存储集群间支持数据互备互援,确保发生人力不可控的灾难时数据依旧安全。
当数据被分布到多个存储节点时,数据的安全性及可用性会随着节点的增加而降低。因此实时数据的副本抄写是分布式存储的必要功能。本系统采用强一致性的写入策略,即只有当所有的副本写入完成,客户端才会收到写入成功的响应,这一策略确保写入数据的一致性和完整性。如图所示:
l 云存储数据会自动生成数据副本,保障由于意外的硬件设备故障导致数据丢失。
l 如果云系统数据出现损坏,存储会根据数据副本对数据自我修复。
l 存储为用户提供快照功能,以便根据需要,对自己的数据进行快照,并根据需要进行快照数据还原。
l 云存储通过远程数据备份机制来实现灵活可靠的灾难备份和恢复,保障数据安全。
三种云存储产品比较:
存储类型
弹性块存储
文件存储
对象存储
访问方式
本地虚拟磁盘
远程文件系统
HTTP访问,通过标准Amazon S3接口
与云主机绑定
绑定
不绑定
不绑定
性能情况
带宽高、延时小、I/O高
带宽高、延时较大,随机小I/O低
-
易扩充性
低
高
高
应用场景
局域网、对性能要求高,频繁的数据修改和读取,如数据库。
局域网,文件共享程度高,对性能要求不高,海量数据存储。
广域网,可随时通过Internet直接访问和修改存储数据。
2.5.4.2支持多主机访问
文件存储技术是将分布独立的数据整合为大型集中化管理的数据中心,以面向多个不同弹性云主机提供访问。文件存储类似于一个专用的文件服务器,为数据存档和备份提供安全耐用的大规模数据存储服务,且可以无限扩容。
l 安全性
文件以多副本方式存储,可防止文件因单点故障导致无法及时访问或丢失损坏,同时也存储在一个设施内的多个设备上。
l 无限扩展
文件存储提供基于分布式架构的大规模数据存储服务,可进行扩展以满足的不断增长且通常无法预测的存储要求,文件存储会根据客户的存储容量自动扩展,文件存储的容量没有上限。
2.5.4.3挂载多个存储实例
弹性块存储提供了持久化的、独立于主机生命周期的、高可用的块存储设备服务,弹性块存储可以挂载在任意一个运行中的主机上,弹性块存储结合弹性云主机使用,使数据更安全、更具灵活性,特别适合需要建立数据库、文件系统或可访问原始数据块级存储的应用
l 灵活部署
创建后即可对弹性块存储进行挂载实现快速部署,每块弹性块存储可以挂载到任意一台云主机上,两者具有不同的生命周期,当云主机被删除时,弹性块存储数据仍然存在,并可以挂载到其它的云主机上继续使用。
l 按需使用
可申请多个弹性块存储,每块弹性块存储申请的最大空间可至2T,可以随着业务的增大对块存储弹性扩展存储空间,也可以为主机挂载更多的弹性块存储,不再使用时可通过简单的web操作进行删除。
l 安全可靠
7x24小时贴心服务,每份弹性块存储数据在后台都存有多分冗余并实时同步,保证安全及传输效率。
2.6云负载均衡服务
沃云的弹性负载均衡器是在Hypervisor上以虚机的方式实现的负载均衡功能,支持第4到7层的负载均衡,支持web服务、中间件、数据库以及其它互联网服务,可以实时测量服务器利用率和连接负载,在此基础上高效地分配统一应用业务负载,提供全面的可视性并有效地管理应用性能、安全性和服务交付。
弹性负载均衡器将来自公网的访问流量分发到多台主机上,并支持自动检测并隔离不可用的主机,从而提高业务的服务能力和可用性。同时,还可以随时通过添加或删减主机来调整服务能力,而且这些操作不会影响业务的正常访问;支持丰富的负载均衡流量分配算法,包括:轮询、最小连接数、权重+轮询、响应时间等方式。所有配置下发到负载均衡后都立即生效。
点击如下网址可以体验:
http://103.224.235.98:8080/wocloud/index.html
2.7虚拟路由器服务
虚拟路由器服务主要有两个作用:作为公网与用户私有网络之间的通道,比如开启公网网关并绑定公网IP之后,便可以通过VPN或端口转发功能从外部访问VDC内部网络资源。作为多个私有网络之间路由功能,比如开启公网网关并绑定公网IP之后,路由器内置的SNAT功能可以允许内部共享一个互联网出口。默认的,只要子网关联在同一个路由器上,多个子网之间便自动打通了三层路由,可以彼此互通了。
第3章 智慧旅游大数据平台总体规划
3.1建设目标
针对各类数据源和从不同系统获取的数据信息,从不同的维度进行业务建模并进行深入分析,通过多样化的图表展现分析结果,一方面,展现业务现状,另一方面,通过深入挖掘分析发现业务数据间的关联关系,发现业务发展趋势,找出业务发展规律。在此为基础,帮助旅游管理部门实现对该市旅游质量的有效监控、旅游投诉、高峰期游客引导、突发事件应急能力、游客行为分析、把握市场需求和客源市场变化、提高旅游消费水平和旅游营销的针对性以及时效性。
3.2实现逻辑构架
智慧旅游大数据平台围绕“感知、互联、智慧”三个方面来推动旅游市场监管从“被动、分散”的传统模式向“自动、实时、智能”的模式转变。
(1)感知
将各类旅游企业、旅游消费者、旅游管理部门、机构和社会的各种旅游业务、商务、服务、政务相关的物件中,并将其普遍地连接起来,形成所谓“旅游物联网”
(2)互联
通过高速网络,将“旅游物联网”与现有的互联网整合起来,实现旅游活动、人类社会与物理系统的整合.
(3)智能
通过各种智慧应用系统的建设,实现旅游相关企业的智能自主管理;基于云计算、商业智能等技术,开展多维度的分析、预测和优化,实现面向旅游企业内外管理的智能决策
3.3系统架构图
3.4整体技术框架
整体技术架构由4层组成,分别是:
(1)采集层
支持海量多源异构的旅游大数据高效采集、整合各类异构涉旅数据资源,建立旅游大数据资源库。
(2)数据层
支持数据的预处理、存储及管理,建立相应的数据库,并进行管理和调用。通过大数据共享交换技术,建立统一的公共数据共享开放平台,实现智慧旅游与智慧城市的数据共享与交换体系。
(3)能力层
通过大数据分析和挖掘技术,构建多层次、立体化、可视化、智能化的数据挖掘与深度应用系统,提升旅游管理、服务、营销、保护等智慧能力。
(4)应用层
通过输出可视化结果,为旅游管理部门面向游客、景区、旅行社、导游等提供相应服务提供智能决策。
3.5数据流程设计
3.5.1数据交换
数据云中心平台提供了支持异构数据结构的数据交换机制,针对不同类型数据库共享的需求,分别建立各自的数据库,并设置不同的数据共享交换流程。通过统一规划管理,数据云中心平台可满足旅游业务系统的数据共享需要,共享软件平台数据共享形式如图所示。
3.5.2数据同步
数据同步是将RDBMS数据源数据、Excel文件数据、非结构化文件数据进行数据抽取、数据转换的过程。数据同步流程图如下:
3.5.3数据挖掘
数据挖掘主要的数据流主要从获取数据、字段过滤、定义变量、样本拆分、建模、模型输出6个步骤进行。将数据交换采集过来的数据定义为数据挖掘的数据源,并从其中获取数据表信息。在取得的多个数据表中进行数据字段确认,并确认字段排序分类、字段类型确认,再次进行模型选择,并进入建模输出模型。
3.5.4数据分析
数据分析主要根据实际的数据维度、指标等信息进行数据抽离、抽取、转换等过程。它主要包括维度指标定义、建立关联关系、数据执行、多维数据展现流程,如图所示:
3.5.5数据展现
数据中心平台在数据交换、数据同步、数据挖掘、数据分析等流程都是数据的后台操作流程,并不适用于所有用户,当数据挖掘与分析出来的数据结果时,我们需要将其展现给更多的人员进行数据共享,完成旅游大数据平台的宗旨,提供数据的统一展现出口。
3.6应用功能设计
3.6.1旅游产业宏观监控
对各类旅游产业要素数据、以及历史旅游人数、旅游收入、游客来源地、景区游览热度等,进行统一管理,支持查询、可视化展示,帮助政府全面完整的了解旅游市场的整体运行情况,从而提升政府的监管能力。该模块主要实现:
(1)各产业要素汇总
通过GIS图、统计表格、各类图表等形式,对该市景区、酒店、餐馆、旅游购物商店、休闲娱乐场所、旅行社、导游人员、集散中心、咨询中心、温泉、高尔夫场、滑雪场、旅游度假村等各要素的数量及分布情况进行可视化展示。
(2)行业统计分析
统计要素包括重庆市及各个景区的历史旅游人数、旅游收入、客源分布,以及酒店持证留宿人员数量,展示形式包括分布图、统计表、各类图表等,统计时间支持每日、月度、季度、年度以及旅游黄金周。
(3)旅游社团队监管
支持旅行社每日行程监管,以及旅行团队信息查询、报表呈现,信息涵盖来渝旅游团队数量、来源地、目的地景区等信息,展示形式支持分布图、统计报表、图表,统计时间支持每日、月度、季度、年度以及旅游黄金周。
3.6.2客流量监测预警
利用物联网、监控设备和无线技术,在该平台上实现对各景区客流量的自动监测和实时统计。通过GIS地图实时呈现各个区域的人流量及饱和度情况,帮助政府管理人员实时了解各个旅游景点的动态情况。当人流量达到饱和时,通过自动报警,为政府应急指挥提供及时有效的数据支撑。该模块数据来源包括各景区门禁、运营商基站定位和视频监控设备,其中景区门禁数据用以反映景区内当前总游客量,运营商基站定位可以反映游客在景区中的分布情况,视频监控设备可以反映某个监控点具体的游客情况。该模块主要实现
(1)客流量实时监测
通过GIS地图实时呈现景区不同区域的人流量,并用不同颜色标注不同区域人流量大小。通过双击活动窗口区域名称,可查询单个景区的区域人流详细信息。
(2)人群实时统计分析
通过24小时时间粒度显示不同时段各景区的人流量变化趋势、人群来源地、驻留时长、常住人口及流动人口比例,可准确掌握该区域人群流动性,为区域人群疏导应急预案的制定提供数据支撑。
(3)景区视频监控
将全市各景区内各类智能化设备、信息采集设施通过无线网络接入智慧旅游大数据平台,实现对各景区传感器数据采集及视频监控,实时了解各个景点的动态情况,提升政府监管能力。
3.6.3客
展开阅读全文