2022年智慧景区大数据分析平台整体解决方案-智慧景区客流量大数据平台建设方案.pptx

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,11/7/2009,#,智慧景区大数据分析平台整体解决方案,大数据,云平台,Contents,目 录,1.建设背景和需求分析,2.景区大数据总体方案,3.功能架构&技术架构,4.实施计划&风险评估,5.成功案例&培训计划,6.功能清单&服务承诺,Part 1,建设背景和需求分析,背景：旅游行业对大数据应用的诉求迫切,行业发展迅速,行业发展问题多,旅游行业生态圈中日益增涨的矛盾,客流量预测难,景区：,景区安全监控难,宣传对象定位难,旅游企业：,游客口味判别难,热门线路预测难服务质量提升难,政府：,应急事件监管难,宏观方向把控难行业发展指导难,旅客：,优质景区选择难,景区拥堵预测难景区周边了解难,服务质量投诉难,4,旅游消费逐年增加,缺乏科学规划，基础,设施不到位,管理体制不顺，管理,监控手段贫乏,品牌宣传不到位，市,旅游入次逐年增加,场拓展缓慢,游客与景区缺乏有效,沟通,目标：建设景区客流量大数据分析系统实现XX智慧旅游,通过XX智慧旅游景区客流量大数据分析系统建设可以实现：旅游行业相关管理部门实时掌握景区内游客数量，分析客流,规律和预测发展趋势，并精确衡量公共设施使用效率，从而及时准确的制定相应公共政策，健全旅游景区监测预警、风险评,估、信息发布等应急机制。,辅助管理部门,客流热力图,信令A口,游,客行,为轨,游客,工作,地,游客,居住,地,游客,驻留,地,IUCS口,景区管理,信令,迹,位置信息,区,域客,流分,析,流,动游,客识,别,客,流量,预测,分时段客流图,流客,规律,信息,登记,业务,消费,景区规划,景区发展规划,上网,浏览,景,区客,流趋,势,游,客偏,好分,析,预,测发,展趋,势,规,划决,策分,析,客流历史趋势,客户信息,.,景区服务,5*,Part 2,景区大数据总体方案,总体方案：构建旅游行业生态圈，聚焦用户位置、标签,行业,旅游,公安,交通,商业,个人,分类,1、解决方案、产品,提供一体化的解决方案,2、能力开放输出,提供能力，第三方做应,3、数据咨询服务,提供方案、分析报告,需要保证数据安全和用户隐私,4、数据租售运营,用，能力与应用合作,根据合作方业务需要,提供相关数据,支付购买费用合作方根据所需数据级别,四种变,现方式,数据运营,业务咨询,可视化能力,行业报告,业务分析,平台支撑,知识沉淀,基础能力,运营方案,效果分析,数据网关,客户标签,授,权,换交,气象,银行,交往圈,合作,据数,位置信息运营平台,上网行为,LocationOperationPlatform,公安,OTT,航空,7,平台功能架构：聚焦用户实时位置信息，开放对旅游行业数据服务能力,构建“轻前台、大后台”共享营运体系，共享客户汇总标签信息、客流信息、上下游供应链资源等。应用功能支持原子能力封装，,实现多行业快速复制，形成规模效应。,轻前,台,平台,应用,智慧,旅游,客流量监控,客流历史位置,公共安全,商业经营,其他行业,客流预警,客流来源去向,对外能力封装开放,可视化服务,数据服务,统,一,任,务调,度,统计报表,GIS可视化,明细信息,分析报告,预警短信彩信推送,实时接口,非实时接口,原子能力,封装,基础能力,应用能力,可视化能力,大,后台,人群实时位置,人群位置轨迹,区域实时/历史客流,区域客流趋势,客户分类分析,大屏,PC,手机,人群历史位置,区域定制,区域客流行为,区域客流结构,热力图,迁徙图,采集&计算,非实时批量采集&计算,实时流采集&计算,数据,采集,A口信令,IUCS信令,Gn口信令,省经数据,内部数据,外部数据,天气、门票,互联网数据,(客户标签),本期实现,需求外内容,未来拓展,8,平台能力概览,海量分钟级大数据处理能力,丰富的可视化能力,通过流处理+内存数据库技术来,对海量数据实时采集处理，实现客,流情况,分钟级,监控预警；采用MPP,并行大规模数据库技术，支持海量,数据计算和存储。日处理数据量,百,亿条,，存储容量,PB,级。,实现省、市、区域三级地理位,置可视化展现功能，区域采取定,制化模式，可以根据需求自由配,置。同时，通过GIS地图实时展,现区域客流信息，包括客流规模、,人群密度、人群特征分析等。,完善体系化的安全管控能力,可配置的多终端适配能力,通过接入安全、传输安全、数据安,基于移动终端设备，PC终端，,全、入侵检测搭建贯穿前后端完善体,系化的安全策略，全方位进行安全管,控，通过多种手段保障个人身份信息,以及隐私信息的数据安全，做到“事,前可管、事中可控、事后可查”。,互联网门户等多种应用平台，,位置信息运营平台提供可适配,于大屏、PC、移动等终端接入,的数据展示能力，满足不同行,业个性化使用诉求。,9,可视化能力,01,多终端适配,平台提供可定制化的终,端展现能力，可适配配于,大屏、PC、手机等终端的,数据展现,实时,来源分析,02,区分本市、外省、国际、敏感,地区，按照实时、周期两种方式对用户的趋势、分布进行分,析，识别异常,直观,03,热力图,以动态地图的方式，分来,源、区域直观展示一段时间,内流量变化及人群移动趋势,全面,特征分布,分析区域流动人群常驻属性、年龄,层次、性别、收入水平等，识别用户,特征,04,异常预警,05,以显性化方式在GIS地图上展示,预警信息，并提供系统声光提醒、,短信提醒、app消息提醒等方式,10,安全管控能力,大数据分析系统，使用独立域名，或利用区旅游局官方网站二级域名。,建立“事前可管、事中可控、事后可查”的信息安全管理机制，确保用户信息安全。,事前,防火墙,事中,防火墙,事后,反向代理服务器,应用服务器,数据服务器,日志服务器,外部信息系统,专线,用户,1.接入安全：建设专线连接，避免系统与互联网直连，同时以反向,代理服务器,来处理数据访问请求；应用接入由统一的认证服务,器进行验证，应用登录采用密码二次验证、动态密码、图形验证码等多重校验，有效,防止非法访问。,2.反向代理服务器：验证用户名、密码、IP等外部访问信息，是外部系统访问应用服务器的,唯一通道。,3.数据传输安全：对外数据服务平台对外输出数据时进行加密处理，保障数据在公网传输过程中的安全性。,4.应用权限控制：基于角色的访问控制RBAC模型，权限与角色相关联，用户通过被指派适当角色而具备这些角色的权限。不影,响业务情况下赋予用户最小的权限，避免信息泄露。,5.数据权限控制：安全分级管理数据权限，增加对管辖范围内的数据的查询管控，确保数据开放的安全。,6.日志记录和审计证：记录详细调用日志和数据留存，以用于审计和查看。,11,域名解决方案,为保障使用入口统一，建议利用旅游局现有的官方域名，配置其二级域名指向景区客流监控系统。,具体操作说明：,在域名提供商的管理系统上，可配置,monitor,指向景区客流监控的应用主机IP地址（例如 111.12.13.218）。,指向邮件系统，指向安全预警发布系统 等。,yjjy,如同,mail,建议（1）：在首页导航的“网上政务”上增加,“景点客流监控”，指向部署应用的主机IP地,址。位置及名称待旅发委审核。,建议（2）：在首页尾部的“政务系统”上增加,“景点客流监控”，指向部署应用的主机IP地,址。位置及名称待旅发委审核。,景点,客流监控,12,多终端适配能力,通过框架配置、框架内容配置、框架内容展现配置对外提供可定制化的终端展现能力,框架配置：,大屏、PC、手机终端的整体排版、位置,框架内容配置：,框架内展现内容可定制，确认每一部分展示什么内容,框架内容展现配置：,确定每一块内容的展现方式,大屏监控,手机,PC,13,Part 3,功能架构&技术架构,本期实现的主要功能(1/2),全局客流量监控,全局地图呈现,通过XX地图全局直观展示各地市及相关景区的实时客流密度情况通过点击地市/景区板块链接能进入相关地市/景区耳机地图展示界面,通过下拉菜单选择名称查询特地景区详细实时客流情况,所有景区以滚动条方式在屏幕上展示,景区所在城市天气情况实时呈现,滚动信息呈现,景区天气呈现,景区客流监控与预警,景区客流量呈现,景区热度排行,统计报表输出,特定景区实时/历史客流详细数据呈现,分析特定景区实时/历史客流量按日、周、月、年等走起进行趋势分析与对比分,析,实现全区特定时间段内景区热度排行,景区客流预警短信推送,相关信息报表输出,系统界面具备预警提示（局部闪烁或发出提示音）,根据景区容量特征等预设规则设置最大游客数,实时监控最大游客数，发现异常情况触发短信告警,可支持大屏、电脑、三种使用方式,手机,15,功能,功能,功能,本期实现的主要功能(2/2),游客归属地分析,统计到XX区内旅游的游客归属地功能，同时按地市、景区进行统计客流数据,客流归属地统计,区分展示XX区内各地市和全国其他省份展示界面,按各省市，统计市全年游客总数，统计各月份、各季度游客人数数据统计和比例，,与历史年份比较，统计同比增长比例及展示功能,景区客流轨迹分析,景区间客流轨,迹分析游客驻留时长,/频次分析,景区间客流轨迹分析：跟踪记录游客在多个景区见的活动轨迹功能，分析游客,历史游览习惯。,游客驻留时长/频次分析：统计分析游客在特定景区的主流时长，统计分析游客,在特地时间（日、周、月、年等）段内进入相关景区的频次功能。,平台管理功能,数据来源及分析方法,数据质量要求,可支持大屏、电脑、,手机,三种使用方式,16,功能,功能,功能,本期功能详述,全局客流量监控,全局地图呈现滚动信息呈现,景区天气呈现,大屏监控,全局总览,滚动呈现,景区天气,17,功能,盖本次故障的故障现象、故障处理过程、故,本期实现的主要功能(2/2),培训内容：系统实际操作练习,微信公众号 微信公众号底栏广告,经大规模生产系统、海量数据XXXP考验经大规模生产系统、海量,2、按照基本资源要求进行本期项目建设和部署3、后续需求增加后进行资源的扩容和产品的升级,2、公司及现场投入充足的人力资源保障项目1、建议采用最实际Gbase非流处理方案，或最优的商业流处理技术架构方案,分类、多维度、多标签分析,备注：可选用商业软件如：IBMstreams，Oracle CEP，也可选用开源软件，各有利弊,智能软硬件，任何一个模块可独立、快速上线。,四川西岭雪山景区客流分析系统,本期功能详述,景区客流监控与预警,3、景区或监控区按四级预警,全省一张图，景区或监控区按预警阀值分等级四级预,景区客流量数据呈现,景区热度排行,统计报表输出,警,按景区、监控区按热度排序，实时展现当前热力情况,1、常态监控,提供以GIS地图的方式展示人群流量信息、人群超标预警信息等功能，以全局视图总体监控人群信息,4、客户深度分析报表输出,深度分析客流变化、客流规律、客流群体特征等信,息，帮助管理者深度分析区域人群特点,2、热力图播放和对比,系统提供实时宏观热力图及播放功能，辅助管理者掌握人群分布和流动变化，更可对比前一天的热力图变化，帮助分析异常情况,18,功能,本期功能详述,景区客流预警短信推送,系统根据监控区域历史人群流量规律，引导管理者设置合理的预警阈值。在区域人,群超标时实时预警，并提供自动、人工短信预警的处置功能,19,功能,本期功能详述,游客归属地分析,统计到XX区内旅游的游客归属地功能，同时按地市、景区进行统计客流数据；,区分展示XX区内各地市和全国其他省份展示界面；,具备实时及历史数据统计及展示功能；,具备相关统计数据报表导出功能。,20,功能,本期功能详述,景区间客流轨迹分析,景区间客流轨迹分析：,游客驻留时长/频次分析：,跟踪记录游客在多个景区见的活动轨迹功能，分析游客历史游览习惯。统计分析游客在特定景区的主流时长，统计分析游客在特地时间（日、,周、月、年等）段内进入相关景区的频次功能。,关注公众号,亚信大数据,21,功能,01,智慧景区票务系统,智慧景区票务系统,国内旅游行业发展形势,大众旅游时代正式来临,全域旅游战略风生水起,智慧旅游建设如火如荼,自助游、自驾游、周末游等,全景区、全时空、全产业、全要素等,导航、导览、导游、导购等,我国进入“十三五”发展新时期，旅游业成为新常态经济增长新引擎。,总的来讲：全域旅游是发展理念，智慧旅游是实现手段，大众旅游是建设目标。,旅游+互联网、旅游大数据中心、最大承载量、12301等“治旅方略”正引起一轮新的旅游发展建设浪潮,。,智慧景区票务系统,景区7种常见面临的问题,一、容易制印假门票，无法进行复查，校对,二、电子票标准不统一，无统一发码编码等,作为“山寨”大国，遇到假门票是家常便饭！,耗费大量的时间和人力物力！,三、统计、分析不准确、不及时,四、容易出现资金对账不清晰、资金安全等问题,什么时代了,还在绞尽脑汁的计算，等等等等！,账目错误漏洞百出，钱都跑哪儿去了？,智慧景区票务系统,景区7种常常面临的问题,五、节假日人流暴增，景区压力大,六、价格管理乱，无法有效管理,七、营销策略制定难，广告效果差,黄金周变成“黄金粥”，售票验票停不下！,同一个景点，价格都不一样，敢不敢买？,认为是这样就是这样营销，一点也不靠谱！,面临重重危机？如何解决这些困境？,智慧景区票务系统,随着近年来旅游产业的不断发展，各地的旅游市场都呈现出火爆的局面，这也给各个景区提出了更高的服务和管理,要求。中科讯安助力景区在购票、入园、游园等各个环节为游客提供安全，快捷，方便，优质的体验，同时为景区降低,运营成本，增加运营手段，实现产业升级。,传统景区 VS,中科讯安智慧景区,热闹节假日售票窗口压力大,VS,支付宝、微信线上购票，无需线下排队购票,工作人员游客入园管理成本高,VS,微信电子二维码门票自助扫码过闸,机，无需人工检票入园,传统的线上售票运营推广成本高，,且OTA渠道占比高,VS,景区完全自建运营渠道，降低运营成本,与运营风险,无法收集游客信息,VS,知道游客信息，并有游客沟通渠道，,实,现智慧游园,智慧景区票务系统,7种解决方案,1,售票智能化,2,验票高效化,分销商的,对接售票,景区,门票,景区官方,网站直销,景点成为供应商，平台内有众多分销商为景点售票,景点可以在官网进行系统对接，直接进行门票销售,支持二代证、二维码、串码（数字码）门票验证,提高人流通过率，缓解柜台及入口压力，降低运营成本,智慧景区票务系统,7种解决方案,3,销量最大化,4,制票规范化,5,合作自由化,销量提升、利润可,资金,观,价格,流,客户,信息,管理分销渠道,编码,发码,验码,政策,2,开拓新的市场区域,1,3,对接主流电商、团购网等，快速打通,线上分销渠道，提升销售量,快速提高覆盖率，开拓新的区域市场,中科讯安对售出门票统一编码规范，,统一设置标准,门票由景区系统发出，避免分销商不,同模式的伪电子票扰乱市场,平台不干涉景区与分销商的价格政,策和资金流,平台不干涉分销商客户信息，若景,区要求分销商同意即可,智慧景区票务系统,7种解决方案,6,账目清晰化,7,决策数据化,账款安全,款到出票,轻松对账,性别、年龄,未来数据,营销、考核,地区等,预测,制定,在线支付：收到款后再出票，保证交易资金安全,分销商预存：预存充值，系统自动对预存金消费做抵扣,分销商授信：授信管理，透支一定购票金额后需补缴余额,输出明细和汇总报表，省去景区与分销商繁琐的对账过程,景区通过后台收集海量数据，用于管理层决策,后台对景区售票数据预判未来时间游客预警,为景区提供营销方案的可行性数据源,景区各区域经理业绩考核助手,智慧景区票务系统,电子票务系统,智能软硬件，任何一个模块可独立、快速上线。帮助客户拓宽销售渠道、加强管理、汇聚数据及资金。,线上电商（OTA）去哪儿 同程,手机号验证,WE,139*49,B,线上平台,（淘宝、论坛等）,短信串序号,移动电商,JQ8310ZSF,验票取票,（携程、艺龙APP等）,二代身份证,手,机,微信,身份证。,验票,（景区微信、分销号）,验票取票二维码,（微信支付、支付宝等）扫码购票,取票验票配置终端,指纹验票,现场打印出票,8,智慧景区票务系统,票务分销系,统,100+,线上线下分销渠道整合对,接,为景区门票,分销,建立无缝化通道,智慧景区票务系统,提供统一制码、译码、核销,线上购票后,终端取票,入口检票,生成二维码或序列号,可自定义票张样式,扫码枪、闸门多种,智慧景区票务系统,Thinkstar,智能云闸机,支持多种验票方,式,支持景区客流统计，游客人群画像分析,智慧景区票务系统,Thinkstar,智能云闸机,智能闸机支持LAN/GPRS/CDMA/WIFI多种通讯，与线上线下销售渠道无缝衔接,支持人脸识别、指纹、IC卡串号、二维码、二代身份证等多种验证方式,02,智慧票务与客流数据分析,智慧票务与客流数据分析,智慧景区大数据综合分析平台,智慧票务与客流数据分析,大数据分析,基于景区的数据采集,基于特定景区的数据采集，根据不同景区进行个性化定制数,据分析，独立数据建模,数据采,集,基于云计算的数据分析,根据不同景区采集的数据进行云计算分析，对用户群体进行,分类、多维度、多标签分析,数据分,析,生态体,软硬结合的营销体系,通过软硬件结合方式，形成完整的数据收集、建模、整理、,分析、投放、转化等多维度闭环,系,智慧票务与客流数据分析,数据如何采集,数据采集,电子围栏采集，用户轨迹分析,全方位、多维度采,集数据，基于云计,算做深层数据分析,票务数据采集，掌握景区状况,消费数据采集，了解热门商品,智慧票务与客流数据分析,全域场景采集,交通,住宿,景点,公共场所,其他,码头,酒店,旅馆,民宿,景区,公园,沙滩,绿道,旅行社,商业街,火车站,汽车站,博物馆,游乐场,演出场所,机场,美丽乡村,大巴,客船,高速服务区,智慧票务与客流数据分析,客流统计,智慧票务与客流数据分析,客流统计,驻店率、跳出率统计,人数统计,停留时长、新老客户统计,智慧票务与客流数据分析,游客画像分析,男女、年龄段比例,学历、手机品牌、有车比例,收入、职业、爱好分析,手机型号、系统版本分析,智慧票务与客流数据分析,游客画像分析,全面掌握客流动态和景区游客线下行为轨迹，了解景点间关联度，辅助景区调整与组合决策。,智慧票务与客流数据分析,游客画像分析,深度了解游客基本特征与线上行为偏好，挖掘个性化服务，提升游客消费体验,兴趣偏好,网络购物、影视音乐、金融财经、生活服务、汽车、游戏等,关注的箱包、服装、鞋履、配饰、,品牌偏好,性别比例,消费习,学历水惯,职业分平,婚姻状布,年龄分况,常住地布,个护美容、家电品牌,菜品偏好、口味偏好、菜系选择、就餐,就餐偏好,基础属性,行为属性,目的,关注的影片、导演、演员、影片类,观影偏好,型、制片国家,影视动漫、新闻和体育、金融、生活,搜索关注,区,服 务、旅游、教育培训、网络购物,大数据与互联网精准营销,全、旅游、交通、金融、保险等众多领域。,同模式的伪电子票扰乱市场,微信朋友圈 微信朋友圈图文、视频广告,一、容易制印假门票，无法进行复查，校对,智慧票务与客流数据分析,应用接入由统一的认证服务,实现对全省整体区域的客流量、人员聚集趋势的监控和预警,时间：1天地点：南宁市,提供的售后服务热线进行故障申报。,根据景区容量特征等预设规则设置最大游客数,活快速构建辑抽象、封装、组合，实,快速提高覆盖率，开拓新的区域市场,课程名称：XX智慧旅游景区客流量大数据分析系统操作,具备相关统计数据报表导出功能。,03,大数据与互联网精准营销,大数据与互联网精准营销,互联网精准营销,用户分析 画像匹配,人群匹配,精准投放,95%-98%的用户统计率、86%-93%的画像还原率,数据采集,报告总结,现场监测,iifr,恩,大数据与互联网精准营销,详细景区用户识别，建,立用户数据库,个性化用户数据建模，,云计算分析投放策略,投放媒体组合策略及投,放预算规划,媒体投放，平台组合投,放及单独投放效果评估,大数据与互联网精准营销,移动互联网精准营销,移动互联网广告优势,1,良好的交互性,4,目标受众明确,2,传播范围广泛,5,广告形式多样化,3,即时快捷，广告成本低,6,广告效果可监测,大数据与互联网精准营销,移动互联网精准营销,1良好的交互性,移动互联网营销“Anytime、Anywhere、Anyone”的特征和多样化的营销形式使得消费者与广,告主之间建立起相互沟通的关系，使移动互联网广告内容对用户产生的影响和改变作用是其他媒体所无,法达到的。,2传播范围广泛,随着智能手机和移动支付的发展和普及，移动互联网广告现在的覆盖程度、影响广度与深度已经和,电视、互联网在同一量级，已经远远超过报纸、杂志、广播、户外等传统媒体。,大数据与互联网精准营销,移动互联网精准营销,3即时快捷，广告成本低,移动互联网广告可以即时快捷的传递信息，使目标受众在短时间就接收到广告信息，并做出即时的,反映，通过转发、消费等形式表现出来。移动广告的制作和投放成本也相对较低，加之较高的到达率，,使得移动互联网广告营销的成本远低于传统广告营销。,4目标受众明确,目标受众明确，广告投放精准。相对与传统广告媒体，移动广告可以根据用户画像针对不同地区、,不同属性的用户进行精准的广告投放。,大数据与互联网精准营销,移动互联网精准营销,5广告形式多样化,移动互联网广告可以通过文字、声音、图像、动画等不同的形式展现。广告内容可以是互动式、下,载式、跳转式、返利式等。,6广告效果可监测,利用传统媒体做广告，很难准确地知道有多少人接受到了广告信息。移动互联网广告可以很方便的,监测到广告投放的到达率、点击率、转化率等效果。,大数据与互联网精准营销,移动互联网精准营销,广告投放途径 广告投放类型,微信朋友圈 微信朋友圈图文、视频广告,微信公众号 微信公众号底栏广告,手机QQ QQ空间广告,手机浏览器 手机浏览器信息流广告,移动联盟 腾讯联盟插屏广告,视频广告 视频软件通栏大图广告,社交软件广告 社交软件通栏大图广告,大数据与互联网精准营销,移动互联网精准营销,DSP广告,朋友圈广告,头条广告,新闻类广告,头条,贴片广告,banner广告,首页大屏广告,朋友圈广告,平台技术架构,本期项目范围,本期不实现,资源现状限制,展示层,JSP,HTML5FLEX,GIS,大屏,APP,服务层,WebService,RMI,Socket,MQ,API,FTP,应用,内存数据库,oracle,任务,调度,工具,处理层,Hadoo,Gbase,p/,模型,实时处理,流处理,内存缓存,批量处理,Impala,计算层,采集层数据,JMS批量分发工具,ETL批量采集工具,数据源,A口信令,UICS信令,GN口信令,省经数据,外部数据,备注：,颜色部分依赖于局方,现有技术平台或规划技术选型,1、流处理：,可选用商业软件如：IBMstreams，Oracle CEP，也可选用开源软件，各有利弊,2、内存数据库：,商业软件TimesTen，开源Altibase，各有利弊,3、内存缓存：,可选用商业软件如：Conherence，WebSphere，也可选用开源,4、MPP：,可选用商业软件如：Gbase，基于XX移动现状，可实现景区内准实时客流监控，按日按月客流来源及轨迹分析。,54,系统整体架构数据处理流程图（一、商用混搭软件方案）,Hadoop,原始信令历史存储,信令数据源,一分钟,文件,Weblogic JMS,消,IBM streams,内存数据库,信令接口机,信令数据,信令分布式分,息,位置基础模型计算,发,一分钟,实时应用计算,应用数据,服,开放,前台,展现,用户位,置,应用数据库,务,开放,内存网格,用户位置,用户轨迹,应用数据,挖掘统计数,据,用户轨迹,一天,外部,用户,一天,Gbase,一天,非实时应用计算,应用数据,数据仓库省经,ETL,轨迹历史存储分析及挖掘,用户信息客户标签,55,信令数据,系统整体架构数据处理流程图（二、开源Spark软件方案）,Spark,信令数据源,分钟级,信令接口机,文件,位置基础模型计算,Spark Streaming,信令数据,用户位置用户轨迹,用户位置,用户轨迹,分钟级,前台,展现,实时应用计算,Spark SQL,应用数据库,服,务开,放,应用数据,应用数据,挖掘统计数据,外部,用户,省经,一天,Hadoop/Impala,原始信令历史存储非实时应用计算,一天,数据仓库,ETL,应用数据,用户信息客户标签,56,系统整体架构数据处理流程图（三、非流处理方案）,Hadoop,原始信令历史存储,信令数据源,信令接口机,按周期性,（十五分钟）,Gbase,前台展现,十五分钟小时、天,应用数据库,服务,文件ETL,周期性景区用户,数分析（15分钟级）,ETL,应用数据,挖掘统计数据,开,放,景区基站,信令过滤,外部,用户,非实时景区内间,应用数据,省经,一天,ETL,轨迹历史存储分析及挖掘,数据仓库,用户信息,客户标签,备注：,可选用商业软件如：IBMstreams，Oracle CEP，也可选用开源软件，各有利弊,57,方案对比,：方案选择，取决于XX移动现有的大数据软硬件资源情况,商业混搭软件方案 开源（Spark）方案 非流处理方案,开发难度,有开发经验,开发方式探索中,容易,系统性能,好,好，待测试,一般,系统稳定性,系统扩展性,系统成本,较好,待实际运行验证,一般,好，但受制于商业软件license,好,一般,，需求增加需重新开发,高,，商业软件,一般，实时应用统计需单独的内存数据,库实现好，用统计SparkSQL组件可承载实时应,短,，软件产品均利旧，开发模式成熟,长,发，尚需一段时期的技术探索和研,短,，,易,，有原厂支持，出现问题能立马解决,难,问题需自己解决，技术升级需研发，出现新异常,难,，需求增加需重新开发,12、三种方案、,能力差异,都能满足,：流处理方案可处理,全省用户及漫游用户,现有业务需求,低,，开源软件,低,系统集成度,好，,系统建设周期,后期升级维护,实时,及非实时轨迹分析,；非流方案,只能基于圈定的景,总结,区做挖掘分析,3、,业务拓展差异,：流处理方案的全量用户轨迹数据可扩展应用在,旅游全流程,（比如交通方式、住宿餐饮位,置等）时若有景区外挖掘分析,及公共安全、商业运营需新开发。,等方面；非流方案后期需配合信令采集周期及流处理改造进行,配套改造,，同,58,最实际,最优,软硬件资源要求（两种方案均需要的硬件资源要求）,序号,模块 处理内容列表 基础配置建议 高可用配置建议 估算说明,1、旅游业（未来：公共安全）2、处理内容：,处理实时用户位置数据，得到全省及外地漫通话详单等,入用户位置。,4台X86服务器：1个管理,节点，3个计算节点；,8CPU，256G内存，600G,单台配置：X86,2.3GHz,，,磁盘,6台X86服务器：1个管理,节点，5个计算节点；单台配置：X86,2.3GHz,，,8CPU，256G内存，600G磁盘,流转到流处理需要处理的数据量每分钟约2G。（每分钟）,Mc+上网等，预估每天34T（1+33）；,上网位置：33T*5%*1024/24/60=1.2GMc位置：1T（目前是每分钟700M）,1 流处理模块,DPI信令数据MC信令数据,2台X86服务器；,单台配置：X86,2.3GHz,，,8CPU，512G内存，600G,磁盘,4台X86服务器；,单台配置：X86,2.3GHz,，,8CPU，512G内存，600G磁盘,2,内存网格模块,1、旅游业（未来：公共安全）2、处理内容：实时位置识别数据的存储、计,算、查询、管理等用户位置、用户轨迹,内存缓存基于流处理得到用户的当前位置数据，每分钟2G；,考虑峰值状态读写，每分钟读写60w条记录,可复用现有平台资源,3台X86服务器；,单台配置：X86,2.3GHz,2CPU，256G内存，15TB,，,磁盘,可复用现有平台资源,6台X86服务器；,单台配置：X86,2.3GHz,2CPU，256G内存，15TB,，,磁盘,处理数据总量18T，按照存储时压缩75%，则需,要14T左右存储空间。,接口层：2T/天（存3天）轻度汇总层：0.4T/天（存31天）,3 Hadoop,1、用户轨迹数据存储及轻度汇总分析,2、进行接口层数据处理，以及轻度汇总,Hadoop处理的位置数据输出在各行业可复用。,1、旅游业（未来：公共安全）,2、处理内容：汇总统计、挖掘等，例如：按日、月统计等；,2台X86服务器（2管理+8,可复用现有平台资源,计算）；单台配置：X86,2.3GHz,，,2CPU，256G内存，5TB,磁盘,可复用现有平台资源,4台X86服务器；,单台配置：X86,2.3GHz,2CPU，256G内存，5TB，,磁盘,则数据总量为7T左右，建议配置10T。应用数据：10G（存1年）,重度汇总层：0.1T（存1月）,4 Gbase,构成、爱好等挖掘等。,1、旅游业（未来：公共安全）2、处理内容：,2台X86服务器,X86,2.3GHz，2CPU，256G内存,2台X86服务器,X86,2.3GHz，2CPU，256G内存,基于GP应用数据，进行压缩存储，支撑查,询、统计分析；,按应用层需求设计应用层表模型存储，提供给界面展示和接口服务，Oracle数据存,储容量需要500G。,考虑未来支撑不光旅游业（未来：公共安全）,5 Oracle,各类统计、分析数据：如各景区游客归属、逗留、标签等。,流处理模块资源要求,并能够实时快速响应，以及高可靠性。,6,Web应用及服务管理,包括Web服务；以及服务管理（服务请求、调用，服务监控、安全等）。,共3台X86服务器，3台作为前台应用服务集群,共5台X86服务器，5台作为前台服务集群和服务总,基础模块资源要求,线（如API等）平台,59,Part 4,实施计划&风险评估,项目实施计划,任务 计划 9月 10月 11月 12月 16年1月,项目启动,1天,需求调研,10 天,需求分析,9天,设计与开发,42天,测试,15天,联合测试上线,试运行,15天,稳定试运行,运营维护,30天,本期项目结项,已完成,正在进行中,未开始,*,项目风险及问题，我们的应对建议及措施,项目风险及问题,应对措施,项目延期风险,项目保障方案,局方和客户约定项目周期不足三个月，如何保障项目按期上线,2、公司及现场投入充足的人力资源保障项目1、建议采用,最实际,Gbase非流处理方案，或,最优的,商业流处理技术架构方案,软硬件环境问题,资源配置方案,大数据平台是华为承建，位置信息处理所需要的必备软件如流处理、内存缓存等目前不支持。采购周,期长可能影响项目,按,1、,最实际,Gbase非流处理方案，可及时响应现有及可预知的旅游景区需求,2、按照基本资源要求进行本期项目建设和部署3、后续需求增加后进行资源的扩容和产品的升级,准确性问题,模型和数据校准方案,用户基数,加上市场占有率、各环节用户失真。的准确性：目前采集数据源缺少4G信令，,1.1提升基站、小区信息的准确度，提升景区和小区模型映射关系，1.2提升,用户位置轨迹计算模型算法；1.4优化模型，移动用户数对游客数的修正模型、工作地居住地模型。1.3增加信令数据采集种类，提升用户基数；,位置及轨迹,的准确性：由于此方案依赖用户信令，,信令数据丢失、延迟、时序错乱等,监控实时性问题,实时性建议及方案,及时性：景区监控实时性要求是否能满足；目前信令采集周期是15分钟，加上数据处理时间，数据及,1、先按旅游局15分钟实时性实现，后续频度从15分钟提升到1分钟及到实时流；,2、将批处理改进到流处理，提升用户位置数据的实时性、准确性,时性约30分钟，展示间隔周期15分钟。,62,Part 5,成功案例&培训计划,浙江移动公共安全事件防控平台,背景：浙江省委书记亲自批示的项目（浙江移动“一号工程”）；位置信息运营属于新产品接到该紧急任务4月初入场伊始面临时间紧（5月10日具备联调、5月底要求一阶段上线）、要求高（数据精度、,UI及交互要求高），且采用新的技术、新的架构支撑全新的场景需求，项目团队在不断的技术、数据验证过程中保障项目的整体按计划推进。,3.25,召开浙江公司大数据辅助突发公共事件防控平台建设需求讨论会。,4.02,项目组入场（人员来自9个部门），启动建设,4.14,与政法委各部委进行方案可行性评审,5.07,依据系统数据发布“五一断桥报告”并给政法委汇报,5.31,系统试运行,6.04,政法委汇报（政法委副书记：李新强）及系统演示,6.26,政法委汇报（政法委书记：王辉忠）及系统演示,目前已启动二期规划和需求，并计划10月份向省委书记汇报，,同期启动试点的产品收敛工作。,64,浙江移动公共安全事件防控平台,实现对全省整体区域的客流量、人员聚集趋势的监控和预警,1,全省全局一,屏展示,区域特性细,分展示,2,全省大屏展示，全局一张图，,20分钟,一,更新，落实,挂图作战,按交通、商圈、景区（可扩展），,聚焦,区域,展示人流动态,3,按时光轴,动态展示,实时监控,预警,4,按天、按小时的,时光轴方式、GIS可视化,动态展示人流量,变化及趋势,通过,红橙黄绿,四个等级，监控预警人流量热点区域,案,例,首页监控，多个地区出现在,红色预警区域,，,点击汇和国际商业中心进入区域监控详细页（见下页）。,65,浙江移动公共安全事件防控平台,实现对关键区域关键时段人流量变化趋势监控预警,重点区域监,控,5,1、2、支持监控区域的,GIS可视化、实时展示,实时排序,4、支持GIS动态播放5、支持图形展示,人流量变化,热力图趋势图,重点时间,监控,6,案,例,汇和国际商业中心，,人流量饱和度持续升高,，原因是适逢节假日，商场促销活动。,66,安徽省移动智慧旅游平台,安徽移动智慧旅游平台通过建立一套,游客识别模型提供游客行为分析服务,的平台。平台,为旅游行业客户提供,八大分析、四大管理,功能，支撑旅游行业主管机构进行日常数据分析。,1,客流趋势分析,2,客流日监控分析,3,客流来源分析,4,客流驻留时长,5,客流轨迹分析,6,驻留特征分析,7,WAP搜索热度分析,8,旅游相关度搜索,使用对象：移动产品管理员,使用对象：各级旅游局、景区及某省移动产品,管理员,基本分析功能：,客流趋势分析,增强分析功能,四大管理功能,客流日监控分析,客流驻留时长分析,客流驻留特征分析Wap搜索热度分析,旅游相关度分析,景区信息管理,功能订购分析,集团订购分析,使用情况分析,客流来源分析,客流轨迹分析,67,安徽省移动智慧旅游平台,基于景区：,黄山风景区大数据旅游项目于15年4月正式启动，一期主要实现玉屏楼、云谷寺、光明顶三个景点的人流量监控,及黄山风景区游客来源地分析等功能。,基于旅游局：,安徽移动和省旅游局签到了智慧旅游战略合作，基于移动数据为景区管理和营销提供景区及其景点实时客流量,监控，来源地、旅游规律分析，历史数据对比分析等。,行业拓展,旅游行业模型分析和一期应用建设（黄山风景区、省旅游局一期）旅游方向业务模型挖掘：旅游个人爱好、居住地工作地、旅游周期性等,68,四川西岭雪山景区客流分析系统,四川西岭雪山景区客流分析系统,业务范围:实时监控和管控景区的客流情况,服务范围:监控和管控以及数据分析为一体的软件系统,项目目标:保证游客的旅游质量和人生安全,景区实时概况,景区实时游客人数,景区负荷量,本日景,区游客趋势,景点实,时人流情况,整体趋势分析,用柱状图实时展,现当日的景区游客人数随时间的,变化预测本日景区接,下来的时间的游客趋势,具体每个景点的实时游客人数,景点负荷量,69,培训计划,亚信为XX移动智慧旅游景区客流量大数据分析项目提供技术培训。使旅发委和局方人员达到能独立进,行管理、维护测试和故障处理等工作，以便系统能够正常、安全地运行。,采用集中培训和现场培训结合的方式，具体如下：,集中培训一：课程名称：XX智慧旅游景区,客流量大数据分析系统架构,培训,培训对象：