基于用户感知的无线网络大数据分析平台-V0.1PPT.ppt

基于用户感知的无线网络大数据分析平台,介绍材料,深圳天源迪科,信息技术,股份有限公司,2016,年,11,月,平台简介,2013,年开始，天源迪科积极开展无线大数据的探索工作，,14,年基本成型，开始推广使用，经过,4,年不断发展和完善，在,2/3/4G,网络上，建立了基于用户感知的评价体系，应用于网络优化、网络建设。提升了网络运营效率，实现了对客户的主动服务。,平台应用范围：中国电信、中国移动、中国联通,平台适用部门：网络部、建设部、维护部、市场部、数据部、信息部,平台获得荣誉：国家科技进度二等奖,平台应用场景：,客户服务类：创新主动用户关怀，通过网络用户的感知分析，先于用户投诉发现问题，主动关怀客户，提升客户满意度，挽留高危客户,网络运营类：从用户维度评估网络质量，按区域分析网络情况，关联用户投诉信息，对感知“差”集中的区域集中处理网络问题；及时发现网络中存在的问题，改变以往以大量路测为主的测试分析方法，将维护人员从海量的数据分析中解脱出来，提升维护效率，实现网络运营智能、自动化,目录,平台概述,1,2,功能介绍,3,项目资源,大数据平台建设背景,网络资源,网络质量,网络维护,集中化生产,面对移动的业务高速增长、以及业务类型和用户业务模型的变化，现有手段尚未有效改善网络资源利用效率，网络投入不堪重负。,面对差异化，多样化、融合性的业务需求，以及容量增长、网络容量需求给网络质量带来巨大压力。,2G,、,3G,、,4G,三代并存，造成网络维护工作量大、网络维护开支高。,四网协同发展的网络维护复杂度高、人力短缺,网络生产集中化解决方案缺失，现有日常人工优化手段多数依靠经验，容易引起误判、误调整。,缺少工具支持，优化及时性、准确性差，专家未被高效利用。,面对越来越激烈的市场竞争、要求越来越高的用户、越来越庞大的网络以及越来越紧张的成本压力，需要更先进的网优生产模式，实现集中化、标准化，大幅提高生产效率，以适应全球最大、最复杂网络的要求,传统无线网络优化以性能、,TOPN,小区、,DT/CQT,、用户投诉等点、线问题处理为主，存在以下问题：,无法完全反映客户感知,难以直观反映网络区域性问题，传统路测方式具有一定的盲目性，耗时耗钱,人员数量要求多、技能要求高,优化结果验证耗时耗人，准确性不高,建维优联动无,IT,系统支撑，协同效率不高,基于海量用户语音及上网数据、客户投诉、,DT/CQT,、网络指标等多维度数据建模、关联分析，并辅以专家经验，打造,“傻瓜化、直观化、图形化”的无线网络智能优化系统，实现以下能力：,真实反映用户感知，主动服务客户，提升,10000,预处理能力,快速准确定位最急需解决的网络区域性问题，自动输出专家优化建议,实现优化结果自动闭环验证,基于业务预测，实现板件、空口能力分析和预警,以系统为支撑，重构高效的建维优流程,感知评估,服务支撑,精确定位指导优化,规划支撑,指导投资,集约高效,提升效率,现状问题,解决思路,实现效果,平台总体概述,CDT,（,2G/3G/LTE,）,OMM,性能、配置、参数、设备告警,（,2G/3G/LTE,）,投诉信息,智能化预处理,关联分析,1,、行为刻画,2,、感知评估,3,、健康档案库,用户感知评估,投诉预处理,客户关怀,网络质量评估,DT/CQT,质量,/,容量评估,异常事件,质量,/,容量预警,问题精确定位,行为分析,决策依据,LTE MR,输入,分析,应用,平台建设思路,重点聚焦用户,体验,质量评估,容量评估,异常事件原因分析,区域性,/,系统性问题精,确定位,感知评估,决策依据,投诉处理分析,客户关怀,行为分析、市场支撑,服务支撑,网络评估,网络预警,话务、业务、流量模型建立,质量预警：质量突变、呼吸效应,容量预警：板件、无线资源,网络规划建议,感知评价体系建立,用户行为刻画,健康档案库建立,平台核心能力,10,亿条话单记录,2TB,CDT,话单记录,10,亿条话单记录,50GB/,日,性能数据,投诉、用户终端,2GB/,日,ODS,数据,工单、作业计划,1000,条,/,日,电子运维,网络资源,1GB/,日,资源系统,应用层预处理,网络层预处理,1,千万条话单记录,接入,-,保持,-,质量,异常话单,1,百万条记录,区域评估,栅格质量,1,千万条记录,用户感知评估,用户汇总,2,百万条记录,预警、优化,容量,/,业务,/,参数,GIS,预处理,专题预处理,派单预处理,分析预处理,报表预处理,海量,采集,云平台,预处理文件采集,Hadoop,集群,列式数据仓库集群,GIS,服务器,Web,服务器,云化,存储,切片,分拣,汇总,处理,直观,呈现,平台逻辑架构,建立业务模型和感知评价体系，刻画用户行为与通信质量特征,客观评价用户感知，贴近用户真实感受,主动推送感知差用户至前端，挽留客户，送,10000,号定位异常位置与原因，提升用户投诉处理效率,国内外运营商及主要设备厂家提出了建设大数据系统的初步想法，但均未实现。,迪科网优平台为国内外行业中首创，多项技术达到了业界领先水平一、客观评价用户感知，服务支撑市场与客服,二、结合传统优化模式，基于海量用户通话感知数据定位问题区域，使优化更具目的性,建立质量与容量评估体系和基于栅格的网络区域问题定位算法,结合传统优化模式，,统筹,TOPN,小区和,TOPN,区域,作为问题点进行优化,三、结合专家经验创新算法，智能给出优化建议，实现智慧型网优,智能快速给出优化建议,提升网优效率，节约大量人力物力,四、精确容量管理，指导规划建设，节约投资,基于业务模型，创新建立无线网络,负荷预警,机制,预警,MP/CC,等核心板件、空口负荷瓶颈，避免因过载出现的风险,预测呼吸效应、结构性缺站等问题，精确指导规划建设，,节约投资,五、重构全新的网优业务流程,创新建立的,“,大数据分析牵引建设、维护、优化”的,全新流程,，自动化闭环管控,基于用户真实通话记录评估验证优化效果,六、创新系统架构，兼容,2G/3G/4G,，成为行业标杆,基于,Hadoop,的云平台架构，保障运算效率，功能响应时间低于,5s,，兼容,2G/3G/4G,，扩展性强,“,直观化、傻瓜化、图形化,”的一键式操作特点，易用性强,平台主要特点,总体思路：以,“,专业化、集约化,”,为驱动，围绕,网络,基础运营、大数据分析、服务支撑,三条主线，以,大数据分析为牵引,，指导建设、维护与优化，提升专业化、集约化运营能力。,夯基础,强分析,基础维护,基础网优,系统分析,专题,/,专项,市场支撑、客户服务,基础运营,大数据分析,服务支撑,重服务,大数据分析,基础网优,基础维护,规划需求,容量预警,网络问题,维护问题,专业化,集约化,规划建设,服务支撑,服务推送,投诉反馈,平台主要业务流程,(1/2),建立以大数据分析为牵引建维优的网络运营体系,*,平台主要业务流程（,2/2,）,关键算法流程,容量管理,CDT,数据,性能统计,BHCA,维度资源利用率评估,话务量维度资源利用率评估,吞吐量维度资源利用率评估,规划用户数,预测的话务模型参数,现网容量分析,容量分析及预测,BHCA,维度资源利用率预测,话务量维度资源利用率预测,吞吐量维度资源利用率预测,容量预测和风险业务评估,配置数据,话务模型分析,重点业务风险评估,1X/DO,空口资源利用率评估,1X/DO,空口资源利用率预测,1X/DO,全网话务模型,按区域话务模型,按业务话务模型,话务模型分析,关键算法流程,质量分析,CDT,数据,CM,数据,工参表,DT&CQT,分析,CDT,数据质量分析,栅格,1X,掉话率,栅格,1X,接入成功率,栅格,DO,掉线率,栅格,DO,掉线率,1X,弱覆盖栅格,1X,导频污染栅格,DO,弱覆盖栅格,DO,导频污染栅格,容量分析,关键算法流程,CDT,关联,DT/CQT,分析,根据,CDT,数据可以输出存在覆盖问题的区域，综合,DT&CQT,的测试结果，确认问题区域,CDT,预测,DT,测试结果,修正,修正后的,CDT,结果,移动终端,CQT,测试,关键算法流程,异常事件原因定位,系统原因,设备告警,系统原因,容量原因,过载,参数配置,PN,混淆,邻区漏配,邻区错配,覆盖原因,过覆盖,弱覆盖,导频污染,快衰落,告警原因码,系统失败原因码,过载的原因码,PN,混淆的小区对,错漏配小区对,覆盖问题小区,CDT/LTE UDT/MR,数据库,异常呼叫话单,关键算法流程,用户感知评估,目录,项目背景,1,2,功能介绍,3,项目资源,概述,系统主要功能：,精确管理无线基础数据,对感知差用户提供主动服务,网络优化,网络健康检查,建设支撑,区域监控,“两端关联、五阶网元”法,两端关联：无线话单和核心网业务话单一一关联,五阶网元：用户锁定网络、接入业务、保持业务、互操作、释放业务整个业务流程经历了终端、基站、传输、核心网、,SP,五种典型网元。这五种网元都有可能是导致用户感知差的主要因素。,“两端关联、五阶网元”法通过全流程的话单关联，深入相关性分析可能引入问题的网元，并针对话单细节分析找到问题根因。,端到端业务定界定位技术说明,功能概述,基础数据管理,2,客户服务,3,1,网络优化,健康检查,4,规划建设,5,6,特定区域监控,7,基础数据管理,基础数据管理,基础数据是网络大数定位算法和分析工作的基础，数据及时、有效、准确、规范至关重要！,及时性：,支持实时导入、导出、在线和离线修改，支持变更通知。,准确性：,关联无线网元参数配置的大数据校正，关联无线,+,核心网侧的用户大 数据校正。,有效性：,支持基础数据有效性检查，核查数据取值、数据规范、数据逻辑、空数据等方面的内容。,规范性：,支持基础数据库、网管、维护多方数据统一规范，周期性同步更新。,基础数据管理上，尤其是针对天线参数数据，传统的检测管理方法，“耗时花力”难以做到及时、准确，运用大数据后，可以高效的发现和快速解决问题。,基础数据管理,天线参数检查,关联无线,+,探针经纬度数据，得到准确的位置、小区、信号强度信息，不依赖于传统工参，算出小区实际天线参数并指导检查与调整。,分析和,GIS,呈现经纬度异常小区、方位角偏差小区以及天馈接反小区，提升基础数据准确性；网优人员不需要上站检查，即可发现天线参数异常问题，指导射频优化，减少分析测试工作量，降低维护成本。,天线工参记录的方位角,实际覆盖区域,案例,1,方位角错误,案例,2,天馈接反,天线工参记录的小区,3,方位角,实际覆盖区域,工参记录的小区,1,方位角,实际覆盖区域,功能概述,基础数据管理,2,客户服务,3,1,端到端网络优化,健康检查,4,规划建设,5,6,特定区域监控,7,客户服务,经过大量的用户感知数据、投诉数据分析，建立了一套含盖无线、核心网、互联网的综合感知评价体系。运用这套体系，实现对四川全部用户的语音和数据感知评价。针对评价差用户，自动进行原因分析，自动派单，自动验证，闭环管控处理，实现了对用户的主动服务。,传统客户服务处理流理,大数据客户服务处理流理,客户服务,-,用户感知评价,CDMA+LTE,用户感知评价,语音感知打分,=,（无线信号质量,+,语音质量,+,接入失败,+,异常掉话）这四个维度的综合评价；,数据感知打分,=,（无线信号质量,+,数据业务体验,+,接入失败,+,异常释放,+3/4G,重定向）这五个维度的综合评价；,客户服务,-,用户感知档案库,用户感知档案库,运用每日对用户感知评价数据，形成用户感知趋势曲线。同时在曲线相对应的时间点上，标注曾经对用户提供服务的记录，最终形成全生命周期的档案库。,派单,结单,客户服务,-,用户感知端到端分析,用户感知端到端分析,从无线、核心网、,SP,指标对用户感知进行端到端分析。,1,、无线综合分析：呈现全天无线环境，无线侧产生的异常事件及原因分析，,2G/3G/4G,的业务使用情况,2,、核心网综合分析：核心网相关网元分析,3,、主要,SP,指标分析：对主要,SP,指标进行对比分析，并找出存在问题的相关服务器,客户服务,-,质差用户主动服务,自动派单,在连续,7,天时间里，发现有,4,天以上感知差，系统自动派单，同时给出问题区域及处理建议,自动验证,系统进行自动跟踪和验证，持续,5,天效果变好，系统自动结单,问题区域,原因分析及处理建议功能概述,基础数据管理,2,客户服务,3,1,网络优化,健康检查,4,规划建设,5,6,特定区域监控,7,网络优化,优化思路：,通过质差区域功能，实现网优工作方向由原来关注小区，到现在聚焦处理区域问题转变；工作方法由原来离散的覆盖分析、事件分析，转变成现在的大数据多维度自动分析、自动定位、派单、验证、闭环；,质差区域：,从异常事件入口，结 合网络各种覆盖问题，分析区域的用户感知问题，综合评估出质差区域。得出质差区域后，系统自动分析覆盖、无线资源、参数配置、隐性故障、异常事件等方面的原因，生成综合优化建议，指导网络优化工作开展；针对质差区域，系统自动生成工单派单，回单处理后，系统自动验证问题解决。,质差区域分析,质差区域生成,质差区域生成：从问题现象入口，掉线、切换失败、重定向结合覆盖问题及用户感知评价，生成质差栅格，聚合栅格生成区域。,质差区域分析,自动分析,网络问题分析：,质差区域里有用户投诉、多个用户感知体验不好；区域里有过多的用户感知差栅格。,原因分析：,原因分析质差区域里有导频污染问题，并且区域周边也有较多的导频污染问题,质差区域分析,优化建议,网络问题表：,网络问题列表分析发现，质差区域范围内，存在的问题有导频污染、硬件资源过载、传输故障、等问题。,综合优化建议：,综合优化建议列表，提供了优化该质差区域的建议。从内容上看，主要解决无线资源、导频污染的问题,质差区域处理,自动派单处理,8,月,11,号系统自动判别质差区域问题比较严重，影响面广，自动生成工单派发,质差区域处理,问题发生派单前网络状况,问题处理后网络状况,自动闭环验证,8,月,11,日系统自动派单，,8,月,17,日第一次验证未通过，自动驳回，,8,月,24,号第二次验证通过，系统自动结单。该质差区域问题得到较好的解决,功能概述,基础数据管理,2,客户服务,3,1,网络优化,健康检查,4,规划建设,5,6,特定区域监控,7,健康检查,健康检查针对网元数据配置，开展数据规范性、统一性、合理性、逻辑性的评估与核查。是周期性、常态化网络健康度评估、网络安全隐患排查、网络结构优化调整的强有力手段。当前健康检查系统以天为单位自动生成分析结果。,健康检查,-,导频污染分析,功能特点：自动识别出导频污染严重区域，为区域问题解决提供解决方案,功能支持：问题栅格区域聚合、问题区域对应问题小区列表分析、,健康检查,-,多载波插花,功能特点：,GIS,直观呈现多载波插花，为网元结构优化提供强有力支撑,功能支持：全频点,GIS,展示、按频点组合呈现插花情况,载频插花基站,健康检查,-LAC,分析,功能特点：,GIS,直观呈现,LAC,分布区域情况，直观发现,LAC,设置问题小区信息,LAC,边界插花,健康检查,-3G/4G,互操作分析,功能特点：,与覆盖,GIS,联动自动对比,占比及趋势观察,严重问题小区分析是否覆盖问题,派单到无线,派单到核心网,实施解决,是,否,快速发现覆盖原因引起的重定向问题区域。,网络优化解决不了的覆盖问题，走工单规划流程,健康检查,-,外部干扰分析,功能特点：,自动识别上行干扰小区，直观生成干扰时间、干扰强度、干扰频率的二维展示，为干扰类型判断提供依据,功能支持：排名分析、趋势分析、自动分析及解决方案提供、支持问题列表与,GIS,联动分析、干扰时段分析,健康检查,-,过覆盖分析,功能特点：小区与栅格维度联动分析，快速定位过覆盖小区影响的程度，详细的量化指标，准确得出过覆盖小区需要收缩的覆盖距离与减过的信号强度,功能支持：排名分析、自动分析解决方案提供、,过覆盖小区占比趋势分析、小区导致过覆盖栅格,GIS,呈现,、,过覆盖小区及所导致过覆盖栅格连线图、过覆盖小区及栅格平均,RSRP,、过覆盖,MR,占比、过覆盖小区,GIS,呈现、小区过覆盖时段分析、过覆盖栅格占比趋势、问题区域内平均,RSRP&,栅格数,&,问题小区数,&,过覆盖,MR,占比、导致栅格过覆盖的小区连线高亮显示、小区影响的栅格数及平均,RSRP,、小区过覆盖,RSRP,、解决建议导出,健康检查,-,重叠覆盖分析,功能特点：小区与栅格维度联动分析，快速定位重叠覆盖小区影响的程度，详细的量化指标，准确得出重叠覆盖小区需要控制的覆盖距离、控制的信号强度、控制的干扰强度,功能支持：排名分析、自动分析解决方案提供、,重叠覆盖小区占比趋势分析、小区导致重叠覆盖栅格,GIS,呈现,、,重叠覆盖小区及所导致重叠覆盖栅格连线图、重叠覆盖小区及栅格平均,RSRP,、重叠覆盖,MR,占比、重叠覆盖小区,GIS,呈现、小区重叠覆盖时段分析、重叠覆盖栅格占比趋势、问题区域内平均,RSRP&,栅格数,&,问题小区数,&,重叠覆盖,MR,占比、导致栅格重叠覆盖的小区连线高亮显示、小区影响的栅格数及平均,RSRP,、小区重叠覆盖,RSRP,、解决建议导出,健康检查,-,邻区优化,功能特点：自动分析、输出优化建议并提供解决等级,GIS,呈现推荐邻区距离,问题小区列表,问题趋势,区域邻区问题排名,功能支持：排名分析、趋势分析、自动分析及解决方案提供、支持问题邻区,GIS,连线分析、问题列表与,GIS,联动分析、解决建议导出分析、漏配邻区分析、错配邻区分析、冗余邻区分析,功能概述,基础数据管理,2,客户服务,3,1,网络优化,健康检查,4,规划建设,5,6,特定区域监控,7,规划建设,网络规划不再采用传统的仿真和路测方式，通过,AGPS,数据、探针经纬度数据、异频测量技术、指纹库校正技术的应用，精准评估电信、移动、联通网络的覆盖差距，有针对性规划建设,。,47,功能概述,基础数据管理,2,客户服务,3,1,网络优化,健康检查,4,规划建设,5,6,特定区域监控,7,特定区域监控,对特定区域开展以覆盖、业务量、人流量、网络质量等多维度实时动态监控。并且将多维度数据积累分析，特定区域业务建模。为特定区域的用户发展、网络规划、人流分析、网络建设提供决策数据支撑。,49,特定区域监控,-,校园,从业务量、网络覆盖、时延、终端等多维度准实时监控热点区域网络变化情况,特定区域监控,-,高速,功能特点,实时监控自动分析：,实时监控高速公路网络质量，支持,2/3/4G,同时监控。先从整体管控各条高速路重点网络指标，再到局部判断网络质量异常区域并自动分析网络质量异常原因。,自动验证：,自动验证网络质量异常区域的处理情况，确保问题得到闭环解决。对于基础网络优化，重点区域保障有巨大的推动作用。,特定区域监控,-,高铁,功能特点,实时监控：,实时监控高速铁路场景网络质量，支持,2/3/4G,网络同时监控。,自动分析：,自动分析高铁路段网络覆盖情况、异常事件情况、分析业务质量异常情况,解决建议提供：,生成区域问题解决列表,项目背景,1,2,功能介绍,目录,3,项目资源,Postgis 9.4.4,Rsync+Inotify,3.0.6,Impla 2.2.0,GeoSever 2.7,Hadoop 2.6.0,Hive 1.1.0,Hbase 1.0.0,Mrddx 1.0,Hodoop,集群,调度平台,特殊数据采集服务器,Hbase,组件,Postgis,集群,Tomcat,服务器,Hdfs,组件,软件资源,硬件资源,Oracle 11g,Tomcat 7.0.47,Hadoop,集群硬盘配置建议,40T,以上，其他保持在,128GB,以上即可，内存建议在,128GB,以上，另,CPU,建议核数为,24,核,2.1GHZ,以上。,资源要求,开发环境,运行环境,开发环境,操作系统：,CentOS 6.6,中间件：,Weblogic10,数据库：,Hadoop+Impala,操作系统,:Microsoft Windows,开发工具：,Eclipse 8.6,开发技术：,J2EE,技术,SSI,开源框架,Struts 2.4.3,：,MVC,客户展现框架,Spring 3.1.2,：,AOP,及,IOC,业务组件框架,Mybastis 3.1.1,：,ORM,组件，实现数据库映射,其它,J2EE,技术：,DWR,：,Ajax,框架组件,Log4J,：日志组件,POI,：操作,Excel,组件,数据库：,Oracle 10.2.0.3,中间件：,Weblogic10,THANKS,谢谢聆听,深圳天源迪科,信息技术,股份有限公司,2016,年,11,月,