云计算在经营分析系统中应用的思路信息管理处.pptx

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,云计算在经营分析系统中应用的思路,信息管理处,19 八月 2025,汇报提纲,对云计算的理解及经分中应用的总体思路,拟开展的云计算在经分中应用研究的方向,对云计算概念的理解,云计算,一种技术,一套开发环境,一种服务方式,一种管理手段,与网格计算同列的一种新型并行计算方式，代表为,HADOOP,，,我方代表,Big Cloud,你搭台，我唱戏,PAAS,代表是,Google AppEnigne,，,我方代表地市数据集市,你只管用，剩下我来办,SAAS,代表,GMAIL,，,我方代表经分前台页面的使用,虚拟化，按需分配，动态管理，灵活配置,IAAS,代表蓝云（,IBM),，,我方代表,IDC,经分的“痒处”在那里,硬件成本高，挤压了应用开发费用,经分属于资源密集型系统，对存储和计算资源的需求量很大，至今尚有缺口未补上，在每期扩容中大量的资金流向国外的几个硬件寡头，挤压了原本应用于咨询、应用开发部分的费用,目前架构线性扩展性问题,传统,UNIX,小型机,+,数据库的架构在追求线性扩展方面一直在努力，但是仍与理想有较大差距。软件和硬件在并行度大的时候都会出现效率上的衰减。分库的方案被越来越多采用,随着应用逐渐深入，稳定性问题提上日程,市场经营、企业管理和一线支持都越来越离不开经分，及时性得保障。在原有架构上，通常通过备份的方法来保证可靠性，但是大数据量数据仓库的备份在世界范围内都是一个难题，况且备份后如何进行恢复？备份？容灾？双中心？这些传统的,IT,系统稳定性保障措施适应经分么？,动态调整的沙盘，简单的维护,经分能不能实现数据仓库和数据集市容量与能力的动态调整，想沙盘一样快速堆出来？在硬件、软件平台和应用运维方面能不能简单些，傻瓜些，最好是数据仓库、数据集市这些既能合理分开，又能通过一套软件系统或平台来维护。更多的精力可以投入到运营上来。,我们的想法是？,充分利用云计算“低硬件成本，高综合利用率，可扩展性强，高可靠性”的特点，优化经分现有技术架构和管理模式,以,HADOOP,为代表的云计算技术（技术流）与目前在经分等,IT,系统中大量使用的并行数据库技术,混装,，充分发挥两者特点，追求整体最优,学习,IAAS/PAAS/SAAS,（管理流）的管理方式和经验，探讨在设备虚拟化管理、集成化开发平台和在线软件使用等方面的,应用,，在一经、南方基地等建设及试点项目中充分考虑,既要保持创新意识，建立一个云计算的新世界，又要充分利用现有设备、资源和技术，保护原有投资,从,2003,年建设至今，全国经营已经形成了六千,TB,存储和四亿,TPCC,处理量的软硬件体系，且运行平稳。无论在南方基地集中化建设方案还是云计算应用方案的时候，都要充分考虑现有系统的,利旧,，发挥余热,经分已经是一个稳定的系统，云计算这个尚未在电信及相关行业商用案例的新技术在其中的运用一定要,稳步推进,汇报提纲,对云计算的理解及经分中应用的总体思路,拟开展的云计算在经分中应用研究的方向,2010,年拟开展研究的方向,获取层,应用层,数据层,访问层,结构化数据转换,ETL,数据挖掘,云存储,网页分类,互联网,信息收集,应用搜索,云数据库,前端展现,应用服务,数据封装,云备份,2009,年已经在云计算应用到经分,ETL,和数据挖掘方面进行了探索,2010,年拟继续从信息获取、数据存储和处理、数据挖掘几个方面开展前瞻性研究,其他云应用课题，例如前端展现云化、应用服务云化和云数据库等我们需积极跟进技术发展方向,研究课题,1,：,基于云计算平台的经营分析系统,ETL,数据处理,BOSS,CRM,NMS,ETL,基于流处理,数据集市,获取层,数据层,功能组件,应用层,访问层,数据仓库,应用数据,基于云计算的,ETL,基于文件处理,基础数据,中间数据,应用及访问（略）,原始数据,数据集市,中间数据,在云上实现基于文件的,ETL,研究内容：研发基于云计算的,ETL,工具，实现经分系统所需的所有,ETL,类操作，选择经典主题和流程，按照已有实现从源数据、轻度汇总、高度汇总过程，结果导入现有数据库系统中以支持上层业务访问,目前进展：第一阶段的研究于,09,年,4,月委托研究院研究，已经完成中期总结，准备近期联系两个省公司试用。,10,年计划继续开展第二阶段研究。,类比软件：,IBM DataStage/Oracle ODI/Huawei topeng-ETL,研究课题,2,：,基于云计算平台的,数据挖掘工具,优化及应用,SAAS,的数据挖掘工具,研究内容：以,SAAS,模式向地市分公司数据挖掘应用试点提供挖掘服务，并进行支撑能力的试验评估。根据在地市分公司数据挖掘应用试点中对云计算挖掘工具的实验评估情况，向云计算挖掘工具提出改进和完善的需求，包括功能、性能、易用性、数据安全性等。,目前进展：拟参考目前主流数据挖掘工具提出优化措施，并在上海、河南和福建公司进行验证,类比软件：,SPSS Clementine,基于云计算平台的数据挖掘工具,工作流引擎,/Web GUI,装载,数据挖掘算法集,数据挖掘向导,/,知识库,数据管理及探索,用户,权限,管理,预处理,结果,可视化,主要优化方向,完善装载、预处理等功能,按照经分特点设计挖掘算法,实现向导式挖掘，简化使用,研究课题,3,：,基于云计算平台的,WAP,网页自动分类,技术研究,非结构化数据分析,研究内容：基于云计算的搜索引擎技术，实现,WAP,网页自动分类,主要内容包括网页采集、分析、自动分类、分类检索。辅助经分完成客户,WAP,访问特征分析的功能。,类比软件：自动网页分类软件,步骤1,：根据统计发现待分类网页列表,步骤,2,：派出爬虫抓回目标页面,步骤,3,：根据分类规则进行分类识别,某些热点,Wap,或,Http,网页,网页,1,体育类 篮球,网页,2,娱乐类 音乐,网页,3,新闻类 时事,研究课题,4,：,基于云计算平台的,互联网信息收集,技术研究,非结构化数据分析,研究内容：基于“云计算”的搜索引擎技术，实现行业信息垂直搜索，根据相关性等因素提供检索系统，给经分用户提供互联网情报分析信息。试点侧重在手机终端信息、号码黄页、竞争情报三个角度。辅助经分完成相关分析应用,类比软件：酷讯机票搜索、政府互联网舆情系统,手机网站垂直搜索,终端配置信息,黄页网站垂直搜索,电话黄页信息,互联网情报分析,用户反馈,竞争动向,研究课题,5,：,基于云计算平台的经营分析,应用搜索,技术研究,简单的访问界面，基于内容搜索而非预设关键字,研究内容：基于云计算的搜索引擎技术，实现经分数据库、数据库工具以及各类文档信息整合，并提供索引、检索服务。给用户提供统一的检索界面，可以在不同的数据来源的进行信息搜索。基于试点对搜索应用的评估，确定云计算搜索引擎改进和完善的目标,经分门户页面,经分工具软件内容,数据层数据结构及内容,各类分析报告和报表,通过网络爬虫技术收集信息,门户内嵌搜索,网管,研究课题,6,：,经营分析系统引入,云存储,技术的研究及实现,基于云平台的,NAS,研究内容：引入云计算技术，研究并验证云计算分布式数据存储系统实现低成本经分系统数据存储与备份能力的可能性,从功能、性能、成本等多角度进行评估,探讨云存储在南北基地应用的可能性,类比软件：,NAS/IBM soFS/IBM XIV,基地云存储系统,IP,网,X,省经分,X,省经分,X,省经分,X,省经分,X,省经分,X,省经分,通过类似,NFS,的操作系统,API,形式，将近线和离线数据备份到云存储系统中,应用需求,公众有强烈的监控、取缔不良,WAP,网站的需求,移动互联网的发展方向要求我们要能充分掌握访问流量流向,客户,WAP,网站访问特征比话单、账单更能体现用户的行为规律,现状背景,WAP,网关产生的访问日志量大（约话单的,3,倍，上海,300G/,每日）,省经分由于容量有限，目前仅进行了最简单的按网址汇总统计,探索方法,以云计算搜索的技术实现对,WAP,网站按照关键词分类识别（拟进行）,以云计算,ETL,的技术实现大规模数据的并行处理（正在研究，一期研究将于,10,年,4,月完成）,以,GRID,FTP,技术实现大数据量并行、加密传输（已有技术）,探索计划,初期拟在研究院云计算平台上进行测试，尝试分析应用和数据提供的实现，预计,10,年,6,月完成,后期拟利用南方基地云计算平台实现试运行环境的部署,综合运用云计算，实现用户,WAP,访问行为特征分析和,WAP,业务分析监控。,应用场景：用户WAP,访问特征分析,应用需求,应用场景：用户,WAP,访问特征分析,数据流,Internet,WAP/HTTP,访问,WAP,网关,互联网站,省经,一经,云平台,用户,用户,ID,访问,URL,访问时间,按,URL,汇总,传递给一经,WAP,流量分析（重点网站）,根据关键词搜索技术实现,WAP,网站分类,利用,Grid Ftp,实现数据加密、并行传输,匹配访问记录和,WAP,网站分类，得到用户访问特征,将分析结果传给省经，继续加工后提供给省公司业务部门,将分析结果提供给一经，实现业务监控、客户特征分析和信息运营的目标,问题与思考,云计算的应用会带来建设和运营模式的变化，,如何提前预估这些变化，并有相当的应对,？这是需要进行深入思考的,新的建设模式？,集中建设云还是省公司建设云，或者兼而有之？实施云计算的情况下对管理架构和开发运维模式有那些调整？,新的合作模式？,“产、学、研”结合的云计算研究及应用模式？研究院前期研究成果与合作伙伴对此产品后续开发、运维的工作如何平稳结合？是否可以参考飞信和,OPhone,的方式,如何协调与现有系统的关系？,新世界与原有世界如何平稳过渡？,请各位领导和同事批评指正,