中国电信云计算PaaS关键技术解析与应用.ppt

单击此处编辑母版标题样式,*,企业战略部,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,云计算,PaaS,技术与应用,黄志兰,中国电信广州研究院,2024年12月14日,1,提纲,PaaS,概述,PaaS,核心技术,相关实践,2,PaaS,概述,定义,面向互联网应用开发者，把端到端的分布式软件开发、测试、部署、运行环境以及应用程序托管当作服务，通过互联网提供给用户,特点,网络化的分布式开发平台，以,Web,服务方式提供给用户,开发、测试、运行环境在云端，用户共享云平台海量存储、超大规模计算能力，开发环境维护工作由服务提供商解决,集成帐户认证、数据库、消息队列等配套基础服务，提高开发效率,Java,、,Python,等高级编程语言，易于应用程序开发者使用,服务形态,通过互联网提供服务，按需提供，按量计费,Google,App Engine,Microsoft,Asure,Amazon,Hadoop,Salesforce,F,The cloud,3,PaaS,发展,商业推动,SaaS,企业为提高用户粘着度，把支撑应用开发的平台发布出来，供软件开发上自行开发、自由定制,需求推动,高校等科研机构需要临时性的超大规模计算能力,大型系统面临严峻的扩展性问题,Google,等公司拥有超大规模服务器集群，需要把海量存储和大规模计算资源提供出来,技术推动,把多台机器虚拟成一台超级机器的分布式技术日趋成熟和稳定,PaaS,是一场互联网应用软件开发革命，体现了互联网低成本、高效率和规模化应用的特性，能够帮助应用程序开发人员快速定制、开发满足特定需求的互联网应用，从而大大提高工作效率和执行力。,4,提纲,PaaS,概述,PaaS,核心技术,相关实践,5,PaaS,核心技术,分布式技术：把多台机器虚拟成一台性能极强的超级计算机,分布式存储、分布式计算、分布式数据库、同步机制、负载分担、任务调度,分布式软件开发、测试、运行工具,编程环境,SDK,、编程接口、代码库、测试工具、运行工具,运营管理系统,用户管理、计费认证、资源监控、应用管理,多合一,（,Google,）,分布式,6,分布式解决的问题,分布式问题由来已久，把多台机器合并成一台机器是梦寐以求的目标,编写程序，需要考虑任务怎么分解，怎么汇总结果,分发程序，需要把程序拷贝到不同的机器上，逐一启动程序,收集结果，需要把每部分程序的结果收集起来，并进行汇总,显示结果，需要通过统一的界面把结果输出给用户,自动分发程序,自动启动程序,自动收集结果,.java,.java,.java,.java,.java,.java,.java,.java,虚拟,超级计算机,7,云计算分布式计算模型,分布式计算是由来已久的问题,计算模型：操作,(CPU)+,数据,(,内存,/,硬盘,),并行方法：传统分布式系统试图解决任何,CPU,访问任何数据,CPU,内存,硬盘,CPU,内存,硬盘,CPU,内存,硬盘,CPU,内存,硬盘,CPU,内存,硬盘,CPU,内存,硬盘,CPU,内存,硬盘,CPU,内存,硬盘,中间件承担多机之间的,“,总线,”,结束,输入,开发者必须将程序逻辑转换成分布式平台的逻辑,CPU,内存,硬盘,CPU,内存,硬盘,CPU,内存,硬盘,CPU,内存,硬盘,CPU,内存,硬盘,CPU,内存,硬盘,CPU,内存,硬盘,CPU,内存,硬盘,借助网络，,Hadoop,实现了多机之间的,“,总线,”,结束,输入,Map,Map,Map,Map,Reduce,应用,逻辑,转换,逻辑,分布,执行,8分布式文件系统,分布式文件系统为提供海量存储空间提供了极大的便利,NameNode,负责文件目录管理,DataNode,负责真实的数据存储,9,分布式数据库,数据库关系模型不再是,PaaS,解决的问题,10,提纲,PaaS,概述,PaaS,核心技术,相关实践,11,中国电信与云计算,PaaS,需求分析,内部需求分析,传统电信系统多用小型机集群，面临扩展性问题，扩容成本高,海量数据分析处理困难：用户数据、计费数据、网管数据,外部需求分析,互联网信息应用：大规模数据存储和处理需求、快速开发能力,移动互联网应用：瘦客户端应用开发需求,科研单位大规模并行计算需求,外部对电信能力的开放需求,应对策略,打造大规模分布式处理平台,运用分布式技术构建新型大规模集群，解决大型系统的扩展性,为,OSS/BSS,等电信运营系统提供大量的存储空间和并行计算能力,为号百等信息应用、移动互联网、物联网应用提供超大服务器集群支撑,建设电信能力开放平台,12,相关工作,-,技术研究及基础平台建设,技术研究,各种技术研究报告,中国电信云计算白皮书,云计算技术手册,规范编写,IaaS,服务技术要求及相关设备规范,平台搭建,数百,CPU,核的云平台，域名,部署虚拟化平台及分布式计算平台,试点应用,网络流量矩阵分析，,IPv4/IPv6,协议转换，餐饮搜索，热点播报，行业资讯,13,平台建设：大规模分布式服务引擎,电信系统,典型架构,小型机集群,规模,数百,台,关系型数据,结构化数据为核心,传统数据处理为主,成本很高,容量可规划,互联网,系统,典型架构,X86,集群,规模,数万,台,自有数据库,非结构化数据为核心,数据挖掘、机器学习,成本相对较低,容量可预见性低,14,分布式服务引擎,-,定位,出发点：节约投资，提高效率，推动创新,建设一个满足多个应用对底层大规模数据智能处理需求的平台,能力定位：面向亿兆级数据规模,电信运营数据：位置数据、用户行为数据、流量数据等,互联网数据：网页数据、图像数据、视频数据,系统定位：电信应用的核，互联网应用基本组件,提供海量数据存储、数据挖掘、统计分析、数据查询等服务,为业务平台、互联网,/,物联网应用提供基本服务组件,设计定位：抽象公共基础服务，简化应用开发,服务接口层次化，满足不同应用需求,15,分布式服务引擎,-,架构,关系型,/,分布式,数据库查询引擎,特征提取,数据获取,分布式数据库,分布式文件系统,分布式计算,硬件平台,分布式平台,统计分析,分类,聚类,预测,关联分析,基础能力层,（数据挖掘、分析）,内容分类,信息检索,位置服务,可视处理,文本处理,图表服务,服务能力层,（信息收集、处理）,ONS,系统,EPC,查询,流量分析,可视检索,餐饮搜索,行为分析,应用层,热点播报,行业资讯,配置,调度,监控,接入,16,应用,1,：移动互联网网络加速,网络加速融合了,IPv4/IPv6,互通、内容加速及重排等功能，是极富有价值的应用,移动用户,云计算软件平台,(,内容过滤，页面重排,),自动分布,HTTP,请求,内部云计算平台,（加速云）,IPv6,互联网,IPv4,互联网,移动用户,宽带用户,云计算硬件平台,17,应用,2,：网络流量分析,系统目标,应用云计算集群技术实现现有系统难以实现的任务,处理任务,基本的数据统计、地域分布、应用分布、流量矩阵,实时全网异常流量检测,核心技术,各种统计任务的,MapReduce,并行化计算,应用主成份分析检测网络状态异常,数据规模,全网,Netflow,流量每天数十,TB,每秒数十万,Flow Record,纪录,18,应用,3,：可视化搜索,系统目标,利用云计算技术解决可视化搜索对计算和存储的高强度需求,运用可视化搜索技术推动,3G,创新应用研发,核心技术,快速检索：,Locality Sensitive Hashing,底层特征：,Color,、,Texture,、,GIST,、,SIFT,检索模型：,Bag of visual words with global context,数据规模,目标索引数千万张图片，数十,T,的存储需求,海量的数百维的高维特征向量，计算和存储高度密集,快速检索面临极大挑战，普通,K,近邻算法基本不可行,19,应用,4,：美食搜索指南,20,应用,5,：热点播报系统,21,谢 谢！,22,