走近云计算、大数据与物联网.pptx

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,*,*,计算机领域最新技术汇报,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第1页,提要,什么是云计算,走近云计算、大数据与物联网,云计算层次,云计算发展与影响,云计算相关技术,云计算安全,云计算市场角逐,云计算在企业中应用,走近云计算、大数据与物联网,第2页,什么是云计算,云计算概念,经过整合、管理、调配分布 在网络各处计算资源，经过 互联网以统一界面、同时向大 量用户提供服务,云计算特点,超大规模计算、虚拟化、高,可靠性和安全性、通用性、动 态扩展性、按需服务、降低成 本,云计算应用场景,Google个人云服务,企业应用实例：Animoto,Amazon,云计算示意图,走近云计算、大数据与物联网,第3页,你身边“云”,群雄逐鹿：国外有微软SkyDrive、苹果iCloud，亚马逊CloudDriver等网盘产品，国内有百 度云、新浪微盘、华为网盘、金山快盘、115网盘和360云盘等,不以空间大小论英雄：以100K/s均速上传，1T空间也需124天方可填满，累计2976小时。而如若想占满36T，估摸得熬上以上光景,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第4页,你身边“云”,有道云笔记,6月28日网易旗下有道推出云笔记软件，支持各种附件格式，拥有2G容量,初始无偿存放空间，能够实时增量式同时，并采取“三备份存放”技术，同时上线,还有网页剪报功效。,云电视、baidu地图、baidu音乐、云杀毒、云端备份,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第5页,云计算层次,data Storage as a Service,Infrastructure as a Service,Platform as a Service,Software as a Service,SaaS,PaaS,IaaS,dSaaS,Google Apps,Microsoft“Software+Services”,IBM IT factory,Google App Engine,F,Amazon EC2,IBM Blue Cloud,Sun Grid,Nirvanix SDN,Amazon S3,Cleversafe dsNet,Server,Visualization,StorageServer,Storage,Infrastructure,Platform,Application,从一个集中系统布署软件，使之在一台 当地计算机上,(,或从云中远程地,),运行一个 模型。因为是计量服务，,SaaS,允许出租 一个应用程序，并计时收费,IaaS,将基础设施,(,计算资源和存放,),作为服务出租,PaaS,类似于,IaaS,，不过它包含操作系统和围 绕特定应用必需服务,SaaS,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第6页,云计算发展与影响,网格计算,利用并行计算 处理大型问题,Globus,Alliance,使其成 为主流,公共计算,将计算资源作 为可计量服 务提供,于上世纪,90,年,代末推出,SaaS,基于网络预订 应用程序,于推出,云计算,下一代因特网计算,下一代数据中心,云计算演进,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第7页,云计算相关技术,云计算是一个业务模式创新,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第8页,网格计算,走近云计算、大数据与物联网,网络上提供不一样种类服,一个用于计算任务资源池,务，能够运行在网格计算或 公共计算环境中,环境,为了通用应用而设计，没,为完成某一个特定任务需,有专门以某种应用命名,要，比如生物网格、地理网,格、国家教育网格,资源相对集中，主要以数据,聚合分布资源，支持虚拟组,中心形式提供底层资源,织，提供高层次服务，例,使用，并不强调虚拟组织,如分布协同科学研究,（VO）概念,支持持久服务，用户能够利,用执行作业形式使用，在一,用云计算作为其部分,IT,基础,个阶段内完成作用产生数据,设施，实现业务托管和外包,从诞生开始就是针对企业商,更多地面向科研应用，商业模,业应用，商业模型比较清楚,型不清楚,云计算,网格计算,走近云计算、大数据与物联网,第9页,虚拟化技术,传统虚拟化方式,虚拟化是云计算基石,通常虚拟化方法只考虑虚拟单个硬件,资源，把虚拟单个计算环境联结起来,云计算所需虚拟化技术必须虚拟架构 技术，虚拟化无须局限于单个硬件资源,云计算环境中虚拟化方式,走近云计算、大数据与物联网,虚拟化技术,把物理计算资源转换成了逻辑计算资源,经过创建虚拟机使得计算资源按需分配,走近云计算、大数据与物联网,第10页,数据中心,数据中心是云计算温床,云计算推进数据中心向虚拟化和云架构 转型，不停提升,IT,基础架构灵活性，以降低,IT,、能源和空间成本，从而让客户 能够快速地提升业务灵敏性,“那些正在兴建最大规模数据中心企业普通都在云计算方面拥有巨大野心”,-,数据中心知识杂志主编,Rich Miller,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第11页,SaaS,SaaS,（软件即服务）,经过浏览器把程序传给成千上万用户，为用户省去在服 务器和软件授权上开支；供给商只需要维持一个程序，减 少维护成本,SaaS,在人力资源管理程序和,ERP,中比较惯用；,Google Apps,和,Zoho Office,也是类似服务,S,是迄今为止提供这类服务最为知名企业,贝尼奥夫,Salesforce,创始人,在“云”概念出来之后，,Salesforce,快速宣称自己是第一家提供云产品企业,走近云计算、大数据与物联网,Salesforce,创始人贝尼奥夫，或许能够视为“云”先行者。早在,1999,年，贝尼奥夫就大声宣告自己要成为“软件终止者”,Salesforce,以“即买即用”服务模式，颠覆了传统软件销售方法论,用户不需要经过购置软件许可证、安装和实施，才能够建立起,CRM,系 统。用户只需要一个账户，就能够像访问网页一样，访问在,Salesforce,上 运行,CRM,系统,走近云计算、大数据与物联网,第12页,云计算安全问题,访问权风险,管理风险,地点所产生风险加以衡量。”,数据风险,数据恢复风险 长久发展风险,“使用云计算局限是企业必须认真对待敏,感问题，企业必须对云计算发挥作用时间和,Gartner,咨询企业副总裁兼分析师,David Cearley,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第13页,云计算市场角逐,Compet,ing,for,cloud,computing,Google,GFS,、,MapReduce,和,BigTable,Google App Engine,Google Apps,-,Amazon,AWS,S3,、,EC2,、,SQS,和,SimpleDB,-,Sun,企业推出“黑盒子”计划,-,IBM,“Blue Cloud”,蓝云计划,-,Microsoft,：,Azure,、,MatrixDB,-,Salesforce,：,F,-,HP,联手,Intel,和,Yahoo!,建试验室云计算,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第14页,云计算在企业中应用,中小企业产业环境,中小企业信息化面临压力,信息系统爆炸式膨胀带来“经济”压力,信息系统建设周期越来越短带来“时间”压力,对新技术、新产品、新理念“研究”压力,信息系统面临“数据存放量和计算量”压力越来越大,“人才“压力,维护“客户粘性”压力,云计算能够促进中小企业转型升级,云计算促进中小企业转型升级,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第15页,总结,走近云计算、大数据与物联网,云计算，在本质上并非一个新技术，而是一个服务模式,云计算关键词：虚拟化、数据中心、面向服务、按需付费,云计算让中小企业受益,走近云计算、大数据与物联网,第16页,提要,大数据时代,走近云计算、大数据与物联网,大数据应用,大数据影响,大数据四个特征,大数据产生,大数据关键技术,Hadoop,体系结构,参考：主讲硕士课程大数据技术基础，并编写了配套教材。下载配套教材请访问大数据技术基础网站：,dblab.,a,/post/1089/,走近云计算、大数据与物联网,第17页,大数据时代,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第18页,大数据应用场景,Kevin Spacey,大数据分析,David Fincher,风靡全球美剧纸牌屋,英国同名小说纸牌屋,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第19页,大数据应用场景,美国零售商和怀孕预测,VISA信用卡与商户推荐,股票投资,智能电表,广告投放,中国粮食统计,人数字化,阿里信用贷款和淘宝数据魔方,UPS快递最正确行车路径,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第20页,经典大数据应用实例,从谷歌流感趋势看大数据 应用价值,“谷歌流感趋势”，经过跟踪 搜索词相关数据来判断全美地域 流感情况,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第21页,大数据影响,大数据对行业发展影响,大数据对思维方式影响,全样而非抽样,效率而非准确,相关而非因果,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第22页,大数据影响：对科学研究影响,图灵奖取得者、著名数据库教授,Jim Gray,博士观察并总结人类自古以来，在 科学研究上，先后历经了试验、理论、计算和数据四种范式,试验,走近云计算、大数据与物联网,理论,计算,数据,走近云计算、大数据与物联网,第23页,大数据无处不在,科学研究,基因组,LHC,加速器,地球与空间探测,企业应用,Email,、文档、文件,应用日志,交易统计,Web 1.0,数据,文本,图像,视频,Web 2.0,数据,查询日志,/,点击流,Twitter/Blog/SNS,Wiki,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第24页,大数据四个特征,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第25页,Volume,数量大,依据IDC作出估测，数据一直都在以每年50%速度增加，也就是说每两年就增加一倍（大数 据摩尔定律）,人类在最近两年产生数据量相当于之前产生全部数据量,预计到20，全球将总共拥有35ZB数据量，相较于年，数据量将增加近30倍,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第26页,Velocity,速度快,从数据生成到消耗，时间窗口非常小，可用于生成决议时间非常少,1,秒定律：这一点也是和传统数据挖掘技术有着本质不一样,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第27页,Variety,多样化,大数据是由结构化和非结构化数据组成,10%,结构化数据，存放在数据库中,90%,非结构化数据，它们与人类信 息亲密相关,非结构化数据类型多样,邮件、视频、微博,位置信息、链接信息,手机呼叫、网页点击,长微博”,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第28页,Value,价值化,价值密度低，商业价值高,以视频为例，连续不间断监控过程中，可能有用数据仅仅有一两秒，不过 含有很高商业价值,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第29页,大数据产生,运行式系统阶段,1,用户原创内容阶段,2,感知式系统阶段,3,数据库出现使得 数据管理复杂度 大大降低，数据往 往伴伴随一定运 营活动而产生并记 录在数据库中，数据产生方式是 被动,数据暴发产生于,Web 2.0,时代，而,Web 2.0,最主要,标志就是用户原创 内容,智能手机等移动设 备加速内容产生,数据产生方式是主 动,感知式系统广泛 使用,人类社会数据量第 三次大飞跃最终 造成了大数据产 生,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第30页,大数据与云计算,大数据与云计算是相辅相成,大数据根植于云计算,云计算关键技术中海量数据存放技术、海量数据管理技术、,MapReduce编程模型，都是大数据技术基础,大数据为云计算提供用武之地,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第31页,大数据与物联网,物联网就是“物物相连互联网”。物联网经过智能感知、识别技术与普适计算、泛在网络融合 应用，被称为继计算机、互联网之后世界信息产业发展第三次浪潮,物联网架构可分为三层，包含感知层、网络层和应用层,物联网，移动互联网再加上传统互联网，天天都在产生海量数据，而大数据又经过云计算形式，将这些数据筛选处理分析，提取出有用信息，这就是大数据分析。,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第32页,大数据关键技术,分布式存放,GFSHDFSBigTable,分布式处理,MapReduce,大数据,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第33页,Google,企业技术,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第34页,Hadoop,体系结构,HDFS和MapReduce是Hadoop两大关键。而整个Hadoop体系结构 主要是经过HDFS 来实现对分布式存放底层支持，而且它会经过MapReduce 来实现对分布式并行任务处理程序支持。,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第35页,大数据在企业中应用,基于客户行为分析产品推荐,基于客户评价产品设计,基于数据分析产品定价,基于数据分析广告投放,基于客户异常行为客户流失预测,基于小区热点趋势预测和病毒式营销,基于环境数据外部形势分析,基于物联网数据分析产品生命周期管理,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第36页,总结,走近云计算、大数据与物联网,大数据无处不在，是变革经济力量,大数据是各种技术集合，不只是数据,大数据与云计算相辅相成,Google,企业在大数据时代引领技术,Hadoop,成为实际上大数据处理标准,走近云计算、大数据与物联网,第37页,提要,物联网时代,走近云计算、大数据与物联网,什么是物联网,物联网应用领域,物联网关键技术,物联网在企业中应用,物联网未来前景展望,走近云计算、大数据与物联网,第38页,物联网时代,我国物联网行业继续保持快速发展势头，总产值 超出3650亿元，同比增加率超出38%。工信部正式公布,物联网“十二五”发展规划。,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第39页,物联网时代,福州信息识别 产业基地,泉州通信传输 产业基地,厦门闽台云计算 产业基地,南平示范区,平潭示范区,鼓楼示范区,马尾示范区,三大产业基地 四大示范区,福建物联网基地分布图,福建省加紧物联网发 展行动方案（-年）形成千亿 产业规模,泉州市创建国家物联 网重大应用示范工程区域 试点工作方案到 年末，全市物联网产业规 模超300亿元,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第40页,什么是物联网,物联网就是物物相连互联网，是互联网延伸，它包含互联网及 互联网上全部资源，兼容互联网全部应用。,物联网是利用局部网络或互联网等通信技术把传感器、控制器、机 器、人员和物等经过新方式联在一起，形成人与物、物与物相联，实现信息化、远程管理控制和智能化网络。,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第41页,物联网层次架构,从技术架构上来看，物联网可分为三层：感知层、网络层和应用层。,感知层,：由各种传感器以及传感器网关组成，包含二氧化碳浓度传感器、温度传感 器、湿度传感器、二维码标签、,RFID,标签和读写器、摄像头、,GPS,等感知终端。感 知层作用相当于人眼耳鼻喉和皮肤等神经末梢，它是物联网识别物体、采集信 息起源，其主要功效是识别物体，采集信息。,网络层,：由各种私有网络、互联网、有线和无线通信网、网络管理系统和云计算平 台等组成，相当于人神经中枢和大脑，负责传递和处理感知层获取信息。,应用层,：是物联网和用户（包含人、组织和其它系统）接口，它与行业需求结合,，实现物联网智能应用。,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第42页,物联网应用领域,智能工业,智慧农业,智能电网,智能交通,智能物流,环境保护监测,健康医疗,智能家居,智能安防,物联网,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第43页,物联网应用领域,智能电网,智能电网是以包含各种发电设备、输配电网络、用电设备和储能 设备物理电网为基础，将当代先进传感测量技术、网络技术、通讯技术、计算技术、自动化与智能控制技术等与物理电网高度 集成而形成新型电网，它能够实现可观察（能够监测电网全部 设备状态）、可控制（能够控制电网全部设备状态）、完全 自动化（可自适应并实现自愈）和系统综合优化平衡（发电、输 配电和用电之间优化平衡），从而使电力系统愈加清洁、高效、安全、可靠。,智能工业,智能工业是将含有环境感知能力各类终端、基于泛在技术计算模 式、移动通信等不停融入到工业生产各个步骤，大幅提升制造效率，改进产品质量，降低产品成本和资源消耗，将传统工业提升到智能化 新阶段。总来说，智能工业实现是基于物联网技术渗透和应 用，并与未来先进制造技术相结合，形成新智能化制造体系。,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第44页,物联网应用领域,智慧农业,智慧农业是农业生产高级阶段，是集新兴互联网、移动互联网、云计算和物联网技术为一体，依靠布署 在农业生产现场各种传感节点（环境温湿度、土壤水分、二氧化碳、图像等）和无线通信网络实现农业生 产环境智能感知、智能预警、智能决议、智能分析、教授在线指导，为农业生产提供精准化种植、可视化 管理、智能化决议。,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第45页,物联网应用领域,智能交通,智能交通系统,是未来交通系统发展方向，它是将先进信息技术、数据通讯传输技术、电子传感技术、控制技术及计算机技术等有效地集成利用于整个地面交通管理系统而建立一个在大范围内、全方位发 挥作用，实时、准确、高效综合交通运输管理系统。,智能物流,智能物流是利用集成智能化技术，使物 流系统能模仿人智能，含有思维、感 知、学习、推理判断和自行处理物流中 一些问题能力。,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第46页,物联网应用领域,环境保护监测,健康医疗,水质监测、土壤监测、大气监测,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第47页,物联网应用领域,安全监控系统,河堤安 全监控,隧道安 全监控,轨道交通安 全监控,风力发电安 全监控,桥梁安 全监控,边坡安 全监控,水库安 全监控,智能安防,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第48页,物联网应用领域,智能家居,智能家居是以住宅为平台，利用综合布线技术、网络通信技术、智能家居 系统设计方案安全防范技术、自动控制技术、音视频技术将家居生活相关 设施集成，构建高效住宅设施与家庭日程事务管理系统，提升家居 安全性、便利性、舒适性、艺术性，并实现环境保护节能居住环境。,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第49页,物联网关键技术,中间件,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第50页,物联网关键技术,信息识别-RFID,二维码技术,1,传感器,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第51页,3,系统集成,-,物联网中间件技术（支持各种物联网应用中间件平台开发，构建集开发、测试、验证集成式应用及服务环境）,物联网关键技术,4,信息智能处理,-,数据存放、挖掘技术，以及云计算、含糊识别等智能技术,短距无线通信 NFC、ZigBee、蓝牙等各类无线智能终端（低功耗、小尺寸、功效集成等技术,研究）,2,走近云计算、大数据与物联网,走近云计算、大数据与物联网,第52页,总结,走近云计算、大数据与物联网,物联网改变人类未来生活,物联网关键技术：,RFID,、传感器,物联网和云计算、大数据技术相辅相成,走近云计算、大数据与物联网,第53页,