数据与大数据分析.pptx

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,BIG DATA,数据与大数据分析,第1页,Contents,1,3,我们能够做些什么,2,实操分享,4,大数据，你从哪来,你是谁,数据与大数据分析,第2页,中国网民数量：,7.51,亿,六个月增加率：,2.7%,中国注册网站数量：,344.3,万个,手机网民：,7.236,亿,占网民总数：,96.3%,月均网络交易：,16,亿笔,每日新发微,博数量：,1,亿,+,条,注册微博用户数：,2.9071,亿,公布网页数量：,866,亿页,年增速：,40%,网络直播用户：,3.43,亿,占网民总数：,47.1%,数据与大数据分析,第3页,很多人还没搞清楚什么是,PC,互联网，移动互联来了；我们还没搞清楚移动互联时候，大数据时代又来了！,马云,数据与大数据分析,第4页,数据爆炸式增加,数据资产管理挑战,需要更高性价比数据计算与储存方式,需要,不一样数据管理策略,01,你从哪里来？,数据与大数据分析,第5页,Twitter,上公布,98000+,新微博,13000+,个,iPhone,应用下载,Skype,上,37,万,+,分钟语音通话,上传,6600,张新照片到,flickr,发出,1.68,亿,+,条,Email,YouTube,上上传,600+,新视频,淘宝光棍节,10680+,个新订单,Facebook,上更新,69.5,万,+,条新状态,12306,出票,1840,+,张,数据爆炸式增加,数据与大数据分析,第6页,数据资产管理挑战,数据资产,数据资产管理,传统数据管理方式面临挑战,数据与大数据分析,第7页,需要更高性价比数据计算与储存方式,计算更加快,存放更省,10,万,GB,10,万,TB,1Byte,=,8,Bit,1KB,=,1,024,Bytes,1MB,=,1,024,KB,=,1,048,576,Bytes,1GB,=,1,024,MB,=,1,048,576,KB,=,1,073,741,824,Bytes,1TB,=,1,024,GB,=,1,048,576,MB,=,1,099,511,627,776,Bytes,1PB,=,1,024,TB,=,1,048,576,GB,=1,125,899,906,842,624,Bytes,1EB,=,1,024,PB,=,1,048,576,TB,=,1,152,921,504,606,846,976,Bytes,1ZB,=,1,024,EB,=,1,180,591,620,717,411,303,424,Bytes,1YB,=,1,024,ZB,=,1,208,925,819,614,629,174,706,176,Bytes,1B,ity,1KB,1MB,1GB,1TB,1PB,1EB,1ZB,1YB,数据与大数据分析,第8页,85%,半,/,非结构化,Log/Web page/Email/PDF/Image/Full-text/MS-Office file,需要,不一样数据管理策略,15%,结构化,DB/DW,残缺,当我们想要扩充时，,才发觉：,架构只能,scale-up,，,scale-out,不易,处理时间过长，,time-to-value,受限,成本过高，,cost-efficiency,受限,数据与大数据分析,第9页,概念（,Concept,）,特征（,Features,）,变革（,Change,）,技术（,Technology,）,数据库（,database,）,大数据（,bigdata,）,你是什么？,02,数据与大数据分析,第10页,大数据是需要新处理模式才能含有更强决议力、洞察发觉力和流程优化能力海量、高增加率和多样化信息资产。大数据就是“未来新石油”。,全球信息咨询机构国际数据企业（IDC）对大数据技术定义是：经过高速捕捉、发觉或分析，从大容量数据中获取价值一个新技术架构。,所谓“大数据”,(big data),指是这么一个现象：一个企业日常运行所生成和积累用户行为数据“增加如此之快，以至于难以使用现有数据库管理工具来驾驭，困难存在于数据获取、存放、搜索、共享、分析和可视化等方面。”这些数据量是如此之大，已经不是以我们所熟知多少,G,和多少,T,为单位来衡量，而是以,P(1000,个,T),，,E(,一百万个,T),或,Z(10,亿个,T),为计量单位，所以称之为大数据。,概念,数据与大数据分析,第11页,数据类型多,越来越多非结构化数据；音频、食品，地理位置信息等多类型数 据对数据处理能力提出更高要求。,数据价值高,海量数据带来了巨大商业价值。数据之间关联性支持深层数据挖掘。,大数据特点,-4V,理论,数据处理速度快,对数据实时处理有着极高要求，经过传统数据库查询方式得到“当前结果”很可能已经没有价值。,数据规模大,从,TB,跃升到,PB,甚至,EB,。一组公式：,1024GB=1TB;1024TB=1PB;1024PB=1EB,。,数据与大数据分析,第12页,。,大数据改变生活,数据与大数据分析,第13页,IBM,C&P,Industry,需求,海量数据存放技术,实时数据处理技术,数据高速传输技术,搜索技术,描述,分布式文件系统,流计算引擎,服务器/存放间高速通信,文本检索、智能搜索、实时搜,索,技术,Hadoop，x86/MPP,Map,Reduce,Streaming,Data,Infini,Band,Enterprise,Search,数据分析技术,大数据包括关键技术,Text Analytics Engine 自然语言处理、文本情感分析、,Visual Data Modeling 机器学习、聚类关联、数据模型,数据与大数据分析,第14页,用户,一次购置商品,1,面包、黄油、尿布、牛奶,2,咖啡、糖、小甜饼、鲑鱼,3,面包、黄油、咖啡、尿布、牛奶、鸡蛋,4,面包、黄油、鲑鱼、鸡,5,鸡蛋、面包、黄油,6,鲑鱼、尿布、牛奶,7,面包、茶叶、糖、鸡蛋,8,咖啡、糖、鸡、鸡蛋,9,面包、尿布、牛奶、盐,10,茶叶、鸡蛋、小甜饼、尿布、牛奶,用户,一次购置商品,1,面包、黄油、,尿布,、,牛奶,2,咖啡、糖、小甜饼、鲑鱼,3,面包、黄油、咖啡、,尿布,、,牛奶,、鸡蛋,4,面包、黄油、鲑鱼、鸡,5,鸡蛋、面包、黄油,6,鲑鱼、,尿布,、,牛奶,7,面包、茶叶、糖、鸡蛋,8,咖啡、糖、鸡、鸡蛋,9,面包、,尿布,、,牛奶,、盐,10,茶叶、鸡蛋、小甜饼、,尿布,、,牛奶,品种,计数项,:,品种,面包,6,牛奶,5,尿布,5,鸡蛋,5,黄油,4,糖,3,咖啡,3,鲑鱼,3,小甜饼,2,鸡,2,茶叶,2,盐,1,总计,41,数据与大数据分析,第15页,概念（,Concept,）,分类（,Features,）,流程（,Technological process,）,03,我们能够做些什么？,数据与大数据分析,第16页,大数据时代关键价值,数据分析,什么是数据分析,数据与大数据分析,第17页,数据分析有哪些类型,描述性,数据分析,探索性,验证性,对比分析法,平均分析法,交叉分析法,初级数据分析,高级数据分析,相关分析,因子分析,回归分析,数据与大数据分析,第18页,数据分析普通步骤,数据与大数据分析,第19页,04,关于数据分析分享与交流,理论模型,统计方法,可视化,数据与大数据分析,第20页,数据分析方法论,惯用数据分析理论模型,营销方面,管理方面,4P,PEST,用户使用行为,5W2H,SWOT,生命周期,逻辑树,金字塔,SMART标准,数据与大数据分析,第21页,4P,（,product price place promotion,）,数据与大数据分析,第22页,5W2H,WHY,用户买目标是什么？产品在哪些方面吸引用户？,WHAT,企业提供什么产品或服务吗？用用户需求是否一致？,WHO,谁是我们用户？用户有何特点？,WHEN,何时购置？何时再次购置？,WHERE,用户在哪里购置用户在各个地域组成怎样?,HOW,用户支付方式是怎样？,HOW MUCH,用户购置花费成本？,数据与大数据分析,第23页,KANO,模型,对用户不一样需求进行分区处理，帮助团体识别对产品来说较为关键客户需求层次，尽快完成规划。,兴奋型需求,期望型需求,基本型需求,数据与大数据分析,第24页,数据分析统计方法,统计,方法,聚类分析,01,回归分析,02,时间序列分析,03,因子分析,和主成份分析,04,数据分析软件,MATLAB,SAS,Spss,Stata,Eviews,Excel,数据与大数据分析,第25页,可视化方法,ECHARTS,EASELY,PPT,附：,1,、,ECHARTS https:/www.easel.ly/home,数据与大数据分析,第26页,THE END,数据与大数据分析,第27页,用户行为理论,用户行为理论用途较单一，就是用于用户行为研究分析用户使用行为：认知,-,熟悉,-,试用,-,使用,-,忠诚利用用户行为理论，梳理网站分析各关键指标之间逻辑关系，构建符合企业实际业务网站分析指标体系：,数据与大数据分析,第28页,ADD YOUR TITLE HERE,TEXT,HERE,TEXT,HERE,TEXT,HERE,TEXT,HERE,TEXT,HERE,ADD YOUR TITLE HERE,This is an example text.,Go ahead and replace it.,ADD YOUR TITLE HERE,This is an example text.,Go ahead and replace it.,ADD YOUR TITLE HERE,This is an example text.,Go ahead and replace it.,数据与大数据分析,第29页,数据分析统计方法,01,02,04,03,聚类分析,ADD YOUR TITLE HERE,This is an example text.,Go ahead and replace it.,ADD YOUR TITLE HERE,This is an example text.,Go ahead and replace it.,ADD YOUR TITLE HERE,This is an example text.,Go ahead and replace it.,数据与大数据分析,第30页,数据分析统计方法,聚类分析,回归分析,因子分析和主成份分析,时间序列分析,数据分析软件,MATLAB,SAS,Spss,Stata,Eviews,Excel,数据与大数据分析,第31页,1.,绩效指标必须是详细（,Specific,）,2.,绩效指标必须是能够衡量（,Measurable,）,3.,绩效指标必须是能够到达（,Attainable,）,4.,绩效指标是要与其它目标含有一定相关性,(Relevant),5.,绩效指标必须含有明确截止期限（,Time-bound,）,不论是制订团体工作目标还是员工绩效目标都必须符合上述标准，五个标准缺一不可,数据与大数据分析,第32页,ADD YOUR TITLE HERE,MAIN IDEA,This is an example,text.Go ahead and replace it.,ADD YOUR TITLE HERE,This is an example text.,Go ahead and replace it.,ADD YOUR TITLE HERE,This is an example text.,Go ahead and replace it.,数据与大数据分析,第33页,03,ADD YOUR TITLE HERE,This is an example text.Go ahead and replace it.,数据与大数据分析,第34页,数据资产管理挑战,数据与大数据分析,第35页,数据资产管理挑战,数据与大数据分析,第36页,1PB,相当于,50%,全美学术研究图书馆藏书信息内容,5EB,相当于至今全世界人类所讲过话语,1ZB,如同全世界海滩上沙子数量总和,1YB,相当于,7000,位人类体内微细胞总和,普通情况下，大数据是以,PB,、,EB,、,ZB,为单位进行计量,数据与大数据分析,第37页,数据与大数据分析,第38页,软件是大数据引擎,和数据中心（,Data Center,）,一样，软件是大数据驱动力,.,软件改变世界,!,数据与大数据分析,第39页,中央政府对大数据重视程度,习近平,政府管理不但要考究策略，还要考究伎俩，比如大数据技术应用，3月8日“大数据”首次写入政府工作汇报,奥巴马,“将投入巨款拉动与大数据相关产业”“数据为“未来石油“，是美国综合国力一部分，是与陆权、海权、空权同等主要“国家关键资产”。,李克强：,加紧推进全国中小企业征信系统建设,经过大数据等技术优化中小企业征信资质。,李克强,经济数据和目标深入调整，中小企业将面临更大压力，互联网金融除了处理便利性问题外，更主要是怎样围绕特有大数据资源展开对实体经济服务,汪洋,数据为王，财政工作离不开大数据,数据与大数据分析,第40页,零 售 业,制 造 业,信息产业,移动通信,金融证券,数据量大,挖掘潜力大,数据意识强,IT,基础好,这些产业在大数据分析应用方面含有以下优势：,数据化让产业绩效大幅提升,电子商务,医疗服务,数据与大数据分析,第41页,ADD YOUR TITLE HERE,This is an example text.Go ahead and replace it.,01,This is an example text.Go ahead and replace it.,02,This is an example text.Go ahead and replace it.,03,This is an example text.Go ahead and replace it.,04,80%,47%,57%,67%,数据与大数据分析,第42页,数据分析普通步骤,数据与大数据分析,第43页,数据分析普通步骤,A,ADD YOUR TEXE HERE,B,ADD YOUR TEXE HERE,C,ADD YOUR TEXE HERE,E,ADD YOUR TEXE HERE,D,ADD YOUR TEXE HERE,数据与大数据分析,第44页,数据与大数据分析,第45页,数据与大数据分析,第46页,准确预测未来收入和成本，能够有效提升营运效率，降低库存成本，进而使企业取得更高利润,信息对称,挖掘需求,客户细分,智能决议,业务创新,风险预测,销售预测,用户行为 分析,挖掘需求，分析差异，形成新产品和新服务,细分客户群，细分产品和服务，精准营销是未来取得竞争优势关键,将未来风险准确量化，降低可能损失,量化分析用户行为，预测可能产生改变,业务创新，包含业务模式、产品创新、服务创新,降低人员决议误差，科学理性决议，甚至开发自动智能决议系统,在项目投资分析之外，数据分析价值在企业经营管理上起到愈加举足轻重作用。各种量化模型、量化分析方法应用，使数据下面隐藏规律得以展现，让企业在运行管理上、市场营销上、客户服务体验上，越来越,精细化，让企业在激烈竞争中取胜！,数据与大数据分析,第47页,数据分析营销价值,-,预测消费行为,数据分析营销价值,-,优化营销策略,数据分析营销价值,-,消费者描述,数据分析营销价值,-,个性化营销,数据分析营销价值,-,广告精准投放,经过分析以下几个方面关联性，为消费者推荐详细产品和内容：,产品本身关联性,客户消费习惯关联性,客户喜好关联性,客户品牌关联性,产品价格和价值关联性,客户习性一致性等等,数据与大数据分析,第48页,01,什么是大数据,数据与大数据分析,第49页,数据挖掘,1.,从数据中提取出隐含过去未知有价值潜,在信息,2.,从大量数据或者数据库中提取有用信息科学,经典事例：购物篮分析,用户,一次购置商品,1,面包、黄油、,尿布,、,牛奶,2,咖啡、糖、小甜饼、鲑鱼,3,面包、黄油、咖啡、,尿布,、,牛奶,、鸡蛋,4,面包、黄油、鲑鱼、鸡,5,鸡蛋、面包、黄油,6,鲑鱼、,尿布,、,牛奶,7,面包、茶叶、糖、鸡蛋,8,咖啡、糖、鸡、鸡蛋,9,面包、,尿布,、,牛奶,、盐,10,茶叶、鸡蛋、小甜饼、,尿布,、,牛奶,数据与大数据分析,第50页,Social Media,Machine/Sensor,DOC/Media,Web,Clickstream,Apps,Call Log,Log,什么是数据,？,半结构化,/,非结构化数据,数据与大数据分析,第51页,何为大？数据度量,1Byte,=,8,Bit,1KB,=,1,024,Bytes,1MB,=,1,024,KB,=,1,048,576,Bytes,1GB,=,1,024,MB,=,1,048,576,KB,=,1,073,741,824,Bytes,1TB,=,1,024,GB,=,1,048,576,MB,=,1,099,511,627,776,Bytes,1PB,=,1,024,TB,=,1,048,576,GB,=1,125,899,906,842,624,Bytes,1EB,=,1,024,PB,=,1,048,576,TB,=,1,152,921,504,606,846,976,Bytes,1ZB,=,1,024,EB,=,1,180,591,620,717,411,303,424,Bytes,1YB,=,1,024,ZB,=,1,208,925,819,614,629,174,706,176,Bytes,什么是大数据？,数据与大数据分析,第52页,数据分析流程,数据与大数据分析,第53页,THE TITLE,ADD YOUR TITLE HERE,ADD YOUR TITLE HERE,ADD YOUR TITLE HERE,ADD YOUR TITLE HERE,THE TITLE,ADD YOUR TITLE HERE,ADD YOUR TITLE HERE,ADD YOUR TITLE HERE,THE TITLE,ADD YOUR TITLE HERE,ADD YOUR TITLE HERE,ADD YOUR TITLE HERE,数据与大数据分析,第54页,ADD YOUR TITLE HERE,ADD YOUR TITLE HERE,This is an example text.,Go ahead and replace it.,ADD YOUR TITLE HERE,This is an example text.,Go ahead and replace it.,数据与大数据分析,第55页,02,ADD YOUR TITLE HERE,This is an example text.Go ahead and replace it.,数据与大数据分析,第56页,ADD YOUR TITLE HERE,60%,ADD YOUR TITLE HERE,This is an example text.,Go ahead and replace it.,80%,ADD YOUR TITLE HERE,This is an example text.,Go ahead and replace it.,50%,ADD YOUR TITLE HERE,This is an example text.,Go ahead and replace it.,数据与大数据分析,第57页,ADD YOUR TITLE HERE,ADD YOUR TITLE HERE,This is an example text.Go ahead and replace it.,ADD YOUR TITLE HERE,This is an example text.Go ahead and replace it.,ADD YOUR TITLE HERE,This is an example text.Go ahead and replace it.,数据与大数据分析,第58页,ADD YOUR TITLE HERE,19%,This is an example text.Go ahead and replace it.,43%,This is an example text.Go ahead and replace it.,25%,This is an example text.Go ahead and replace it.,MAIN IDEA,This is an example,text.Go ahead and replace it.,数据与大数据分析,第59页,ADD YOUR TITLE HERE,ADD YOUR TITLE HERE,This is an example text.Go ahead and replace it.This is an example text.,ADD YOUR TITLE HERE,This is an example text.Go ahead and replace it.This is an example text.,ADD YOUR TITLE HERE,This is an example text.Go ahead and replace it.This is an example text.,数据与大数据分析,第60页,04,ADD YOUR TITLE HERE,This is an example text.Go ahead and replace it.,数据与大数据分析,第61页,ADD YOUR TITLE HERE,This is an example text.Go ahead and replace it.,数据与大数据分析,第62页,ADD YOUR TITLE HERE,01,ADD YOUR TITLE HERE,This is an example text.,Go ahead and replace it.,This is an example text.,Go ahead and replace it.,02,ADD YOUR TITLE HERE,This is an example text.,Go ahead and replace it.,This is an example text.,Go ahead and replace it.,03,ADD YOUR TITLE HERE,This is an example text.,Go ahead and replace it.,This is an example text.,Go ahead and replace it.,数据与大数据分析,第63页,PPT,模板下载：,PPT,素材下载：,PPT,图表下载：,PPT,教程：,Excel,教程：,PPT,课件下载：,PPT,论坛：,THANKS,数据与大数据分析,第64页,