大数据发展现况与趋势.ppt

按一下以编辑母片标题样式,按一下以编辑母片文字样式,第二层,第三层,第四层,第五层,*,*,内容,项次,主题,内容重点,报告时间,1,预备知识,认识数据与目的,5,分钟,2,智能生活,(1),视频,5,分钟,3,数据与生活,案例学习,30,分钟,4,认识大数据,大数据的前世今生,大数据的定义,中国大数据,30,分钟,5,从贵阳大数据交易所看贵阳大数据顶层设计,大数据交易所,贵阳大数据布局,大数据交易所视频,30,分钟,6,大数据技术简介,数据挖掘方法论,30,分钟,7,创意思考方法分享,5,分钟,8,智能生活,(2),视频,5,分钟,9,互动交流,10,分钟,预备知识,(1/2),知识就是力量,：,人脑获取的的信息进行系统化的提炼、研究和分析，进而形成知识。,信息就是能量,：,通过人脑次级思维活动，实现对原始数据的筛选、加工、创造，进而产生有意义的数据。,数据就是变量,：,未经组织的数字、词语、声音、图像的纪录，可以来自测量仪器的实时记录，也可以来自人的知识。,数据,信息,知识,人类思维逻辑演进,人类思维范式演进,(,摘自块数据,2.0,一书,),知识、信息与数据的双向演进,预备知识,(2/2),数据的终极目的,决策支持,预测,优化,增加效益,防范风险,(,目的,),(,方法,),(,目标,),客户属性,养车,APP,移动,APP,家庭成员,商旅人群,航空延误险,旅游天气险,手机被盗险,行李遗失险,专属理财保险,寿险,养老险,教育险,高端客群,(,保险公司,),创新保险产品,提升精算水平,增加利润率,提高投资收益,稀有客群,宠物险,美甲险,珠宝险,保险行业大数据应用场景,旅游业信息,航空业信息,医疗信息,其他外部信息,保险大数据源,发掘,设计,提供,发掘,设计,提供,发掘,设计,提供,获得,分析,分析,位置信息,1.,常住人口,2.,年龄,3.,职业,4.,收入,5.,消费,6.APP,活跃程度,7.,其他,土地价值,土地投资成本,地产开发风险,案例：,(,身分,),一家主要开发三线城市地产著名的房地产,商,。,(,事前,),一次,进入到一个城市时，当地政府非常欢迎，并拿出了一个拥有,30,万户籍人口的土地让房地产公司进行开发。,(,事中,),房地产,商,开发完之后，发现房子卖出去很少，同,30,万户籍人口的需求完全不在一个数量级上，房子积压了不少，造成了较大损失。,(,原因,),房地产,商,很困惑，究竟是什么原因导致了房子滞销，经过一段时间的调研，地产公司发现,：,1,、,30,万户籍人口中有一半以上在其他城市工作,2,、,并且未来不会回来购买住房，其开发地块的常住人口住房购买需求较低，相当于,10,万户籍人口的需求。,(,事后,),地产商按照,30,万人口需求开发的住宅小区，很难在当地短期内卖出去。本次房地产投资损失较大，导致房地产商从当地房产市场退出。,地产行业大数据应用场景,居住人口数,进入人口数,活动规律,发现,降低,设计,提升,商铺位置,服务内容,产品类型,动线设计,客流量,消费额,服务体验,生活爱好,年龄分布,消费热点,客户基本信息,客户购物纪录,购买喜好,热门商品,流行趋势,时间周期,商品组合,改善动线,货架布置,推荐客户潜在需求商品,精细化生产,提升效率,优化资源,零售行业比较有名气的大数据案例就是沃尔玛的啤酒和尿布的故事，以及,Target,通过向年轻女孩寄送尿布广告而告知其父亲，女孩怀孕的故事。,天猫和京东，已经通过客户的购买习惯，将客户日常需要的商品例如尿不湿，卫生纸，衣服等商品,依据客户购买习惯事先进行准备。当客户刚刚下单，商品就会在,24,小时内或者,30,分钟内送到客户门口,，提高了客户体验，让客户连后悔等时间都没有。,零售行业大数据应用场景,优化产品设计,库存管理,生产计划,配置资源,提升,30%,业绩,供应链,物流行业规模,5,万亿,最后一公里物流,3,万亿元,利润率,30%,下降,20%,中国的物流产业规模大概有,5,万亿左右，其中公里物流市场大概有,3,万亿左右。物流行业的整体净利润从过去的,30%,以上降低到了,20%,左右，并且下降的趋势明显。,全国物流网路,各个节点的运货需求和运力,降低货车的返程空载率，降低超载率，减少重复路线运输，降低小规模运输比例,建立基于地理位置和产业链的物流港口,实现货物和运力的实时配比，提高物流行业的运输效率,及时了解各个路线货物运送需求,提升,10%,(,约,5000,亿,),收入,大数据手段,物流行业大数据应用场景,返程空载,重复运输,小规模运输,传统管理,改,善,大数据提升政府治理能力意义重大,国务院发布了,促进大数据发展行动纲要,中提到，将建立“,用数据说话,、,用数据决策,、,用数据管理,、,用数据创新,”的管理机制。,1,、揭示出与传统不同或难以展现的关联，增强政府决策的科学性,2,、提高政府监管市场、建立公平竞争环境的能力,3,、增强公共管理和服务能力，达到个性化和精准化服务的要求,4,、提升污染监控和环境保护成效，推进生态文明建设,5,、提高政府监管市场、建立公平竞争环境的能力,大数据提升政府治理能力意义重大,单位,上海交通综合信息平台,方式,集成道路传感系统、出租车,GPS,系统、居民手机信号迁移、实时视频采集等多系统信息,成效,用以分析交通状况，增强交通管控措施的准确性和时效性，并提高了交通基础设施建设的科学决策水平。,政府治理,大数据应用场景,(1/5),意义：,揭示出与传统不同或难以展现的关联，增强政府决策的科学性,单位,北京，企业与监管部门合作,上海的公共信用信息服务平台,方式,利用互联网和金融行业数据,归集包括法人和自然人监管、执法、审批、资质等,1200,多个信息事项、,3,亿多条数据,成效,打击非法集资、违法违规交易,供部门监管和信息主体查询,政府治理,大数据应用场景,(2/5),意义：,提高政府监管市场、建立公平竞争环境的能力,单位,上海申康医联工程,上海民政局,方式,已完整收集,38,家三级甲等医院数据，目前又扩大收集范围，包括来自上海、广州、武汉等城市和,20,多个地级市的近,1,亿就诊人群，形成国际上最大的电子健康档案信息库和,PB,级的医学影像档案库,通过居民经济状况核对系统,成效,完成,17.4,万余户次申请家庭的经济状况核对，检出,1.7,万不合规户，节约公共财政,19,亿元。,政府治理,大数据应用场景,(3/5),意义：,提高政府监管市场、建立公平竞争环境的能力,单位,北京公众与环境研究中心,方式,采用汇总政府公布和志愿者收集数据等方式，制作了,5,大类,13,个子类的环境污染海量数据库,成效,直观展示各地各流域的环境质量和污染排放数据，还列出近,15,万家企业的环境监管记录，在监控污染状况、监督企业整改等方面发挥了重要作用。,政府治理,大数据应用场景,(4/5),意义：,提升污染监控和环境保护成效，推进生态文明建设,单位,广州市黄埔区,重庆,方式,面向社区整合大数据应用，实现“数据到楼、一图搞掂、一按全知、实时追踪、系统整合、条块融合、现场直播、问效于民”,基于大数据的电子车牌技术为公安机关采集办案信息,700,多万条,成效,排查纠纷隐患,7.2,万宗，就地化解率达,98%,，将很多社会矛盾化解于基层。,实时支持交通管理,预防暴恐事件的能力,政府治理,大数据应用场景,(5/5),意义：,提高政府监管市场、建立公平竞争环境的能力,经由上述案例认识,，,是否可以列举咱们自身经历,(,或感受,),到的大数据应用？,大数据的前世今生,1890,年,1943,年,1989,年,1997,年,2007,年,2008,年,2010,年,2011,年,2012,年,2014,年,由赫尔曼*霍勒瑞斯发明的可以由,机器处理的穿孔卡片,，,突破传统人口普查的困难，该设备让美国用一年的时间就完成了原本用,8,年的人口普查活动,，在全球范围引发数据处理新纪元。,英国“二战”期间开发能,大规模数据处理的机器,，并使用了,第一台可编程的电子计算机,进行运算，以每秒,5 000,字符的速度读,卡,，破译,德军,部队前方信息密码，帮助盟军成功登陆,诺曼第,。,英国计算机科学家蒂姆*博纳斯*李开创了一个叫,“万维网”的超文本系统,，在全球范围内利用互联网实现信息共享。,美国宇航局研究员迈克尔和大卫,首次使用“大数据”,这一语数来描述,20,世纪,90,年代面临的数据挑战。数据集之大，通常超出了主存储器、本地磁盘的存储能力，甚至远超磁盘的承载能力，故而称之为“大数据问题”。,“,大数据”一词开始在技术圈内出现。,连线,杂志发表文章阐述了数据泛滥带来的机遇和挑战，称大数据是“,Petabtye(,拍字节,),时代”的开端。,计算机社区联盟作为,最早提出大数据概念的机构,，发表,大数据计算：在商务、科学和社会领域创建革命性突破,白皮书，,提出“大数据真正作用的是新用途和新见解，而非数据本身”,。,肯尼斯,.,库克尔在,经济学人,上发表大数据专题报告：,数据，无所不在的数据,。他在报告中提到：“世界上有着无法想象的巨量数字信息，并以极快的速度增长。”库克尔因此成为最早洞见大数据时代趋势的数据科学家之一。,IBM,的“沃森”超级计算机每秒可扫描并分析,4TB,（,4,太字节，约,2,亿页文字量）的数据量，并在美国著名智力竞赛节目,危险边缘,上击败两名人类选手而夺冠，,纽约时报,将这一刻称为,“大数据计算的胜利”。,瑞士达沃斯召开的世界经济论坛上，大数据是主题之一，会上发布的报告,大数据，大影响,宣称，,数据已经成为一种新的资产类别，就像货币或黄金一样,。,世界经济论坛以“大数据的回报与风险”为主题,发布,全球信息技术报告,（第,13,版），美国白宫,发布,2014,年全球“大数据”白皮书研究报告,大数据：抓住机遇、保存价值,鉴古知今：大数据的前世今生,大数据定义,大数据的定义最早是源自于企业而非学术机构,至目前为止，对大数据概念的讨论也尚未停止。,学术界、产业界及政府机构都从自身领域、立场出发进行不同的界定。,至今大数据的定义可由四个角度进行认识：,1,、技术分析角度,2,、大数据应用价值角度,3,、大数据自身特征角度,4,、大数据对社会发展影响角度。,大数据定义,(1/4),：技术分析角度,【,内容,】,关注的是对海量、复杂数据进行分析处理，从而获得信息和知识的技术手段,【,提出者,】,麦肯锡,就认为，大数据是大小超出常规数据库工具的获取、储存、管理和分析能力的数据集，也指无法采用传统流程、工具处理或分析的信息，迫使用户采用非传统处理方法的数据集，,数量级不一定要超过特定的数据存储容量值。,维基百科,认为，大数据是指,无法再合理时间范围内,用常规软件工具进行捕捉、管理和处理的数据集合。,数据集成软件商纳斯达克,则认为，大数据包括海量数据和复杂数据类型，其规模,超过传统数据库系统,进行管理和处理的能力,【,内容,】,强调的是大数据的应用，关注的是从数据中获取有价值的信息和知识，最终目的是建立商业方面的竞争优势甚至是创新商业模式。,【,提出者,】,高德纳咨询公司,认为，大数据是,需要新处理模式,才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。,维克托,迈尔,舍恩伯格,认为，大数据时代的来临使得人类第一次有机会和条件在非常多的领域和非常深入的层次获得和使用全面数据、完整数据和系统数据，深入探索现实世界的规律，,获取过去不可能获取的,知识,，得到过去无法企及的商机。,哈佛大学访问学者徐晋,在,大数据经济学,中指出，大数据是指,存在价值关联,的海量数据。大数据的本质是社会经济的离散化解构与全息化重构，表现为行业海量数据的关系从量变到质变的转换,(,深度挖掘）。,赵国栋、易欢欢,等在,大数据时代的历史机遇,一书中指出，大数据是在多样的或者大量的数据中,迅速,获取信息的能力,。,大数据定义,(2/4),：,大数据应用价值角度,【,内容,】,是从大数据本身特质和特点对大数据进行界定。又可分为定量与定性角度说明。,【,提出者,】,1,、,从量的角度,：,百度百科,认为，大数据或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，,在合理时间内,达到颉取、管理、处理并整理成为有助于企业经营决策的资讯。,大数据科学家约翰*劳瑟,认为，大数据就是任何,超过了一台计算机,处理能力的庞大数据量。,2,、,从性质的角度,：,高德纳咨询公司,分析师道格兰尼首次提出大数据的,3V,特征，即高速增长的数据体量（,Volume,），高速进出的数据运动（,Velocity,），高度异质的数据种类（,Variety,）。,在此基础上，,麦肯锡公司,提出了大数据具有,4V,的特征，即：数据容量大（,Volume,）、数据类型繁多（,Variety,）、,商业价值高（,Value,）,、处理速度快（,Velocity,）。,大数据定义,(3/4),：大数据自身特征角度,【,内容,】,强调大数据对人类社会生产生活方式、思维范式等产生的重大影响，认为大数据开启了人类发展的新阶段，并且认为这种范式的影响是持久而深远的。,【,提出者,】,维克托。迈尔,-,恩格教授,提出，,”,大数据,”,所代表的是当今社会所独有的一种新型的能力,以一种前所未有的方式，通过对海量数据进行分析，,获得有巨大价值的产品及服务，或深刻的洞见。,中国工程院院士李国杰,认为，理解大数据需要上升到文化和认识论的高度。数据文化的本质是尊重客观的实事求是，,重视数据就是强调用事实说话,，按理性思维的科学精神。,大数据定义,(4/4),：大数据对社会发展影响角度,中国的大数据战略,2015,年,8,月，,促进大数据发展行动纲要,的颁布，成为推动中国大数据发展的,重要顶层设计和战略部署。,党的十八届五中全会提出实施“国家大数据战略”，标志着大数据战略正式,上升为国家战略。,2016,年,3,月，,中华人民共和国国民经济和社会发展第十,三,个五年规划纲要,，明确提出要把大数据作为,国家的基础性战略资源,。,促进大数据发展行动纲要,对大数据进行了全新界定,，即“大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，,从中发现新知识、创造新价值、提升新能力,的,新一代信息技术和服务业态,”。,这是国家层面对大数据最具权威的官方解读,。这一新的定义，蕴含着大数据时代的三个基本特征，即,新模式、新技术、新业态,。科学认识这些特征可以帮助我们去探寻大数据带来的变化以及这些变化是如何发生的，这正是发现大数据的本质的过程。,中国大数据的定义,新模式：,核心是新的思维范式,。,大数据不仅是一场技术革命，,更是一场思维的革命,。大数据思维范式的关键转变在于从人脑思维到电脑思维再到云脑思维的转变，这种思维具有以下特点,：,一是总体性,，伴随着数据在采集、存储、分析等相关技术上的突破，对于数据的获取实现了,从样本数据到全体数据的转变,。,二是容错性,，精确性是小数据时代的产物，当数据量无限大时，,绝对的精准不再是数据追求的主要目标。,三,是,相关性,，也就是人们只需知道“是什么”，而,不用知道“为什么”,。,四是智能性,，只能是大数据时代的显着特征，思维方式从自然思维向只能思维转变，不断提升机器设备或系统设置的社会计算能力和智能化水平，,从而获得具有洞察力和新价值的数据，甚至类似于人类的智能。,中国大数据的定义,新技术：,核心是新的信息技术。,大数据本身是什么并不重要，重要的是大数据背后蕴含的价值所带来的影响。,大数据具有“容量大、类型多、存取速度快、应用价值高”和“数据巨大、来源分散、格式多样”的特征，,大数据的价值在于应用,，必须依靠全新的处理方式，即新的数据采集技术、数据存储技术和拘束关联分析技术，从根本上解决“数据从哪里来、数据放在哪里、数据如何使用”这三大问题，,实现通过数据发现新知识、创造新价值、提升新能力的目标。,中国大数据的定义(,1/3),新业态：,核心是新的服务业态。,大数据带来社会生产要素的开放共享、集约整合、协同开发和高效使用，改变了传统的生产方式和经济运行机制，持,续激发商业模式创新，不断催生新业态。,这种新业态以新的服务业态为核心，通过大数据驱动传统服务模式或商业模式的再创新。,大数据在重构未来经济格局的同时，也将对传统的社会关系带来重构。,中国大数据的定义,(2/3),从贵阳大数据交易所看贵阳大数据顶层设计,宏观,微观,政府,企业,国资控股的交易平台，接受政府监督与监管，因此具有公信力的，经市场供需进行数据资产现货价值发现，获得鉴价凭证,(703,项目,),后，可编入资产负债表，进而影响企业股价和融资能力。,观察市场使用本身数据情况，发现新蓝海。,大数据交易所为开放数据重要渠道之一。,交易所以企业市场化运作，利用政府无偿数据孵化与建立大数据交易生态圈,大数据交易所为政府开放数据与市场应用的最后一哩路，政府可透过大数据交易所获得市场对开放数据的需求，进而做为数据开放的参考与依据,透过大数据交易所有偿购回与政府治理有关数据产品,(,发挥拉动市场的力量,),与提升政府治理能力,内部经营使用,指导决策,优化管理,不得违反国家安全、社会安全、商业隐私、个人安全等相关法,律。,贵阳大数据产业,大数据商联盟：行业自律机制，确保会员资质，引领行业产生数据交易的法令法规、标准。,陈刚市委书记,6,号：利用大数据进行政府治理,7,号：打造大数据产业链,8,号：利用大数据进行民生服务,9,号：引进高端产业产生大数据,博士,北京中关村项目参与,北京朝阳区区长,顶层设计,战略布局,任务与目的,交易模式,交易底线,大数据交易所在贵阳大数据产业战略布局中的位置,交易所,(702),贵阳大数据发展,1,、策划国家级的大数据交易平台,(,系统,),2,、参与国家数据与数据交易标准的制定,2.1,国家大数据交易标准,2.2,大数据行业应用,2.3,大数据安全标准,2.4,大数据技术标准,3,、策划互联网金融,+,移动金融,+,众筹金融,+,大数据金融,+,大数据资产评估的整合,4,、大数据发展应用促进条例,5,、政府开放数据推动,(,省级：云上贵州、贵阳市政务数据交换平台,+,开放平台,+,交易平台,(,交易所负责,),6,、交管孵化器对外开放,7,、贵州获批建设全国首个国家级大数据综合实验区重点，进行,7,项试验,8,、数据铁笼,9,、党建红云,8,、举办国际级的数博会,.,9,、举办国际级的大数据交易商联盟,层级,政策名称,重点,补充,国家,中共十八届五中全会的“十三五”规划建议,实施国家大数据战略，推进数据资源开放共享。,国家,国务院促进大数据发展行动纲要,开展区域试点，推进贵州等大数据综合试验区建设，促进区域性大数据基础设施的整合和数据资源的汇聚应用。,贵州是此文件中唯一出现的省分名称,国家,国家发改委、工信部、中央网信办批覆同意,贵州获批建设全国首个国家级大数据综合实验区,1.,开展数据资源共享开放试验。,2.,开展数据中心整合利用试验。,3.,开展大数据创新应用试验。,4.,开展大数据产业聚集试验。,5.,开展大数据资源流通试验。,6.,开展大数据国际合作试验。,7.,开展大数据制度创新试验。,贵州省,中共贵州省委第十一届六次全会,“十三五”期间贵州要突出抓好大数据、大扶贫两大战略行动。,贵州省,贵州省大数据发展应用促进条例,第,18,条,描述培育数据交易市场，规范交易行为与不得损害国家、社会、个人合法利益,第,19,条,鼓励和引导数据交易当事人在依法设立的数据交易机构进行数据交易,国家与地方政府政策重点,Farecast&ITA Software,2006,年，微软以,1.1,亿美元,的价格购买了埃齐奥尼的大数据公司,Farecast,（主打技术是依靠机票销售数据预测机票价格）。然而时隔两年后，谷歌以,7,亿美元,的价格购买了为,Farecast,提供数据的,ITA Software,公司。,The,Weather Company,2015,年,10,月,28,日，,IBM,公司宣布,20,亿美金,收购，通过整合,IBM,行业领先的大数据和分析能力，以及,The Weather,的科学专业性和基于云计算的天气数据发布系统，来给企业带来实时的天气分析信息，帮助他们更好地进行决策。,美国气象局,大数据价值凸显,美国,1970,年,公开了气象数据,。美国国内围绕这一项政府数据的资源，产生了将近,300,家新创企业,，并延伸出数据清洗、分析、挖掘、数据应用等业态，直到现在，,每年,围绕这一业态产生的,经济价值高达,300,亿美元。,大数据成为资产,云时代,交易,资产价值,云应用,创造大数据价值,云计算,形成大数据处理能力,结构化数据,半结构化数据,非结构化数据,结构化数据,云存储,增加数据广度和深度,贵阳大数据交易所介绍,视频,10,分钟,大数据技术简介,【,数据采集,】,ETL,工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后载入到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。,【,数据存取,】,关系数据库、,NOSQL,、,SQL,等。,【,基础架构,】,云存储、分散式文件存储等。,【,数据处理,】,自然语言处理,(NLP,，,Natural Language Processing),是研究人与电脑交互的语言问题的一门学科。处理自然语言的关键是要让电脑,“,理解,”,自然语言，所以自然语言处理又叫做自然语言理解,(NLU,，,Natural Language Understanding),，也称为计算语言学,(Computational Linguistics,。一方面它是语言资讯处理的一个分支，另一方面它是人工智慧,(AI,Artificial Intelligence),的核心课题之一。,【,统计分析,】,假设检验、显著性检验、差异分析、相关分析、,T,检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、,logistic,回归分析、曲线估计、因数分析、聚类分析、主成分分析、因数分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析（最优尺度分析）、,bootstrap,技术等等。,【,数据挖掘,】,分类（,Classification,）、估计（,Estimation,）、预测（,Prediction,）、,相关性分组或关联规则,（,Affinity grouping or association rules,）、聚类（,Clustering,）、描述和可视化、,Description and Visualization,）、复杂数据类型挖掘,(Text,Web,图形图像，视频，音频等,),【,模型预测,】,预测模型、,机器学习,、建模模拟。,【,结果呈现,】,云计算、标签云、关系图等。,大数据技术,数据采矿是用来将数据中,隐藏的资讯挖掘出来,，所以使用了许多统计分析与,Modeling,的方法，到数据中寻找有用的,特征（,Patterns,）,以及,关连性（,Relationships,）。,数据采矿,（,Data Mining,）,的介绍,这些模式有两种用处：,第一，了解数据的特征与关系可以提供你做决策所需要的资讯。,譬如,Association Model,可以帮助超级市场或百货店规画如何摆设货品。,第二，数据的特征可以帮助你做预测。,例如你可以从一份邮寄名单预测出哪些客户最可能对你的推销做回应，所以你可以只对特定的对象做邮购推销，而不必浪费许多印刷费邮寄费而只得到很少的回应。,一般而言，,Data Mining,功能可包含下列五项功能：,分类,(classification),推估,(estimation),预测,(prediction),关联分组,(affinity grouping),同质分组,(clustering),数据采矿的功能,数据采矿的,”,分类,”,功能,功能说明,按照分析对象的属性分门别类加以定义，建立类组,(class),。,例如,将信用申请者的风险属性，区分为高度风险申请者，中度风险申请者及低度风险申请者。,技巧,使用的技巧有,决策树,(decision tree),，,记忆基础推理,(memory-based reasoning),等。,数据采矿的,”,推理,”,功能,功能说明,根据既有连续性数值之相关属性数据，以获致某一属性未知之值,。,例如,按照信用申请者之教育程度、行为别来推估其信用卡消费量。,技巧,使用的技巧包括,统计方法上之相关分析,、,回归分析,及,类神经网路,方法。,数据采矿的,”,预测,”,功能,功能说明,根据对象属性之过去观察值来推估该属性未来之值。,例如,例如由顾客过去之刷卡消费量预测其未来之刷卡消费量。,技巧,使用的技巧包括回归分析、时间数列分析及类神经网路方法。,功能说明,从所有物件决定那些相关物件应该放在一起。,例如,超市中相关之盥洗用品,(,牙刷、牙膏、牙线,),，放在同一间货架上。,技巧,在客户行销系统上，此种功能系用来确认交叉销售,(cross selling),的机会以设计出吸引人的产品群组。,数据采矿的,”,关联分组,”,功能,数据采矿的,”,同质分组,”,功能,功能说明,将异质母体中区隔为较具同质性之群组,(,clusters,),。,例如,同质分组相当于行销术语中的区隔化,(,segmentation,),，但是，假定事先未对于区隔加以定义，而数据中自然产生区隔。,技巧,使用的技巧包括,k-means,法及,agglomeration,法。,实践数据采矿功能的技术：算法,群集算法,Clustering,决策树,Decision Trees,时间序列,Time Series,时序群集,Sequence Clustering,关联规则,Association,贝氏决策定理,Nave Bayes,类神经网路,Neural Net,线性回归,Linear Regression,罗吉斯回归,Logistic Regression,决策树,(Decision Trees),利用一系列规则划分，建立树状图，,可用于分类和预测,。常用的演算法有,CART,、,CHAID,、,ID3,、,C4.5,、,C5.0,等。,它的目标为,找出数据中以前未知的相似群体,，在许许多多的分析中，,刚开始都运用到群集侦测技术，以作为研究的开端。,这个技术涵盖范围相当广泛，包含基因演算法、类神经网路、统计学中的群集分析都有这个功能。,群集算法,(Clustering),时间序列,(Time Series),也叫,时间数列、历史复数或动态数列,。它是将某种统计指标的数值，按时间先后顺序排到所形成的数列。,根据时间序列所反映出来的发展过程、方向和趋势，,进行类推或延伸,，藉以,预测,下一段时间或以后若干年内可能达到的水平。,关联规则,(Association),又称关联规则，是数据,挖掘,的一个重要课题，用于从大量数据中挖掘出有价值的数据项之间的相关关系。,关联规则一个经典的实例是,购物篮分析,(Market Basket Analysis),。超市对顾客的购买记录数据库进行关联规则挖掘，可以发现顾客的购买习惯，例如，,购买产品,X,的同时也购买产品,Y,，于是，超市就可以调整货架的布局，比如将,X,产品和,Y,产品放在一起，增进销量。,正如大多数数据挖掘技术一样，关联规则的任务在于减少潜在的大量杂乱无章的数据，使之成为少量的易于观察理解的静态,数据,。,关联式规则多不考虑项目的次序，而仅考虑其组合。,时序群集,(Sequence Clustering),Sequence Discovery,与,Association,关系很密切，所不同的是,Sequence Clustering,中相关的,Item,是,以时间区分开来,（例如：如果做了,X,手术，则,Y,病菌在,手术后,感染的机率是,45%,。又例如：如果,A,股票在某一天上涨,12%,，而且当天股市加权指数下降，则,B,股票在,两天之内,上涨的机率是,68%,）。,罗吉斯回归分析（,Logistic Analysis,）,当区别分析中,群体不符合常态分配假设,时，罗吉斯回归分析是一个很好的替代方法。罗吉斯回归分析,并非预测事件（,event,）是否发生,，,而是预测该事件的机率,。,它将引数与因变数的关系假定是,S,行的形状，,当引数很小时，机率值接近为零；当引数值慢慢增加时，机率值沿着曲线增加，增加到一定程度时，曲线协率开始减小，故机率值介于,0,与,1,之间。,神经网路,(Neural Net),模拟人的神经元功能，经过,输入层，隐藏层，输出层,等，对数据,进行调整，计算，最后得到结果，,用于分类和回归。,类神经网路是,以重复学习的方法，将一串例子交与学习，使其归纳出一足以区分的样式。若面对新的例证,，神经网路即可,根据其过去学习的成果归纳后，推导出新的结果,，乃属于机器学习的一种。数据采撷的相关问题也可采类神经学习的方式，其学习效果十分正确并,可做预测功能。,所谓就是指,因变数和自变数之间的关系是直线型的,。,回归分析预测法中最简单和最常用的是线性回归预测法。是对,客观事物数量依存关系的分析,是数理统计中的一个常用的方法是,处理多个变数之间相互关系的一种数学方法,线性回归模型,是,机率论中的一个结论,，它跟随机变数的,条件机率以及边缘机率,分布有关。,通常，,事件,A,在事件,B,（发生）的条件下的机率，与事件,B,在事件,A,的条件下的机率是不一样的,；然而，这两者是有确定的关系，,贝氏定理就是这种关系的陈述。,贝氏定理（,Bayes theorem,）,项次,问题类型,适用技术,(,方法,),举例,1,预测离散属性,1.1,决策树演算法,(,Decision Trees)1.2,贝氏机率分类演算法,(,Naive Bayes)1.3,群集演算法,(,Clustering)1.4,类神经网路演算法,(,Neural Network),1.a,将潜在买家清单中的客户标帜为较佳或较差的潜在客户。,1.b,计算伺服器在未来,6,个月内失败的机率。,1.c,分类病人结果并探索相关因素。,2,预测连续属性,2.1,决策树演算法,(,Decision Trees)2.2,时间序列演算法,(,Time Series)2.3,线性回归演算法,(,Linear Regression),2.a,预测下一个年度的销售。,2.b,根据过去历史和季节性趋势来预测网站访客。,2.c,根据人口统计产生风险分数。,3,预测顺序,3.1,时序群集演算法,(,Sequence Clustering),3.a,执行公司网站的点选流分析。,3.b,分析导致伺服器失败的因素。,3.c,撷取及分析看诊期间的活动顺序，制定出以一般活动为主的最佳作法。,4,在交易中寻找通用项目的群组,4.1,关联分析演算法,(,Association )4.2,决策树演算法,(,Decision Trees),4.a,使用购物篮分析来决定产品位置。,4.b,向客户建议其他可购买的产品。,4.c,分析参加某事件之访客的调查数据，以找出相互关联的活动或摊位，并规划未来的活动。,5,寻找相似项目的群组,5.1,群集演算法,(,Clustering)5.2,时序群集演算法,(,Sequence Clustering),5.a,根据人口统计和行为等属性，建立病患风险评估群组。,5.b,依浏览及购买模式来分析使用者。,5.c,识别具有类似使用特性的伺服器。,问题类型与方法选定,SPSS,和,NCR,在,1996,年为克莱斯勒做数据采矿时所订定,区分六大步骤：,1.,商业理解,(Business Understanding),2.,数据理解,(Data Understanding),3.,数据预备,(Data Preparation),4.,塑模,(Modeling),5.,评估,(Evaluation),6.,部署,(,或布署,)(Deployment),数据挖掘标准流程,(CRISP-DM),(,CR,oss-,I,ndustry,S,tandard,P,rocess for,D,ata,M,ining),一个数据挖掘项目的生命周期包含六个阶段。这六个阶段的顺序是不固定的，我们经常需要前后调整这些阶段。,最初的阶段集中在理解项目目标和从业务的角度理解需求，同时将这个知识转化为数据挖掘问题的定义和完成目标的初步计划。,侧重点：,数据采矿的重心在于如何从数据中挖掘出知识以获取商业利润，因此整个数据采矿的核心必顸环绕在商业问题上,，而不似学术实验室仅专注于演算法的推导与程式撰写。,资讯单位与使用者单位间的沟通,配合法规以及外在环境应变而改变既有的建模程序,成功的数据采矿顾问必顸同时具有三大专业，分别是,算法与统计、数据库与资讯平台、产业专业知识,，三者缺一不可,业务理解（,Business Understanding,）,侧重点：,运用基础统计以提升数据分析人员对数据的熟悉度，并同时验证数据的品质,分析数据的迷思：车流量与脉搏,错误的取样会导致错误的结论,必顸透过跟案例间比较才能够真正辨识出变数的意义,数据理解阶段从初始的数据收集开始，通过一些活动的处理，目的是熟悉数据，识别数据的质量问题，首次发现数据的内部属性，或是探测引起兴趣的子集去形成隐含信息的假设。,数据理解（,Data Understanding,）,数据准备阶段包括从未处理数据中构造最终数据集的所有活动。这些数据将是模型工具的输入值。这个阶段的任务有个能执行多次，没有任何规定的顺序。任务包括表、记录和属性的选择，以及为模型工具转换和清洗数据。,侧重点：,垃圾进；垃圾出,(Garbage in,garbage out),数据预处理,连续变数类别变数互换,遗漏值,极端值与标准化,衍生变数与筛选有效变数,数据准备（,Data Preparation,）,在这个阶段，可以选择和应用不同的模型技术，模型参数被调整到最佳的数值。一般，有些技术可以解决一类相同的数据挖掘问题。有些技术在数据形成上有特殊要求，因此需要经常跳回到数据准备阶段。,侧重点：,选择,合适,的数据采矿,技术,与,设定,最佳的,参数,以建立模型,建模（,Modeling,）,到项目的这个阶段，你已经从数据分析的角度建立了一个高质量显示的模型。在开始最后部署模型之前，重要的事情是彻底地评估模型，检查构造模型的步骤，确保 模型可以完成业务目标。这个阶段的关键目的是确定是否有重要业务问题没有被充分的考虑。在这个阶段结束后，一个数据挖掘结果使用的决定必须达成。,侧重点：,使用训练数据集,(Training dataset),建立预测模型,.,使用鉴效数据集,(Validation dataset),来避免模型对于训练数据集产生记忆效应,使用测试数据集,(testing dataset),来选择模型以及测量模型在预测未知数据的能力,评估（,Evaluation,）,通常，模型的创建不是项目的结束。,模型的作用是从数据中找到知识,，根据需求，这个阶段可以产生简单的报 告，或是实现一个比较复杂的、可重复的数据挖掘过程。在很多案例中，这个阶段是由客户而不是数据分析人员承担部署的工作。,部署（,Deployment,）,大数据已成为国家、企业乃至个人的重要资源,而,使用大数据的能力,则成为国家、企业与个人的,核心竞争力,当数据、技术与硬件都到位后的最后一哩路：就是,创意,创意思考方法分享,创意思考就要变,知变：了解趋势变化,应变：掌握问题解决,创变：创新创意思考,世界唯一不变的，就是一切都在变,创意思考那里找,从过去经验找感,从现在问题找机会,从未来想象新创意,身边需求看到机会,报纸杂志趋势创意,跨界旅行刺激灵感,朋友对谈激发创意,大师专家分享实务,异业学习启发创新,天时,地利,人和,水平思考,信息或问题,创新,(,产品创新、行销创新、管理创新,),垂直