收藏 分销(赏)

大数据数据分析新理念朱老师省公共课一等奖全国赛课获奖课件.pptx

上传人:精**** 文档编号:4151633 上传时间:2024-08-03 格式:PPTX 页数:47 大小:8.49MB
下载 相关 举报
大数据数据分析新理念朱老师省公共课一等奖全国赛课获奖课件.pptx_第1页
第1页 / 共47页
大数据数据分析新理念朱老师省公共课一等奖全国赛课获奖课件.pptx_第2页
第2页 / 共47页
大数据数据分析新理念朱老师省公共课一等奖全国赛课获奖课件.pptx_第3页
第3页 / 共47页
大数据数据分析新理念朱老师省公共课一等奖全国赛课获奖课件.pptx_第4页
第4页 / 共47页
大数据数据分析新理念朱老师省公共课一等奖全国赛课获奖课件.pptx_第5页
第5页 / 共47页
点击查看更多>>
资源描述

1、大数据时代与大数据 数据分析新理念数据分析新理念 厦门大学数据挖掘研究中心厦门大学数据挖掘研究中心 厦门大学经济学院统计系厦门大学经济学院统计系朱建平朱建平 博士、教授、博士生导师博士、教授、博士生导师http:/xdmrc.org/第1页 大数据时代与大数据 数据分析新理念数据分析新理念 第一部分:大数据与大数据时代第一部分:大数据与大数据时代一、大数据产生背景一、大数据产生背景二、国内发展现实状况二、国内发展现实状况三、大数据概念界定三、大数据概念界定 第二部分:数据分析新理念第二部分:数据分析新理念四、怎样了解大数据和分析大数据四、怎样了解大数据和分析大数据 五、大数据对统计学科和统计研

2、究工作影响五、大数据对统计学科和统计研究工作影响 第2页一、大数据产生背景1955年信息公开1965年摩尔定律1973年最小数据集1980年标准数据接口1988年普适计算数据驱动1955年,约翰摩斯提出自由信息法草案,几经周折,直到1965年才被参议院投票经过,直到第二年7月4日才被美国总统签字经过。摩尔定律摩尔定律:同一个面积集成电路上可容纳晶体管数目,一到两年将增加一倍,亦即计算机硬件处理速度和存放能力将提升一倍。最小数据集概念起源于美国医疗领域,指代国家管理层面针对某个业务管理领域强制搜集数据指标。一些领域最小数据集甚至被上升到立法高度。数据在不一样信息管理系统之间共享也使数据接口标准化

3、越来越得到强调。第3页返 回主机型计算阶段(Mainframe Computing)个人型计算阶段(Personal Computing)普适计算阶段(Ubiquitous Computing)第4页二、国内发展现实状况 近年来,对大数据研究和应用不但引发了我国自然科学和人文社会科学界广泛重视,也受到我国中央政府高度关注:这些是大数据产业主要组成部分,与大数据产业发展亲密相关。“十二五”国家战略性新兴产业发展规划明确提出支持海量数据存放、处理技术研发与产业化物联网“十二五”发展规划提出将信息处理技术列为四项关键技术创新工程之一第5页2月国家统计局召开以大数据为主题工作会议3月26日科研所又举行

4、了“大数据在政府统计工作中应用研究”课题研究教授咨询会3月4日国家统计局科研所重点讨论布署了“大数据在政府统计中应用”研究工作12月国家统计局在上海开展了大数据应用调研活动11月国家统计局总统计师鲜祖德会见美国华裔大数据教授时,提出国家统计局十分重视大数据在统计中应用,并成立了课题组研究怎样经过对大数据处理推进统计方法制度改革,改进政府统计工作我国国家统计局科研所于8月就召开了大数据应用研究座谈会,提出了在大数据时代利用当代信息技术建立统计云架构研究目标。4月11日,国家统计局总统计师鲜祖德率领大数据课题组赴baidu企业调研,就大数据在政府统计中应用及相关合作事宜,与baidu企业相关领导和

5、教授进行了深入交流5月2日国家统计局科研所青年学术沙龙深入研讨大数据应用8月6日,国家统计局总统计师鲜祖德主持召开了“大数据在政府统计中探索与应用研究”课题汇报座谈会10月28日-29日,“第十七次全国统计科学讨论会”在浙江省杭州市召开。主题是:大数据背景下统计。11月19日,国家统计局与阿里、baidu等11家企业签署了大数据战略合作框架协议。第6页 11月19日下午,国家统计局与上海钢联电子商务股份有限企业、山东卓创资讯集团有限企业、58同城信息技术有限企业、天云融创数据科技(北京)有限企业、中国联合网络通信有限企业、天脉聚源(北京)传媒科技有限企业、baidu在线网络技术(北京)有限企业

6、、阿里巴巴(中国)有限企业、纽海信息技术(上海)有限企业、昆明泛亚有色金属交易所股份有限企业和南京擎天科技有限企业共11家企业在京签署了大数据战略合作框架协议,共同推进大数据在政府统计中应用,不停增强政府统计科学性和及时性。第7页 大数据在政府统计中探索与应用10月1日出版 第8页 2月25日,国家统计局局长马建堂赴北京市中关村,考查中关村国家自主创新示范区、中关村数海大数据交易平台和京东商城。他说,统计部门要孜孜不倦推进大数据在政府统计中应用,不停加大与各类企业在大数据应用中合作力度,努力打造政府统计数据起源第二轨,使统计数据愈加真实准确,为社会提供愈加优质统计服务。第9页 3月22日,国家

7、社科基金重大项目大数据与统计学理论发展研究开题研讨会在厦门大学举行。中国统计学会副会长兼秘书长、国家统计局统计科学研究所所长潘璠作为子课题五大数据下统计方法实际应用探索责任人,介绍了大数据在政府统计中研究进展及相关应用动态。第10页 4月4日早晨,马建堂在浙江省副省长朱从玖陪同下,来到阿里巴巴集团,对集团电子商务业务进行调研。听取了阿里巴巴集团近年来业务发展情况和大数据应用情况汇报,深入了解了天猫和淘宝网两个网上零售交易平台运行模式、商家规模、交易体量、发展速度和大数据业务,与阿里巴巴相关责任人探讨了利用网络平台日常交易产生大数据完善贸易统计构想。第11页 5月8日,国家统计局局长马建堂赴上海

8、调研大数据在统计工作中应用。马建堂强调,统计部门要顺势而为,以愈加主动开放心态拥抱大数据时代,以大数据利用为引擎,助力深入提升统计数据搜集能力、完善统计制度方法、加强经济形势分析、提升统计数据质量,愈加好地服务经济社会发展。第12页 5月20日,是北京入夏以来最热一天。下午2点多,国家统计局局长马建堂一行来到了位于上地十街baidu企业调研大数据生产及应用情况。第13页 7月9日下午,科研所所长潘璠、数管中心副司级干部李金宽等一行4人到访中国联通企业,与联通研究院、集团客户事业部等部门责任人就大数据合作事宜进行深入座谈交流。第14页 8月22日,国家统计局统计科研所所长潘璠一行,在深圳市统计局

9、总统计师胡卫东等陪同下,分别到访总部设在深圳顺丰速运有限企业和阿里巴巴一达通企业服务有限企业,与企业相关责任人就大数据合作事宜进行深入沟通。第15页 9月27-28日第十五次全国中青年统计科学研讨会日前在天津财经大学举行,来自全国统计教授、学者、中青年统计科研人员、统计工作者及大专院校师生,以“大数据统计展望”为主题进行了广泛而深入交流。徐一帆向大会致辞,国家统计局副局长、中国统计学会副会长李强作了“全方面推进和深化统计改革”专题汇报,总统计师鲜祖德主持了会议开幕式。第16页 国家统计局9月29日召开“大数据与统计建模”视频汇报会,来自全国统计建模大赛5支获奖代表队就各自利用大数据进行统计建模

10、论文结果进行了主题汇报。国家统计局副局长、全国统计建模大赛组委会主任委员张为民要求国家统计局各相关专业司、各省统计局、国家统计局各调查总队要充分重视大数据时代为统计系统带来机遇和挑战,深入研究大数据在统计工作当中应用,奋力推进统计事业改革发展。国家统计局副局长徐一帆、许宪春、李强,党组纪检组长高建华,总统计师鲜祖德,总经济师李晓超一同出席了此次汇报会。第17页 9月30日,国家统计局在京举行大数据应用汇报会,与6家企业签署大数据战略合作框架协议。国家统计局局长马建堂作主要讲话。他强调,统计部门将携手合作企业共同开发利用大数据,共同推进大数据产业化,主动构建由结构化数据和大数据为基础起源当代化政

11、府统计,奋力抢占大数据开发应用制高点,生产更多、更加好、更有价值统计产品,为国家宏观调控、人民生活改进、社会福祉提升提供坚实数据支撑。国家统计局与上海航运交易所、北京易观网络信息咨询有限企业、北京搜房网络技术有限企业、北京数海科技有限企业、浪潮集团有限企业、深圳市腾讯计算机系统有限企业共6家企业签署合作协议。第18页 厦门大学数据挖掘研究中心于6月6日向国家统计局统计科学研究所提交厦门大学数据挖掘研究中心关于合作成立大数据试验室提议,倡议联合国家统计局统计科学研究所和台湾辅仁大学商学研究所成立“厦门大学数据挖掘研究中心大数据试验室”。10月17日正式举行了揭牌仪式。该试验中心将联合厦门沸腾网络

12、科技有限企业,共同推进数据挖掘和大数据研究与应用。第19页 由中国国家统计局和联合国统计司联合主办“大数据和官方统计”国际会议10月28日在京开幕。国家统计局局长马建堂出席会议并致辞,联合国统计司司长斯特芬施万斯特,联合国大数据全球工作小组主席、澳大利亚统计局副局长特雷弗萨顿也分别在开幕式上致辞。国家统计局副局长谢鸿光主持开幕式,副局长李强做主旨讲话。这次会议讨论主要内容包含:大数据和国际统计发展;手机、全球定位系统和其它跟踪装置;卫星影像和其它地理空间信息;Twitter和其它社交媒体;网络交易和扫描数据;大数据起源共性及隐私问题;发展中国家引入创新;未来之路大数据应用。第20页 来自联合国

13、统计司、联合国全球脉动行动、联合国欧洲经济委员会、联合国亚太经社会、联合国亚太统计研究所、欧盟统计局、海湾阿拉伯国家合作委员会统计中心、国际货币基金组织、国际电信联盟、世界银行、万国邮政联盟等11个国际组织,以及澳大利亚、孟加拉国、加拿大、哥伦比亚、丹麦、埃及、德国、印度、印尼、爱尔兰、意大利、日本、马来西亚、墨西哥、摩洛哥、荷兰、阿曼、巴基斯坦、菲律宾、韩国、新加坡、坦桑尼亚、泰国、阿拉伯联合酋长国、美国、越南和中国等27个国家近120位代表参加研讨会。第21页国家统计局局长马建堂为经济发展新常态提供愈加优质统计保障 元旦献辞 ()研究应用大数据迈出实质性步伐,在价格统计、贸经统计、建设领域

14、统计、交通运输统计和经济监测分析应用中取得初步结果。()继续深化重点领域统计改革,不停巩固和拓展统计生产方式变革结果,加紧利用大数据、云计算奋力打造数据生产新兴之轨,大力推进依法统计,深入开发利用三经普资料,全方面开启第三次全国农业普查,认真做好全国1%人口抽样调查,扎实开展各项常规统计调查,持之以恒扎实统计业务基础和基层基础,果断打造廉洁统计,为党和政府以及社会各界提供愈加优质统计服务。第22页国内各地制订云计算国内各地制订云计算“十二五十二五”规划规划云计算、物联网园区云计算、物联网园区中国各地制订或公布了云计算、物联网等产业规划;这些工程初始着眼点在房地产,政绩中国各地制订或公布了云计算

15、、物联网等产业规划;这些工程初始着眼点在房地产,政绩工程居多,大数据作为关键内容端,使得政绩工程变为使用工程。工程居多,大数据作为关键内容端,使得政绩工程变为使用工程。云计算、物联网、社交化媒体、云计算、物联网、社交化媒体、GIS为大数据提供了丰富数据起源。所以大数据中包含每为大数据提供了丰富数据起源。所以大数据中包含每个用户身份、地点、时间、喜好、厌恶、社会关系等等大量信息。伴随数据挖掘和分析技个用户身份、地点、时间、喜好、厌恶、社会关系等等大量信息。伴随数据挖掘和分析技术发展,我们即将步入基于大数据智能化时代。术发展,我们即将步入基于大数据智能化时代。云计算、物联网从政绩工程变成实用工程云

16、计算、物联网从政绩工程变成实用工程第23页 广东省政府于2月26日印发了广东省经济和信息化委员会主要职责内设机构和人员编制要求。要求明确了广东省经济和信息化委员会16项职责。依据职责,广东省经济和信息化委员会设21个内设机构,其中包含成立广东省大数据管理局。其详细职责是:研究拟订并组织实施大数据战略、规划和政策办法,引导和推进大数据研究和应用工作;组织制订大数据搜集、管理、开放、应用等标准规范;推进形成全社会大数据形成机制建立和开发应用;负担企业情况综合工作,负责企业数据搜集和存放;组织编制电子政务建设规划并组织实施;组织协调政务信息资源共享;组织协调省级重大电子政务项目建设,组织协调网上办事

17、大厅等电子政务一站式服务建设;负责统筹政务信息网络系统、政务数据中心建设、管理;统筹协调信息安全保障体系建设;负担信息安全等级保护、应急协调和数字认证相关工作。第24页.10.13.10.13福建省人民政府福建省人民政府关于支持大数据产业重点园区加紧发关于支持大数据产业重点园区加紧发展十条办法通知展十条办法通知(闽政52号)各市、县(区)人民政府,平潭综合试验区管委会,省人民政府各部门、各直属机构,各大企业,各高等院校:为推进数字福建(长乐)产业园、中国国际信息技术(福建)产业园(以下简称园区)加紧建设成为全省大数据产业重点园区和“数字福建”建设主要承载基地,现提出以下办法:第25页一、完善园

18、区发展规划一、完善园区发展规划二、引进培育产业龙头二、引进培育产业龙头三、推进资源汇聚开发三、推进资源汇聚开发四、建设大数据创新平台四、建设大数据创新平台五、加强人才引进培养五、加强人才引进培养六、做好园区用地保障六、做好园区用地保障七、确保园区用电需求七、确保园区用电需求八、强化园区网络支撑八、强化园区网络支撑九、实施财税优惠政策九、实施财税优惠政策十、提升安全保障能力十、提升安全保障能力 本通知确定相关优惠政策自印发之日起施行。园区所在市、县政府要主动靠前服务,主动创新园区运作模式、资本运作模式、产业协作模式,及时为入园企业处理详细问题,为园区发展营造良好环境。省直相关部门要按照职责分工,

19、加强指导和服务,大力支持园区发展,确保赋予入园企业各项优惠政策落实到位。第26页统计学是一门古老的学科,已经有三百多年的历史,在自然科学和人文社会科学的发展中起到了举足轻重的作用统计学又是一门生命力及其旺盛的学科,它海纳百川又博采众长她随着各门具体学科的发展不断壮大自己毫不例外,大数据时代的到来,给统计学科带来了发展壮大机会的同时,也使得统计学科面临着重大的挑战。怎样深刻地认识和把握这一发展契机,怎样更好地理解和应对这一重大挑战,这就迫使我们需要澄清大数据的概念、明确大数据的特征;重新审视统计的工作过程、提出新的思想理念第27页三、大数据概念界定 我们查阅了大量关于大数据方面资料,对大数据概念

20、定义众说纷纭,对大数据了解决于定义者观点和背景。比较有代表性定义主要有以下几个。维基百科给出定义是,大数据指是所包括资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更主动目标资讯。大数据科学家John Rauser提出一个简单定义是,大数据指任何超过了一台计算机处理能力数据。第28页 美国咨询企业麦肯锡汇报是这么定义,大数据是指无法在一定时间内用传统数据库软件工具对其进行抓取、管理和处理数据集合。Gartner 企业Merv Adrian()认为,大数据超出了惯用硬件环境和软件工具在可接收时间内为其用户搜集、管理和处理数据能力。IDC(In

21、ternational Data Corporation,)对大数据概念描述为:大数据是一个看起来似乎来路不明大动态过程;不过实际上,大数据并不是一个新生事物,即使他确确实实正在走向主流并引发广泛注意;大数据并不是一个实体,而是一个横跨很多IT边界动态活动。第29页 还有一些学者如格雷布林克(Grobelink.M)()、Forrester分析师布赖恩霍普金斯(Brian Hopkins)、鲍里斯埃韦尔松(Boris Evelson)()和Oracle(甲骨文)刘念真()等虽未给出大数据详细定义,不过他们概括了大数据特点。格雷布林克()认为大数据含有三个特点,即多样性(Variety)、大量性

22、(Volume)、高速性(Velocity),又称3V特点。布赖恩霍普金斯(Brian Hopkins)、鲍里斯埃韦尔松(Boris Evelson)()认为,除了格雷布林克给出三个特征外,大数据还含有易变性(Variability)特点,即4V特点。刘念真则认为大数据除了Grobelink.M给出特点外,还含有真实性(Veracity)和价值性(Value),即五V特点。第30页 大数据科学研究还刚才起步,既然是研究,我们就要了解其内在涵义。这些对大数据概念表示方式即使不一样,但从各自角度描述出了对大数据了解。从表面看我们能够从两个角度来了解,假如把“大数据”看成是形容词,它描述是大数据时代

23、数据特点;假如把“大数据”看成是名词,它表达是我们科学研究对象。第31页 1、“大数据时代”定义 格雷布林克(Grobelink.M)在纽约时报2月一篇专栏中所称,“大数据时代”已经降临,在商业、经济及其它领域中,管理者决议越来越依靠数据分析,而不是依靠经验和直觉。“大数据”概念之所以被炒得如火如荼,是因为大数据时代已经到来。了解大数据,必须首先了解大数据时代背景,这么就有必须澄清大数据时代含义。第32页 我们可以这样来定义大数据时代,大数据时代是建立在对互联网、物联网等渠道广泛大量数据资源收集基础上数据存储、价值提炼、智能处理和分发信息时代。在这个时代,可以致力于让人们能够从几乎任何数据中获

24、得可转换为推进人们生活方式变化有价值知识。广泛性公开性动态性社会性大数据时代特点第33页广泛性计算机技术不但促进自然科学和人文社会科学各个领域发展,而且全方面融入了人们社会生活中人们在不一样领域采集到数据量之大,到达了前所未有程度,数据产生、存放和处理方式发生了革命性改变人们工作和生活基本上都能够用数字化表示,在一定程度上改变了人们工作和生活方式社会性世界范围的计算机联网,数据流通取代产品流通,将生产演变成服务,将工业劳动演变成信息劳动。产品不需要离开它的原始占有者就能够被交换,这类产品通过计算机网络可以大量复制和分配,其价值增加是通过知识实现实现这一价值的主要工具就是计算机软件。第34页动态

25、性大数据是基于互联网的及时动态数据数据资料可以随时随地产生,数据资料的收集具有动态性数据存储技术、数据处理技术也随时更新,即处理数据的工具也具有动态性公开性大数据时代展示了从信息公开运动到数据技术演化的多维画卷虽然考虑对于用户隐私的保护,但是大数据必然产生于一个开放的,公共的网络环境之中。一系列受到法律支持或社会公认的数据标准和规范这种公开性和公共性的实现取决于若干个网络开放平台或云服务第35页 2、“大数据”定义 我们认为大数据定义之所以众说纷纭,没有形成统一定义。主要是因为大数据如其名一样,所涉内容太“大”,大家看它角度不一样,于是出现了仁者见仁,智者见智局面。在了解大数据历史沿革和大数据

26、所处时代背景后,我们就能够深入充分了解大数据内涵。这里我们需要提及是,大数据也是数据,统计学应该随时地关注大数据分析,哪里有数据,哪里就有统计分析。所以,判定“大数据”应该在现有科学技术基础上引入统计学思想。第36页 我们能够这么来定义“大数据”,大数据指那些超出传统数据系统处理能力、超越经典统计思想研究范围、不借用网络无法用主流软件工具及技术进行单机分析复杂数据集合。对于这一数据集合,在一定条件下和合理时间内,我们能够经过当代计算机技术和创新统计方法,有目标地进行设计、获取、管理、分析,揭示隐藏在其中有价值模式和知识。大数据特点大量性多样性价值性高速性第37页半结构化数据半结构化数据半结构化

27、数据半结构化数据结构化数据结构化数据结构化数据结构化数据非结构化数据非结构化数据非结构化数据非结构化数据我们认为大数据基本特征能够表达在以下四个方面1.大量性2.多样性 最小基本单位是Byte,全部单位:Byte、KB、MB、GB、TB、PB、EB、ZB、YB、DB、NB。按照进率1024(2十次方)高度发达的网络技术承载数据资料的个人电脑、手机、平板电脑等数据资料的来源范围在不断拓展人类获得数据资料在不断更改数据的计量单位第38页 大数据规模巨大,数据在不停更新改变,这些有价值信息可能转瞬即逝,所以,在大数据时代,对数据接收和处理思想都需要转变,怎样经过强大机器算法更快速地完成数据价值“提纯

28、”成为当前大数据背景下亟待处理难题。3.价值性 处理时效性高,因为大数据有价值信息存在时间短,要求能快速有效地提取大量复杂数据中有价值信息。在如此海量数据面前,处理数据效率就是企业生命。4.高速性第39页四、怎样了解大数据和分析大数据四、怎样了解大数据和分析大数据 维克多(Vikor Mayer-Schnberger)在其大数据时代一书中提到传统数据分析思想应作三大转变:一是转变抽样思想;二是转变数据测量思想;三是不再探求难以捉摸因果关系。毫无疑问,上述三个转变均与统计研究工作息息相关,从统计研究工作角度怎样了解?第40页1、转变抽样调查工作思想 大数据时代,我们面正确数据样本就是过去资料总和

29、,样本就是总体,经过对全部与事物相关数据进行分析,现有利于了解总体,又有利于了解局部。总来讲,传统统计抽样调查方法有以下几个方面不足能够在大数据时代得到改进。(1)抽样框不稳定,随机取样困难。(2)事先设定调查目标,会限制调查内容和范围。(3)样本量有限,抽样结果经不起细分。(4)纠偏成本高,可塑性弱。第41页2 2、转变对数据准确性要求、转变对数据准确性要求 在大数据时代,因为数据起源广泛和数据处理技术不停进步,数据不准确性是允许,我们应该接收纷繁芜杂各类数据,不应一味追求数据准确性,以免因小失大。(1)大数据时代,数据规模大,数据不准确性在所难免,盲目追求数据准确性不可取。(2)大数据时代

30、,数据不准确性不但不会破坏总体信息,还有利于了解总体。大数据时代,越来越多数据提供越来越多信息,也会让人们越来越了解总体真实情况。(3)大数据时代,允许不准确性是针对大数据,而不是统一标准。大数据不准确性是偶然产生,而不是为了不准确性而制造不准确。第42页3 3、转变数据关系分析重点、转变数据关系分析重点 在大数据时代,分析数据不再探求难以琢磨因果关系,转而关注事物相关关系。需要注意是,大数据时代事物之间大数据相关分析与传统统计学相关分析并不完全相同,主要表现在以下几个方面。(1)分析思绪不一样。传统统计分析是一个“先假设,后关系”分析思绪。大数据关系分析往往是直接计算现象之间相依性,是既关联

31、又关系。(2)关系形式不一样。大数据时代,现象关系很复杂,不但可能是线性关系,更可能是非线性函数关系。更普通情况是,可能知道现象之间相依程度,但并不清楚关系形式。譬如半结构化数据变量和非结构化数据变量之间可能存在某种关联关系,但没法知道变量之间关系形式。(3)关系目标不一样。大数据处理是流式数据,因为数据规模不停改变,变量间因果关系含有时效性,往往存在“此一时,彼一时”情况,探寻因果关系往往有点得不偿失。第43页五、大数据对统计学科和统计研究工作影响五、大数据对统计学科和统计研究工作影响 对于统计学科发展而言,大数据时代带来不但是变革,更多是统计学发展壮大机会。大数据将改变传统统计学研究详细问

32、题方法科学,改变统计研究工作程序,改变统计学研究详细科学深度和广度。我们认为大数据对统计学科发展将从以下几方面产生影响:第一,大数据拓展了统计学研究对象。第一,大数据拓展了统计学研究对象。在大数据时代,不但任何一个以结构数据度量数量能够作为统计研究对象,而且不能用数量关系衡量如文本、图片、视频、声音、动画、地理位置等半结构或非结构数据都能够作为统计研究对象。从某种意义上来说,大数据拓展了统计研究对象,也扩展了统计研究工作范围。第44页 第二,大数据影响统计计算规范。第二,大数据影响统计计算规范。传统统计学依据一定数据计算规范,如用平均数、方差、相对数等反应客观事物量特征、量界限、量关系等等,而

33、且能够依据详细计算规范计算详细数值。然而,因为半结构化数据和非结构化数据并不能依据计算规范计算平均数、方差、相对数等数值。显然,在大数据时代直接利用计算规范计算平均数、方差、相对数等指标将碰到挑战。第三,大数据促进统计研究过程变革。第三,大数据促进统计研究过程变革。在大数据时代,网络资料异常丰富,数据不再是经过试验或调查抽样方式取得,统计工作面正确数据就是总体数据,即样本就是总体。在这种情况下,传统数据搜集方法不再可行,针对大数据数据搜集往往经过传感器自动采集数据,数据资料不再需要设计和人工搜集。大数据时代,统计研究过程只包含数据整理与分析和数据积累、开发与应用两个基本步骤。第45页我们应该深

34、入明确 大数据从狭义角度来讲,不但是指数据规模巨大,还指数据结构复杂;从广义角度来讲,大数据还指处理大规模复杂数据技术。因为在大数据时代数据意味着信息,全部有价值信息都源自对数据处理。大数据时代,数据对个人或家庭而言意味着良机,对厂商而言数据商机,对国家而言数据意味着发展契机。对统计工作者而言,这种改变不但意味着拓宽了统计研究范围、丰富了统计研究内容、增强了统计学生命力,还意味着统计工作及统计研究四个转变。(1)转变统计研究过程。(2)转变统计研究方法。(3)转变统计研究目标。(4)转变统计研究工作思想。第46页 Thanks for Your PresenceThanks for Your PresenceAny Questions?Any Questions?第47页

展开阅读全文
相似文档                                   自信AI助手自信AI助手
猜你喜欢                                   自信AI导航自信AI导航
搜索标签

当前位置:首页 > 教育专区 > 其他

移动网页_全站_页脚广告1

关于我们      便捷服务       自信AI       AI导航        获赠5币

©2010-2024 宁波自信网络信息技术有限公司  版权所有

客服电话:4008-655-100  投诉/维权电话:4009-655-100

gongan.png浙公网安备33021202000488号   

icp.png浙ICP备2021020529号-1  |  浙B2-20240490  

关注我们 :gzh.png    weibo.png    LOFTER.png 

客服