读书笔记《大数据时代》16p.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,大数据时代,生活、工作与思维的大变革,大数据时代,之拥抱,大数据时代,读书笔记,身处,大数据时代,！,我们已经处在大数据时代，可能还浑然不知,事件一：变革公共卫生,事件,2009,年，,H1N1,流感预测,对手,谷歌,疾控中心,武器,分析搜索记录,医院报告,结果,谷哥提前两周得到结果,与官方数据相关性达,97%,维克托,教授将带我们一窥大数据时代的,全景,事件二：变革商业,事件,机票价格预测,人物,埃齐奥尼的,Farecast,系统,武器,分析大量价格记录,结果,票价预测准确度达,75%,平均每张机票节省,50,美元,时间就是生命！,省钱是硬道理！,大数据时代,之拥抱,处理数据理念的,思维变革,挖掘数据价值的,商业变革,面对数据风险的,管理变革,维克托,教授认为大数据时代要关注：,3,大,重要,变革,01,02,03,大数据还是改变市场、组织机构，以及政府与公民关系的方法,大数据是人们获得新的认知、创造新的价值的源泉,大数据时代,读书笔记,大数据时代,之拥抱,首先就要,转变处理数据的理念,处理数据理念的,思维变革,01,云计算能便宜、有效、高速地的对信息存储、分享和挖掘,采样分析是信息缺乏时代和信息流通受限制时代的产物,大数据时代,读书笔记,大数据时代,的思维变革,01,更多,而是全体数据,不是随机样本,大数据时代,收集与分析全体数据是可行和便宜的,小数据时代,受制于技术只能收集与分析随机样本,大数据是指不用随机分析法这样的捷径，而是采用所有数据的方法。,大数据中的,“,大,”,非绝对意义的大，指全体数据，有时并非真的,“,大,”,。,穿孔卡片与美国人口普查,大数据与乔布斯的癌症治疗,Xoom,与跨境汇款异常交易报警,巴拉巴西与第一次全社会层面的网络分析,本章的例子,大数据时代,读书笔记,大数据时代,的思维变革,02,更杂,而是混杂性,不是精确性,大数据时代,追求大量数据，允许不精确的数据,小数据时代,因信息量少，对数据精确性更苛刻,随着数据量的增加，数据错误率也增加，格式也存在不一致,只有,5%,的数据是结构化且适用传统统计方法，,95%,的数据是非结构化。,只有接受不精确性才能利用这些大量的数据。,微软与语料库数据添加,无所不包的谷歌翻译系统,IBM Candidate,计算机翻译项目,英国石油公司与无线感应器,麻省理工与通货紧缩预测软件,Hadoop,与,VISA,的,13,分钟,大数据时代,读书笔记,本章的例子,大数据时代,的思维变革,03,更好,而是相关关系,不是因果关系,大数据时代,相关关系大放异彩,小数据时代,相关关系是有用的,大数据的核心：建立在相关关系分析基础上的预测。,相关关系是：,A,与,B,经常一起发生。只要注意到,B,发生，就能预测,A,的发生。沃尔玛把蛋挞与飓风用品摆一起,FICO,能预测个人的行为,UPS,与汽车修理预测,大数据预测早产儿病情,美国折扣零售商塔吉特与怀孕预测,幸福感的非线性关系,二手车质量预测,纽约大型沙井盖爆炸预测,大数据时代,读书笔记,本章的例子,大数据时代,之拥抱,其次就要,转变数据价值的获取方式,挖掘数据价值的,商业变革,02,大数据时代的重要价值在数据深挖掘,数据的价值来源于万物数据化和数据交叉复用,大数据时代,读书笔记,大数据时代,的商业变革,01,数据化,数据交叉复用,一切皆可量化,变革的基础,一切事物都可量化，变为数据,变革的重点,由,T,（技术）转变到,I,（信息）上,数字化：模拟数据转换成用,0,”,和,“,1,”,表示的二进制码。,例：书页的扫描，无法检索内容,数据化：把一种现象转换为可制表分析的量化形式的过程。,例：书变成数据化文本，可检索,大数据时代,读书笔记,本章的例子,日本的坐姿研究与汽车防盗系统,多效地理定位与,UPS,的最佳行车路径,谷歌的数字图书馆,Foursquare,，让用户推荐喜爱的地方,用手机数据预测疾病传播和城市繁荣,用微博数据预测股市投资时机,睡眠活动数据库与睡眠模式预测,GPS,感应器，判断环境因素对哮喘病的影响,大数据时代,的商业变革,02,价值,之不竭的创新,取之不尽，用,真实价值,隐藏在冰山之下,数据价值,不会随使用次数而减少，可以重复挖掘,大数据时代,读书笔记,本章的例子,数据的潜在价值主要通过,前,3,种方式,释放：,01.,数据再利用,02.,重组数据,03.,可扩展数据,04 .,数据的折旧值,05.,数据废气,06,开放数据,IBM,，电动汽车动力与电力供应系统优化预测,Hitwise,，通过流量判断消费者喜好,巴诺与,NOOK,快照,亚马逊，让数据的价值再大一点,在线教育课程，找到最合适阅读的帖子,移动运营商与数据再利用,Facebook,，估价从,66,亿到,1040,亿,谷歌街景与,GPS,采集,大数据时代,的商业变革,03,角色定位,思维的三足鼎立,数据、技术与,大数据时代,读书笔记,本章的例子,大数据价值链中主要存在三种公司：,01,基于数据本身的公司,02,基于技能的公司,03,基于思维的公司,ITA software,与数据授权,微软研究中心与再入院率分析,VISA&MasterCard,与商户推荐,埃森哲与无线传感监测系统,FlightCaster,的大数据思维,数据中间商，交通数据处理公司,Inrix,The-N,与电影票房预测,苹果，挖出,“,潜在,”,的数据价值,大数据早期,价值来自思维和技术,大数据中后期,价值必须从数据本身中挖掘,大数据时代,之拥抱,最后就要,转变数据风险的应对方式,面对数据风险的,管理变革,03,需要新的规章制度应对大数据时代的各种隐忧,危险不再是隐私的泄露，而是被预知的可能性,大数据时代,读书笔记,大数据时代,的管理变革,01,风险,一切的隐忧,让数据主宰,大数据时代,读书笔记,应用得当,大数据是合理决策的有力武器,应用不当,会变成损害民众利益的工具,大数据时代，告知与许可、模糊化和匿名化三大隐私保护策略都失效！,挣脱大数据的困境，是大数据时代人类共同的战争！,面临的风险,我们的生活处处受到监视,人们可能因为将做而受惩罚,我们的隐私被二次利用,可怕的数据独裁,想象中,“,苍井老湿,”,也要受罚？,某天朝可实施更高明的和谐？,大数据时代,的管理变革,02,掌控,的信息管理,责任与自由并举,大数据时代,读书笔记,可能的,3,大变革,大数据在改变人类生活与思考方式的同时，也在推动人类信息管理准则的重新定位。,悲摧的是，我们可能只有几年的时间去适应！,大数据时代，对原有规范的修修补补已经满足不了需要，也不足以抑制,大数据带来的风险,我们需要全新的制度规范。,变革：个人隐私保护，从个人许可到让数据使用者承担责任,变革：个从动因预测分析，为行为而不是为倾向负责,变革：设立内部与外部算法师去监测数据的合法使用,大数据时代,之拥抱,重要的是,维克托,教授提醒我们：,大数据时代,读书笔记,大数据时代已经来临,你,准备好,了吗,？,修改前,修改后,