大数据知识与案例.pptx

主讲：,childjumphip,参与由广东省经济和信息化委员会主办、广东工业大学大数据战略研究院承办的,“战略新兴产业专题大数据应用培训班”。,本,PPT,将通俗地转述培训课中的知识要点、有启发性的内容、大数据应用案例。,大,数据,培训,知识,04:24,前 言：培训课程概述,大数据技术与发展趋势,刘洪伟教授,大数据产生的缘由 大数据技术挑战 分析与挖掘,最优方案,国内外大数据政策分析与解读,熊雄处长,国内外政策 广东省促进大数据发展行动计划 四大重点行动,广东推进举措,广东工业大学智能信息处理研究所参访,物联网 智慧医疗 智能感知 短距离无线通信,大数据系统平台 成果转化,企业大数据能力构建与培育,谢振东顾问,大数据时代 思维变革 一切皆可量化 企业大数据的特点,大数据产业链 企业大数据能力,大数据商业模式与应用案例,谢卫红处长,滴滴打车 我查查比价软件 某猪威客网,营销策略 商业模式,大数据应用介绍,徐云西工程师,数据类型,Hadoop,技术,Spark,技术 数据平台架构,巨 杉公司数据库,商务智能与商业分析,张瑾讲师,大数据信息特点 大数据分析技术 商务智能 数据挖掘,机器学习,PAGE DIRECTORY,目录,大数据的产生,01,大数据技术及分析,02,企业大数据,03,大数据应用案例,04,讲述内容,04:24,个人的看法,04,childjumphip,01,第一部份,大数据的产生,大数据的产生缘由,大数据的特征,大数据产业（链）,Cause of Big Data,04:24,大数据的产生,大数据的产生缘由,各行各业大数据每天都在产生,我国网民数量,(6.88,亿,),居世界之首，每天产生的数据量位居世界前列,某,宝网站,-,单日数据产生量超,5,万,GB,-,存储量,4000,万,GB,-,目前数据总量,10,亿,GB,-,存储网页,1,万亿页,-,每天约,60,亿次,搜索请求,百度公司,城市监控,医 院,-,每小时能产生,3.6GB,的数据,-,每月产生数据,上千万,GB,-,每个病人的,CT,影像达,几十,GB,-,全国每年保存的数据达,上百亿,GB,新的数据来源,/,新的数据采集方法,-,互联网（社交网络、电子商务等）,-,物联网（传感器、二维码、,RFID,、无线射频识别、位置信息等,）,全时空数据的可采集性,智能算法的使能,非结构的数据形态,-,图片、视频、音乐,-,商务智能（,BI,）,-,人工智能（,AI,）,而数据获取成本、存储成本和处理成本的下降，也推动了数据量的膨胀。,1,实时分析：流信息、即时需求,Velocity,（速度）,2,海量数据：超规模、数字化生活、数据商务。,Volume,（大量）,3,低价值密度：大量的不相关信息、需深度分析,Value,（价值）,4,多源异构性：不同形式（文本、图形、视频数据）、无模式或者模式不明显、不连贯语法和句义。,Variety,（多样）,大数据的产生,大数据的特征,大数据的产生,大数据产业（链）,大数据的产业是哪些？,如交易数据、交互数据、传感数据。,当前我国大数据处于起步发展阶段，各地积极性高，市场增速明显。,2014,年，我国大数据市场规模为,759.4,亿元，存在结构发展不均衡等特点。,大数据产业链主要包括以下,4,个环节：,大数据生产与集聚,大数据组织与管理,大数据分析与发现,大数据应用服务,如开展分布式文件系统、分布式计算系统、数据库、数据仓储、,MOLAP,、,HOLAP,、数据转换工具、数据安全等。,如数据挖掘、数据统计、基于大数据的业务分析与预测基于大数据的决策、商业智能、人工智能、数据可视化等。,如数据运营、大数据交易、分析与预测服务、决策支持服务、数据分享平台、数据分析平台等。,大数据,IT,基础设施,：存储设备、运算设备、一体机、操作系统、基础软件、,IT,支撑等。,childjumphip,02,第二部份,大数据技术及分析,Big Data Technology,大数据的技术（例）,大数据的分析方法（例）,04:24,大数据技术及分析,大数据的技术,（例）,基于,Cookie,信息的互联网精准广告定向技术,Cookies,是一种能够让网站服务器把少量数据储存到客户端的硬盘或内存，或是从客户端的硬盘读取数据的一种技术。,Cookies,是当你浏览某网站时，由,Web,服务器置于你硬盘上的,一个非常小的文本文件,，它可以,记录你的用户,ID,、密码、浏览过的网页、停留的时间等信息,。,定向技术指的是依托于搜索引擎庞大的网民行为数据库，,对网民几乎所有上网行为进行个性化的深度分析,，按广告主需求锁定目标受众，进行一对一传播，提供多通道投放，按照效果付费。而用户追踪技术的基础就是,Cookie,。,这只是大数据获取及应用的一小技术，大数据运用到的技术还有很多，包括有大数据采集,大数据预处理,大数据存储及管理,大数据分析及挖掘,大数据展现和应用（检索、可视化、安全等）各环节下的技术。,大数据技术及分析,大数据的分析方法,（例）,大数据分析方法：,回归分析、聚类分析、网络分析、关联分析,.,关联分析,确定型关系。扑克牌表演，,表面看似随机实际只需记忆不动点即可。,啤酒与尿布 溺水事件与雪糕销量 非因果关系 隐藏共因,不确定关系。双色球，,不确定型推理做不出精准，非必然的、随机的,“,王,”“,宝,”“,强,”,，餐饮促销。,childjumphip,03,第三部份,企业大数据,Enterprise Data,企业大数据有哪些,大数据对企业的作用,企业产品规划,04:24,企业大数据,企业大数据有哪些,大数据是企业的感知载体、感知要素。,企业通过各种的“感知器官”收集信息并以数据形式展示，数据的指标能监测和反映企业运行状态。,-,管理数据,，反映企业的管理状况。,-,运营数据,，反映企业的经营状况。,-,产品数据,，反映产品销售情况，市场占有率。,-,生产数据,，反映企业生产效率。,-,用户数据,，反映用户活跃度，用户画像。,企业大数据,大数据对企业的作用,在,技术上,，大数据推动企业数据分析技术革新,。,大数据推进,企业转型作用,在,管理上,，大数据优化企业管理流程，促进管理效率提升,在,运营上,，大数据改变了以往营销策略，,提供个性化的产品和服务,。,在,思维上,，改变以技术或产品为导向的企业思维，要,以用户需求为核心,的大数据思维，通过大数据挖掘消费者用户的需求。,企业大数据,企业产品规划,汇聚企业相关数据，,规划,设计基于特定功能的数据,产品,，针对某一特定用户需求推出的数据解决方案。,用户画像建模,标签化,上网特征,兴趣偏好,购物偏好,人口属性,其他标签,用户基本信息,用户行为信息,用户社交数据,其他,数据,用户画像,个性化推荐,用户洞察,产品偏好,精准营销,childjumphip,04,第四部份,大数据应用案例,Case,互联网公司布局,某威客网,04:24,大数据应用案例,互联网公司布局,浏览器,输入法,消费行为,统计分析,网络入口 用户粘性 用户数据,银行卡消费,个人消费情况分析,银行,支付宝、微信消费数据,大数据应用案例,某猪威客网,(,一,),某猪威客网,服务众包平台,在最初的几年里，某猪网可以看作是一个服务业的,“,某宝,”,，将服务需求者与提供者链接起来，并从中收取佣金提成。,现有的交易有赖于双方沟通，但是只要一沟通就会翻墙跑单。因为服务商想逃避佣金，买家也愿意逃佣金，平台不应该拿钱。,交易产品非标准化,复杂的个性化定制交易,复杂购买,交易非常低频,购买决策非常理性,存 在 的 问 题,企业增长缓慢,（朱明跃）,大数据应用案例,某猪威客网,(,二,),基于大数据的平台增值服务模式,商业模式的创新,第一，近,500,万的中小微企业用户。,且每天新增将近,5000,户并在平台至少有一次交易。,第二，服务商。某,猪网,8,、,9,年做下来后平台上有一千万名家各界的专业人才，有设计师、工程师等等。,第三，海量的作品数据。,累积的作品数据有,10,个,T,以上，有些事垃圾，但也有一些有用的东西。,第四，交易行为数据。,各种服务日志、交易日志，都是海量的数据。,用户数据,“,富含宝藏的海洋,”,深入挖掘分析小微企业的实际需求 找切入点,如果不收佣金，能为用户提供什么延伸服务？,大数据应用案例,某猪威客网,(,三,),基于大数据的平台增值服务模式,“钻井模式”,某猪网找到了切入点，在自己搭建的“钻井平台”上获得了“石油”。,第一口井,通过对客户数据的研究后，发现客户,设计完标志,以后，大部分还需要做,知识产权保护,，其中,最核心的是商标注册代理和版权登记,接下来成立的,“猪标局”,，只用了半年时间就成为了中国最大的商标公司。,和依文 集团合作成立,“,xx,宝”,。因为某猪网有很多,VI,作品交易，,VI,很大一部分是,LOGO,，如果这些企业想做职业装，就直接对接过去。,企业孵化，某猪网的创意服务者中，不乏有收入和等级高的成立工作室，随后产生注册公司的需要。某猪展开合作，在各城市建创新型产业园。,一年少收了佣金六千万，但仅凭商标业务就赚了三个亿。,childjumphip,05,第五部份,个人的看法,My Point,我对大数据的一些理解,大数据对我司的意义,04:24,个人的看法,我对大数据的一些理解,对大数据的认识，我,（,jiao,的,（,liu,）,理,（,yi,）,解,（,xia,）,统计学 信息技术 汇集不同数据源,像一门现代的“易经”,做预测 做决策的依据 做精准营销 资源优化配置,从庞杂的数据背后挖掘、分析用户的行为习惯和喜好，找出更符合用户“口味”的产品和服务，并结合用户需求有针对性地调整和优化自身。,一条信息可以很贵,拥有稀缺,数据资源的企业很热 效益高,甲级导航测绘,-,稀缺 阿里,11,亿收购高德 腾讯,11,亿入股四维 百度竞购,Here,我司在大数据上的应用,估价宝 评估参考价值 提高评估业务效率,定义,用途,价值,个人的看法,大数据对我司的意义,(,一,),大数据就是将海量碎片化的信息数据能够及时地进行筛选、分析，并最终归纳、整理出企业需要的资讯。快速地发现消费者的需求变化和市场发展趋势，从而帮助企业及时做出正确的决策。,例，推广估价宝，通过对用户操作日志统计，获知地区下市民关注的地块情况。,帮助了解客户和市场,企业对各项运营数据，形成基于企业的资源分布可视图，让企业的管理者可以更直观地面对自己的企业，更好地利用各种已有和潜在资源。通过大数据的相关性分析，根据不同市场数据之间的交叉、重合，企业的运营方向将会变得直观而且容易识别，在品牌推广、战略规划方面将做到更有把握地面对。,例，通过统计各业务盈利的比例、各业务投入资源的配置情况分析后，发现,.,盈利快。通过行业数据做关联分析，发现技术应用于,.,比重上升,.,帮助做好规划和运营,纯属个人观点,微聊大数据对我们公司的意义,我司作为,.,数据供应商，可以定位为大数据产业链中的上游企业，做数据采集、生产，并打包出售，同时也是大数据的应用单位。但我觉得，我司现在并没有将形成一套有效的数据管理、存储、出售的机制。我们每年都有大量的,.,成果，那么，我们能否将这成果形成数据资源做二次的利用和挖掘呢？,融入大数据产业的契机,我对大数据的看法,大数据对我司的意义,(,二,),大数据的发展得益于技术的革新。其中，各种前沿的采集或获取技术（如：无人机航拍技术、激光扫描技术、网络爬虫技术、图像识别技术）、新的数据表现形式（如：虚拟现实技术）都可以进入我司技术革新的思考范围。,技术革新将给我司传统,.,业务变得更方便。,大数据技术带来的技术革新思考,技术单一 “车调”“点调”多人作业,营销渠道、新闻、外业反馈情报,离线地图产品,3,个月更新,多技术运用 图像自动识别,1,人驾车采集,外业、网络爬虫、用户回传数据等获取情报,在线地图产品 号称高速开通,5,分钟即可上线,childjumphipz,制作,谢谢聆听,TANKS,04:24,