大数据和大数据服务.pptx

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,*,*,*,*,大数据和数据作为服务,第1页,数字化,信息化,智能化,IT 3.0,软件定义、数据驱动 个性化 实时感知,(,移动革命）反馈和量化自我,在智能化时代，汉字信息处理大有可为,第2页,互联网,大数据,政府,大数据,产业,大数据,数据垄断 数据孤岛 样本偏差,产业链生态系统,数据安全和隐私,Open Data,大数据时代，汉字信息处理定位和价值：是了解数据、和数据对话主要伎俩,机器大数据,Machine Data,第3页,大数据产业三个层次,和硬件相关大数据技术 分布式数据处理和新型数据库(Hadoop/MapReduce,NoSQL）数据挖掘和机器学习（深度学习）自然语言处理，情感分析、开放域信息抽取、分类聚类，知识图谱,大数据可视化,数据和知识服务 个性化精准营销,医疗、安全、教育、社保、金融、证券、,通信、互联网等行业应用,智能交通,智慧城市,大数据技术,大数据行业,应用,大数据服务,第4页,大数据运算法则：加减乘除,除,加,减,乘,大数据,取消大字，关键是 数据和数据思维,互联网大数据、企业大数据、物 联网大数据、机 器大数据、穿戴 大数据,平台建设和个体创新 之间关系，形成长 尾市场,发觉大数据中 小数据，从价值 密度低数据中 取得高价值密度 小数据,第5页,大数据催生数据作为服务,DaaS,Data as a Service,SaaS PaaS,IaaS,第6页,DaaS,几个层次,数据驱动,跨界服务,数据挖掘服务,元数据服务,选择性数据服务 原始数据服务,计算广告学、互联网金融、,信用平台,舆情分析、预测、信息可视,化、数据关联分析,标注数据、人肉,如搜索引擎服务,糙数据，数据资源集,第7页,数据作为服务和汉字信息处理,变现模式,从工具到伎俩,落脚点,从内容了解到结果展现,第8页,从智慧企业发展路线图看需求,网站,投放,交易,用户行为分,析精准营销,从品牌、营销、产品设计和客服 全过程,品牌宣传,网络营销,电子商务,个性化服务,社会化商业,弱信号探测,情感分析,用户画像,结构化,社交媒体,信息处理需求,智能客服,第9页,我们工作和成功案例,第10页,终端,53/Flash,行业大数据应用,用,撑 台,应,支,平,础,施 台,基 设 平,一 一,一 一 一,交 析 社,分,一 一 一 一 一 一 一,、,据,测 数,监 大 情 体 舆 媒,大数据采集,h,一,大数据分析、挖掘、整合,数据挖掘,(RDBMS-based,大数据存放、管理、查询,：,第11页,最近,2,年新工作,研发了海贝大数据管理平台(TRS Hybases),Hadoop 生态系统,SQL 和 BI 融合,柔性多引擎架构：文本、图像、音视频,运行了TRS SMAS 舆情分析云服务平台,发展了300家商业用户，是一个SaaS和Daas混合,模式,第12页,TR,.S,数据中心数据统计,欢迎你,，,s,hi,s,hui,ca,i,修改密码注销,年,新浪微博 即可甲微信,鼓据申心总鼓据量,22,600,311,352,新阕论坛新浪做博腾讯做博做信,10,叫目,！,fil,魁段露量,645,250,684 725,796,刃,4 9,046,236,692 882,328,365 542,537,占用空间,11.42 TB3.38 TB,25.27 TB,2.47 TB0.01TB,国 数据量趋势图,40M,30M,3Q,且,且且且,14,2 75,20M,lOM,6M,4M,41,2M,帽,百回,论,坛,lli;,做博,腾,ii,扭曲博,微信,第13页,TRS SMAS,舆情监测云服务平台,多,行业经验,全,媒体信息发觉,1500余家平面媒体,50000余家网络媒体,600余家境外媒体,4大国内主流微博平台,大,数据云计算,数百台服务器 单日新增数据超出1亿 专业研发分析服务团体,全 方位服务,信息监测与分析 数据挖掘与整合 全天候信息预警 事件深度分析,常规非常规汇报,第14页,舆 情 云 服 务 平 台,基 础 软 件 支 持 平 台,全文检索套件,数 据 采 集,网络数据,业务数据,各组织机构内部数据资源采集,传感数据,物联网数据采集,两万多家网媒和平面媒体监测,云 采 集 服 务,数 据 清 洗、加 工、结 构,化,数据排重汉字分词,关键词过滤,全文索引,数据清洗,人工审核,数 据 分 析,数据开放及第三方应用服务平台,数 网 据 络 库 信 息,传统网媒库 传统平媒库 微博数据库,数 内 据 部 库 业 务,金融财经数据库 教育数据库,卫生数据库 环境数据库 法律法规数据库,库 感 外 数 部 据 传,物联网传感数据库,云 存 储 服 务,业务模型,联合分析,自动分词,热刺分析,自动分类,相同性识别,自动聚类,自动摘要,关键词,词群关系 识辨,褒贬分析,智能分析,库 网 分 络 析 数 据,数 内,据 部,分 业,政治管理分析库 经济管理分析库,析 务,分 感 外 析 数 部 库 据 传,公共舆情分析库,企业行业分析库,政府分析库,综合业务平台分析库,文化管理分析库 社会管理分析库,物联网传感分析库,政府内部 在线公务,大 数 据 应 用 广 场,风险监测平台,文化教育 食品安全 医疗卫生 交通能源,环境保护 质检检验,对外公共,信息服务,信用评级 消费警示 重点项目 投资警示,.,分析研判平台,应急指挥平台,知识共享平台,开发者计划,金融风险 食品安全 风险报送 风险统计,医疗风险 风险预警 信源管理,.,业务汇报 统计报表 口碑分析,.,舆情分析 业务建模 营销分析,风险接报 应急资源 应急处置 任务分配,预案管理 查询统计 跨步协同 后期评定,跨级上报 WIKI管理 绩效考评,知识共享 工作汇报,.,第三方开发者应用,基 础 应 用,第15页,国家 安全,政府和 企业 舆情管理,智慧,政府,互联网 金融,数据 新闻,公共 事务,信息服务,社交媒,体挖掘,第16页,数据新闻：用数据完成新闻报道,用大数据来编写新闻，终极目标是机器新闻,Data,journalism,第17页,汽车报：国家级汽车产业信息数据平台,第18页,大数据生产中国汽车报,第19页,用大数据生产中国汽车报,第20页,第21页,国家安全大数据应用,总参,国安,公安,网信,人物活动,轨迹分析,宾馆、交通、,银行、快递,全媒体数据,挖掘,文本、音视频,全网数据分析,互联网、电信网,第22页,公共事务大数据应用,厄瓜多尔总统大选选情监测分析平台,第23页,El Universo El Comercio Eldiario.ec Aporrea Terra Larepublica,Ecuadorinmediato Laverdad Ecuador,新闻,Radio Megaestacin 92.9 FM“,Agrocomunal,asIESS asociacin de afiliados al IESS Asociacin Silueta X,Atea y Sublevada,Baracutey Cubano Biografias Cortas,博客,论坛,Americas Forum answers encyclopedia,Buses del Ecuador Ciespal Comunidad de,Comercio Exterior,eluniverso Foros de Discusin,foro,Twitter Facebook YouTube,社会化媒体,超出,1000,家媒体起源,拓尔思帮助预测厄瓜多尔总统选举（2月）,第24页,实时计算大选关键词,*Rafael Correa,为现任总统拉斐尔-科雷亚，当前有希望连任,第25页,区域化声量分析,TOP5 Provincias Bolvar,：,656 Guayas,：,535 Manab,：,432 Azuay,：,203 Pichincha,：,157,Las informaciones relativas de Elecciones Generales se concentran en cinco provincias.Azuay,Guayas y Pichincha tres provincias ms poblada,la cantidad de las noticias retivas ocupa TOP5.,Pichincha,Manab,Bolvar,Guayas,Azuay,厄瓜多尔地图,第26页,大选话题关注度排行,单位：条,金融是媒体关注最高政策话题，其次是医疗卫生和教育。,第27页,候选人支持率统计分析,从时间上对比，7月到10月，现任总统科雷亚网民支持率保持绝对优势并有所上升。第二位 候选人拉索，其支持率相对高于其它候选人，即使9月支持率有所下降但10月有显著上升。其余三位候选人支持率均在10%以下。,第28页,民意之候选人支持声量,-,按领域,单位：条,现任总统,Rafael Correa,对于民众最关心,Top3,政策话题声量都远远超出其它候选人，,Lasso,作为现任总统科雷亚最大竞争对手，在金融政策提及主张显著超出医疗卫生和教育，其作为现任瓜亚基尔基金会主席，愈加关注金融方面问题。,第29页,实时分析系统,全西语,全媒体,全天候,全自动,第30页,结果出炉印证了大数据分析能力,第31页,TRS,研究案例：流感分析,检索关键词：感冒 发烧 发高烧 咳嗽 鼻涕 流感 输液 吊瓶 鼻塞 流涕；提取数据时间段：2011.01.01日到2012.10.22日之间全部数据；提取数据总量：615,449,910条微博，含上述关键词,2,858,212条微博；20500,343,713条微博，含上述关键词,2,430,082条微博；,第32页,刚上班就感冒事实依据,七天为周期,周六低点，周一二高点,第33页,流感分析,2001月份流感强度没有年同期强，但02月下旬和03月较去年强，峰值全部回落；,20秋季流感暴发点比年提前1周，去年是09月20日，今年是09月14日；,20秋季流感当前平稳，没有大规模暴发迹象，今后将维持高位运行，暴发峰值逐步推高；,9000,8000,7000,6000,5000,4000,3000,1000,0,01月,01月,01月,01月,01月,02月,02月,02月,02月,03月,03月,03月,03月,04月,04月,04月,04月,04月,05月,05月,05月,05月,06月,06月,06月,06月,07月,07月,07月,07月,07月,08月,08月,08月,08月,09月,09月,09月,09月,10月,10月,10月,10月,10月,11月,11月,11月,11月,12月,12月,12月,12月,12月,01日,08日,15日,22日,29日,05日,12日,19日,26日,05日,12日,19日,26日,02日,09日,16日,23日,30日,07日,14日,21日,28日,04日,11日,18日,25日,02日,09日,16日,23日,30日,06日,13日,20日,27日,03日,10日,17日,24日,01日,08日,15日,22日,29日,05日,12日,19日,26日,03日,10日,17日,24日,31日,年周均线,均值线,年周均线,第34页,冬季高发,冬季（,.02.01,）,夏季（,.06.01,）,第35页,大数据政府应用：国家药监局,年4月15日中央电视台曝光“毒胶囊”事件掀起药品行业巨大波澜，SMAS运 营团体对该事件进行了长时间跟踪与分析，并用一系列数据、图表和汇报 捕捉了网络数据里真相与民意。,第36页,案例：毒胶囊,第37页,毒胶囊趋势研判,显著能够看出在4月15日中央电视台报道后，网民生产和毒胶囊相关内容急速增加,第38页,事件风暴中人物,宋训杰：河北省学洋明,胶蛋白厂经理,李明元：江西省龟峰明,胶有限企业董事长,王之光：修正药业高级 副总裁,白岩松：中央电视台主持人 陈竺：卫生部部长 崔志平：中新社记者,宋海新：宋训杰父亲，河北学洋明胶老板,赵普：中央电视台主持人,第39页,事件风暴中机构,第40页,话题分布,直指药监渎职,第41页,责任部门提及率,药监首当其冲,第42页,微博声音与意见领袖,第43页,关键人物董良杰,传输超出10层，引发薛蛮子、李开复、新周刊、李晨、孙海英、宁财神等人 转发，累计覆盖人群超出3000万,第44页,大数据信息服务,新华社多媒体数据库,国家知识产权局专利检索和服务系统,科技立方-科技大数据,第45页,新华社多媒体数据库,多语种数据,27000家注册用户,1.5亿条原创新闻资讯,8000各种资源分类,PB级数据量,26000小时权威原创视频,700万张图片,全球最大汉字多媒体数据库,第46页,国家知识产权局专利检索和服务系统,自主研发，打破了欧洲专利局和美国国家专利局在 专利信息技术领域长久垄断,第47页,高密,E,佛,聚集,格式设置,文醺淌览 李（,1),全迥二,巴,阕,在,a u,d,创,h,本,野,蚓,种集,二,世,且,m,剖,、,4,A,咽,，,日,生巾,阴,阳,刚,法,四,川,九,加,入,文件收穰夹,刘览该国专利事查结果,全文图像,1,亏,一篇,刁,CR103593452且 申文,创造名称 一 一个基于apReduce机甜鼓据密集型成本优化方法,申请号,CN,105,”,839 20,1,3,.,11,.,21,申请曰,公开（公,告,号,CN,1,03593152,A,公开（公,告,曰,囚,1,iliv 革V 笛往南 v,本注明包括一个墓于MapRodu c:t机肯自如数据密集型计算戚本优化为,摘要附圄,第48页,科技立方,-,科技大数据,北京科技结果产业化情报系统,为市领导科技 创新决议提 供辅助支撑,全方面、实时掌握 科技动态,调研分析影响产,业发展和创新,关键应用技术,面向社会，提 供共享信息,面向企业、科研 院所、高校、投 资主体、中介服 务机构等，共享 科研信息，提供 新型科研信息，推进信息开放和 共享,为政府相关委办,服务,科委等政府委办科 技创新管理提供信,息服务,促进科技结果产业化工作,“科技立方”取关联之意,第49页,科技立方特点,大数据是金矿,是资 产,;,而单维度数据 价值为“,0,”,单维 度数据趋向是无偿,第50页,政府和企业舆情大数据应用,第51页,中纪委监察平台,第52页,政府社会化媒体城市舆情监测分析平台,依据乌市管理需求，全方面监测,民生需求,、,社会治安,、,生态环境,、,旅游推介,、,交通事故,、,自然灾害,、,医患关系,、,维稳反恐、突发事件、政府机构、领导人,等方方面面信 息，经过信息实时推送、关联关系挖掘、危机实时告警、舆情分析汇报等形式提供全方位信息服务,第53页,海关进出口走私情报监测分析业务平台,基于互联网大数据以及内部业务系统数据海关情报业务 管理平台是在大数据采集、大数据挖掘系统等基础技术之 上构建综合应用平台。其主要包含基于海关情报线索识 别互联网业务中心，情报会商平台，海关情报内部业务 管理平台三个组成要件,第54页,佳能影像情报分析系统,天天从互联网上实时采集网站和小区资料数百万条，进行自动化信 息分析、比对和挖掘，天天限制提供最多300条主要信息，但不能遗漏 主要信息，每年向拓尔思支付信息服务费200万元。全部数据处理和分 析全部自动化,第55页,中国移动通信集团战略决议系统,拓尔思为中国移动通信集团北京有限企业打造战略决议 系统，内容包含战略环境监测、竞争舆情监测、对标分 析与预警、专题研究、战略规划、汇报研究等等,第56页,华兴银行舆情监测系统,第57页,社交媒体大数据挖掘,微博热点自动发觉,人物关联关系挖掘,微博传输链分析,焦点快报,APP,天天分析数千万新闻信息,第58页,第59页,金融打击非法集资监测预警平台,针对识别出涉案机构，系统提供,工商注册验证,、,实时预警,、,事件追踪,、,案件分析,、,涉案团伙挖掘,、,案件取证,、,信息检索,、,专题分析,、等功效，全方位挖掘嫌疑企业网上关联信息，为金融管理部门以及公安部门提供 情报线索与线上证据,第60页,金融打击非法集资监测预警平台,大数据中心,产品登记,立案库（构想）,全时搜索,跟踪关注：提前化解 重点关注：网络打击 介入打击提供线索,工商登记,税务信息,公安数据,高度疑似榜单,及冒烟指数,账户异动,音视频分析,证据留存,特征词,主题词,信息排重,行业平均值,internet,投诉举报,其它线索,数据清洗,其它正当产品,数据库（构想）,疑似榜单,疑似信息,图像分析,会商机制,深度挖掘,精准打击,第61页,数据驱动智慧城市,第62页,数据驱动智慧城市,第63页,未来,-,大数据信用平台,服务,平台,数据,政府大数据,互联网大数据,第三方数据,政府大数据,+,互联网大数据,+,第三方数据,政府信用企业信用个人信用,基于互联网和大数据技术信用公共服务平台,金融,证券,个人,保险,政府,第64页,总结,应用倒逼,移动互联网和国家安全,软件定义 数据驱动,挖矿模式比矿和,挖矿工具主要,从“工具”到“伎俩”,数据作为服务,DaaS,简单技术和商业模式,工具是蓝领，伎俩是资本家,第65页,