23、大数据时代信息化发展趋势.pptx

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2021/2/8,#,“,大数,据时代”信息化发展趋势,2025/11/22 周六,雷扬,主要内容,大数据的,由来,和,发展,信息技术为大数据开辟了前进道路,大数据,是走向信息时代的奠基石,大数据发展的关键环节,电子,政务发展中的大,数据,一、,大数据的由来和,发展,大数据,是一个自然形成的发展中、阶段性,概念,大,数据是指具有数量巨大、多类型、不同结构化程度、不均衡价值密度、不一致动态特征、不同应用处理特征等特点信息集合,。,本,报告,所,称大数据系统是指一个围绕特定目的而形成的数据及其处理系统,。并不是,每一个大数据系统的信息集合都具有上述全部特征，一种或两种类型，数量巨大，也是大数据。,在计算机处理能力不断发展、信息系统处理的信息日益增长，特别是互联网（包括移动互联网）的发展、传感技术的广泛应用，大数据概念应运而生,在这里，大数据和信息、信息资源是同义词,为什么叫大,数据：一是数量大,YB:2,的,80,次方，,ZB,的,1000,倍,Z,B:2,的,7,0,次方，,E,B,的,1000,倍,E,B:2,的,6,0,次方，,P,B,的,1000,倍,P,B:2,的,50,次方，,T,B,的,1000,倍,T,B:2,的,4,0,次方，,G,B,的,1000,倍,G,B:2,的,3,0,次方，,M,B,的,1000,倍,绝大部分应用在这两个数量级,我们每个人都在制造,和,使用,信息,每秒发出,290,万条短信,每天,Twitter,上发布,5000,万条微博,每天,Google,处理的数据,24PB,2012,年,11,月,11,日第一秒，用户向阿,里网购,提出,1,千万请求,过去,3,年数据量比以往数万年还多,2020,年数据产出量将比,2009,年的,44,倍还多,2006,年全球生成、复制的数字化信息量大约,16.1,万,PB,，当年的信息产生量约是历史上图书信息总量的,3000,倍,二是类型多,结构特征：结构化、半结构化、非结构化,拥有特征,：私有、共有、公开,形态特征：语音、文本、数值、图像、视频,为什么叫大数据：二是类型多,三是更接近,把握信息资源的本质,大数据真正开始把信息变成资源,有,的文章将大数据看作石油，大数据研究与自然资源利用发现、开采、提炼存在一定的,相似之处,研究,大数据，首先要研究各种有用的信息在何处，就是找,矿,其次,是把满足特定需求的信息收集过来，就是,开矿,第三,是把收集的信息按应用需求进行结构化处理，就是提炼，如同石油必须经过炼化才能变成消费用的汽油、柴油或作为原料用的聚乙烯、,聚丙烯,第四,是将这样的信息与具体,的,应,用,结合，使之发挥作用，这就是基于大数据的应用系统，或称之为围绕应用的大数据管理系统，如同汽油通过加油站加到消费者的汽车内，石化原料变成衣服、设备或其部件,。,大数据是一个阶段性的,概念,大数据,是,信息和信息资源开发利用这个稳定概念在今天这个特定时期的代表名词。关于大数据所有作用和意义的期待，都包含在,1970,年哈佛大学关于资源三角形的论述中。这个论述简而言之就是材料、能源、信息是推动社会发展的三种基本资源。美国人相信它,40,多年了，并为之持续不断地做了大量的工作，也是美国在,IT,领域，包括信息资源领域，一家独大的一个原因,。,材料,信息,能源,管理,二、,信息技术为大数据开辟了前进道路,信息技术进展是大数据产生和发展的主要动力,传感,技术：大数据的主要来源,存储,技术：不仅数据量大，而且要有信息存储模式,传输,技术：不仅提供传输能力，还是数据的创造者,处理,技术,：不仅,是处理能力，更是处理方法（结构化语义处理）,11,信息技术继续快速发展，技术体系更趋完善,1,、处理、传输、存储技术延续高速发展,2,、感知、显示、获取技术驶入快车道,3,、内容处理、智能系统技术不断成熟,4,、技术体系不断完善,传输技术：走向宽带泛在普及,2025/11/22 周六,传 输,人与人,物与人,物与物,人与物,走向,G,级,从个位数到,T,级,P,级,甚至更高,超高速,泛在,新的体系架构,更加深入的融合：三网、固移，工作网、物联网、互联网,当前的关键技术：端到端,G,级、下一代互联网、新技术条件下的城域网和骨干网体系架构，,端到端数百兆到吉比特，,4,个以上数量级的汇接带宽，,3D,及虚拟现实等传输要求，许多场景下并发数量急剧增加,处理存储技术：,20,年内提升,3,个数量级,2025/11/22 周六,处理,/,存储,集成度，从当前的,32/28nm,，快步前进到,14/16nm,及以下,低功耗、嵌入式、可靠性、小型、可移动,高性能，超级计算机、汇聚计算资源能力,高性能，一些重要的应用，需要继续沿摩尔定律提升,3,个以上数量级,处理能力的集成，更加复杂的存储与处理系统,更加复杂和智能化的应用，需要寻找新的技术,感知获取技术：,一组需求驱动快速发展的技术,2025/11/22 周六,感知,/,获取,RFID,生物,/,光磁转换,声音,/,文字转换,遥感,技术类型,声纳,热、压、声构成、损伤、关系,空间、地球、生物、生命、社会等全方位、细粒度的感知,各类感知远、细、清的要求,机器阅读及其他语义信息的获取,感知什么,显示反应技术：走向智能,2025/11/22 周六,显示,/,反应,生物,/,光磁转换,声音,/,文字转换,表情,语言,3D,及多维,控制技术,机器人,文字,与感知、网络能力并行的反应、行动能力，在不同空间范围信息系统的物理行为无需人来执行,虚拟现实虚实结合的现实,三维空间精确行为,清晰,色彩,轻便,节能,适应,可靠,打印机、复印机、传真机、扫描仪,软件和系统集成：承载信息社会运行控制,2025/11/22 周六,软件和系统集成,建模技术、软件工程技术、自动编程技术、验证技术,设备和技术的多样复杂、非结构化事务和信息的处理、,2,的,50-100,次方级大数据的组织与利用、跨领域且物理世界相对松散的事务处理、设备（系统）控制与事务处理的融合，复杂系统、不同类型对象的建模,重用、测试、可靠性、安全性、生产率、适应新模式,使设备和系统变成可靠的工作系统,Saas,及新的业态，构建智能的系统,应对设备和系统复杂化和多样化的进程,信息内容的技术：走向智能的核心,2025/11/22 周六,信息组织、管理和利用,文字声音的转化、声音处理、图像处理,机器翻译为代表的自然语言处理,应对数量变化，,2,的,50-100,次方,应对应用需求的变化,应对音视频信息类型的变化,概念体系为基础、不同粒度、不同场景的,大规模信息组织、管理和利用,信息技术体系架构不断完善，信息、能源、材料技术融合，以智能技术为标志的新一代生产力 体系逐渐成形,2025/11/22 周六,感知,/,获取,处理,/,存储,显示,/,反应,传 输,软件和系统集成,信息组织、管理与利用,大数据技术，,从内容角度,要重视三个方面的来源,一,是关于数据管理和处理研究，包括物理和语义两个领域数据管理。数据结构、算法和数据库相关领域取得的进展最为突出，如文件系统、数据库、数据仓库、元数据、数据模型、内存处理、云存储的研究。应当看到近十年来，关于多维数据结构和算法、机器视觉和摄录象研究和技术，对于大数据研究具有极其重要的参考意义,。,二,是关于数据利用及适应应用需求的研究，包括用户视图、联机数据分析、数据挖掘、检索等,。,大数据技术，,内容角度,要重视三个方面的来源,三,是关于语义上理解信息的研究，几乎可以将人工智能研究的全部成果作为大数据研究的基础，因为从语义角度理解信息是人工智能的基础。从图灵测试到专家系统，从五代机到,cyc,，从模式识别到神经网络，从自然语言识别和理解到机器人，都是从不同角度研究理解信息的技术、方法理论,。,IBM,的,DeepQA,，通过针对广泛收集特定应用领域的信息和知识，在适度结构化、一系列规则和算法的基础上，具备这一领域人的智能。其代表作“沃森”，已经击败了美国电视台“危险”这个具有之力竞赛性质的娱乐节目的冠军，今天，又落户纽约州的伦斯勒里工学院，与学生一起学习，英语和数学。,Google,的“谷歌大脑”将,1.6,万个处理器构成当前世界上最大的人工脑，模拟人类脑神经系统，通过算法从互联网中提取信息识别猫,。,三、,大数据,是走向信息时代的奠基石,35,亿年前开始,生命形成生物进化,千万年,猴子到人的进化,约,300,万年人的进化,约,8000,年,文字形成,约,2000,年,纸和印刷术的发明形成,最近几十年,计算机、信息网络、传感和记录等技术的发明,35,亿年生命史，展示了,信息是智能进化的主要因素,感知、传递、反应,意识、思维、概念,（更高层次的抽象）,模仿（抽象）、记忆、判断、反应,感知、传递、反应,模仿（抽象）、记忆、判断、反应,意识、思维、概念（更高层次的抽象,）,文字、记录,感知、记录、传输、存储、处理,数亿年,动物的进化,语言、概念体系,语言,、概念体系,文字、记录,感知、记录、传输、存储、处理,形成了当今世界的智能体系和水平,2025/11/22 周六,有效信息总量,知识总量,和,质量,使用者总量和质量,同一 交流平台人数,发展环境系数,设一个具有若干个紧密联系群体且有一定相互关联地域，其信息与社会发展关系函数为,f(d),：令,f(d)=,Y,+,Z,+,S,+,T,x,其中,Y=,有效信息总量,Z=,知识总量和质量,S=,使用者总量和质量,T=,同一交流平台参与人数,=,发展环境系数,实际上，,YZST,是非独立的，最关键的因子是,T,2025/11/22 周六,有效信息总量,知识总量和质量,使用者总量和质量,同一 交流平台人数,发展环境系数,以,T,主线，我们可以初步推论信息交流平台和参与人数与社会发展的关系,有效信息总量,知识总量和质量,使用者总量和质量,同一 交流平台人数,发展环境系数,1-10,百,-,千,万,-,十万,十万,-,百万,千万,-,亿,-,几十亿,原始社会,农业社会,工业社会,信息,社会,这是发展速度的示意图，不是规模,原始家族,经过约,300,万年：语言,记忆思维概念等能力的形成,约,8000,年,文字形成,约,2000,年,纸和印刷术的发明形成,最近几十年,计算机、信息网络、传感和记录等技术的发明,示意图时间尺度不成比例,信息能力不仅是生命、智能进化的基础，也与产业发展正相关,2025/11/22 周六,对历史纵切面的分析有两点主要结论,历史发展进入一个新的转型期：从工业社会走向信息社会，在,这个历史发展转型期,，中国存在超越的可能,这个,可能,在于,13,亿人的素质：知识、聪明、勤奋，我们会有,5,亿以上的人口进入经济社会发展的综合平台上，形成强大的发展动力，远远超过其他强国,中国,的,IT,梦,与中国梦重合的历史必然,2025/11/22 周六,信息战：显示了将所有战争要素集中在一个信息平台上的力量,从人工细化分工到自动化生产线,2025/11/22 周六,从大规模生产到个性化生产,主要的变化也是信息感知、传输、处理、利用的能力增加,灵活供应链,建模与仿真,智能工厂,分销配送,用户,应对消费者需求及供应商变化的,IT,供应链,连接产品开发与设计，再到制造的工艺,工厂工人用知识为基础的技术，优化生产、降低成本,简化产品移动的工厂与配送中心的实时信息流,用户定制产品，产品使用全过程跟踪以及产品回收和再制造,全球先进制造业发展新趋势,先进制造企业概念,信息资源成为现代化发展的基础资源,在这样的企业中，起引领作用的是什么？,四、,大数据发展的关键,环节：,收集、组织、管理、利用,认识、技术、法律、制度、标准,主体、商业模式或运行机制,信息的结构化,大数据管理系统,（一）收集,、组织、管理、,利用,找矿,开矿,炼,矿,用矿,找矿：发现需要的信息资源,定义需要的信息资源,确定的信息资源在哪里,是否,已经以信息形式,存在,是否需要采集,开矿：收集和获取,用何种方法收集、,获取,要用什么样的方式,采集,已有的怎么,获取：,购买、交换、再收集,没有的怎么,采集：,委托、技术方案、自采,提炼：变成适用信息,相对于,信息,，提炼的本质是,按,应用需求进行结构化,处理,按,需求,语义和物理的机构,化,语义相对于应用的,目的,物理,相当于处理、存储、传输的速度和成本,利用：与具体应用的结合,将,结构化,的,信息与具体,的,应,用,结合，使之发挥,作用,这,就是基于大数据的应用系统，或称之为围绕应用的大数据管理系统，如同汽油通过加油站加到消费者的汽车内，石化原料变成衣服、设备或其部件,。,企业信息示意,人员信息：,业务流信息,1,：,客户信息,资金信息：,注册信息,供应链,信息：,法人、管理层、职工，薪资、岗位、业绩,供应链,信息：零部件、原材料、能源、供应商,物流,信息：,研发设计、生产、库存、管理、决策、销售、服务、统计、年报,业务流信息,2,：,业务流信息,n,：,承运者、工具、地点、计划,注册资本、应收、应付、营收、成本、库存、固定资产、投资、利息,机构客户,：名称、法人代表、货品名称、供货时间、联系方式、信誉等级,个人客户,：姓名、货品、时间、地点、联系方式,注销信息,记录文本,信息,状态,信息,音视频,场景因果,信息,客户信息,客户信息,财富信息：,与应用，如质量管理的要求一致吗？,还要做什么？,个人信息示意,奖惩信息：,工作信息,1,：,财富信息：,健康信息：,出生信息,学习信息,1,：,奖励事项、惩处事项、违法记录、失信记录,学习信息,2,：,单位、岗位、职务、职称、起止时间、工资,工作,信息,2,：,工作,信息,n,：,学校、专业、科目、成绩、入学毕业时间、活动,病历、基本健康信息,存款、证卷、保险、其他投资、不同产,死亡信息,学习信息,n,：,生活,信息：,关系信息：,家人、亲戚、朋友、同事、学术、网友,吃、睡、行、休闲，类型、品种、特点,记录文本信息,状态,信息,音视频,场景因果信息,与应用，如质量管理的要求一致吗？,还要做什么？,质量信息示意,材料,1,信息：,材料、,部件检测信息：,生产工艺,销售环节,信息：,产品质量信息,部件,1,信息：,材料生产、运输、保管信息，略,部件,2,信息：,生产过程信息,产品检测信息：,部件生产、运输、保管信息，略,运输、保管、销售、服务,见下图,部件,n,信息：,执行标准、检测方法、将侧工具、检测结果,记录文本信息,状态,信息,音视频,材料,2,信息：,材料,n,信息：,执行标准、检测方法、检测工具、检测结果、,生产过程信息,执行标准,生产装备,生产班次,责任人,生产过程,检测,包装,可溯源的完整信息流,与应用，如质量管理的要求一致吗？,还要做什么？,（,二）认识、技术,、法律、制度、,标准,认识,:,走向透明的社会、智能的社会、被数据包围的环境，认识准备好了吗？,经济社会发展模式,管理：政府与企业,科技、教育,和文化,人的发展与生存,生活方式,认识、技术,、法律、制度、,标准,技术,：,下面专门分析,传感,处理,存储,数据管理,数据分析,认识、技术,、法律、制度、,标准,法律,：,收集,利用,管理,权利,义务,认识、技术,、法律、制度、,标准,制度,：,相对于法律的关于信息资源的制度,国家,层面：如资产、责任、利用、安全,机构,层面：如资产、责任、使用、安全,认识、技术,、法律、制度、,标准,标准,：,范围，国家、行业、机构,类型，收集、存储、处理、管理、利用；文本、数值、图像、音频、视频,目的,，保密、安全、连接、共享,（三）信息,的,结构化,信息,的结构化是大数据技术,的,核心,、关键,和难点,大,数据结构化是一个不断发展,的,渐进过程,追求,结构化是数据管理的基本动力和目的,。,获取、处理、存储、传输、利用的效率，特别是利用的有效性基于信息的机构化程度。,数值,及事务处理等计算机信息系统早期对象结构化已经成熟，成为大数据结构化的基础。其他相关类型的信息：文本、音视频、图形图像等也在数据库或数据管理发展实践中得到不同程度的关注，产生了一些技术方法,，,大数据,正是,在这样的基础,上,发展,。,结构化的两个维度：内在逻辑完备度和应用完备,内在,逻辑的完备度与应用需求的完备度之间的约束。这类约束超越了一个具体系统的范畴。人类科学和文明进步的主要客观存在物是概念体系，概念体系的主要载体又是文本。即使是严格定义的科学著作，也没有将其内在语义结构表示作为要求，科学越发展，积累的文献越多，文本信息结构化的难度越大、任务越重。学术界及不少国家已经认识到这个问题对科学研究和提升创新能力的重要性，并着手部署相应的研究计划和工程，著名的有美国和英国科学基础设施计划,。,（四）,大,数据管理,系统,关键流程分析,基本功能要求,体系架构分析,比较与重点,大数据管理系统一般架构示意图,第一层前置处理体系：通信、场景、任务分配、安全等,第二层信息结构化处理体系：,场景分类、单元划分规则、算法、单元地址和语义命名规则、单元为基础的记录数据库及其管理系统、地址函数库、语义特征函数库、物理标识库和语义标识库及其管理系统,第三层信息存储体系：,实体库、规则库、函数库、标识库、算法库、索引库的存储结构，中间库、原始库、工作库,第四层信息处理体系：,信息获取处理、信息组织处理、内部处理（包括学习、反馈、整理等等）、应用处理,第五层软硬件资源：,网络、软件、,计算机等,体系架构分析,目前已经商用的大数据管理系统或工具，还没有全面应对大数据系统的需要，这正是我们的机遇所在,（五）大数据演进方向,机构,事务,服务,研究,是指一个机构（包括企业）为自身发展目的而构建大数据系统，并不断推向完善,这样的大数据系统,基于,机构，服务于,机构。,基于,机构的大,数据系统,数量上构成全社会拥有量的主体,这样的大数据系统,演进，特点是目的明确、类型多样、利用已有技术和方法为主要路径,大数据系统演进的领域：机构,是指,基于,一类,事务,或一类重要信息类型而收集信息、组织信息、提供服务,。,人口、企业、空间信息、交通、水务等都是基于事务的大数据系统,与基于机构的大,数据系统显著不同就是追求一类事务或一类信息的完备度，并具有跨机构性质。,事务大数据系统演进的主要特点是对该类信息的逻辑分析在技术上要求居于领先水平,大数据系统演进的领域：事务,是指提供基于互联网,服务,的大数据系统,。,显著特征,是,赢利为目的,，演进以商业模式要求为前提,要,区分同一企业服务型和研究型的大数据系统及相关研究工作，大型互联网和信息技术企业服务企业都可能存在这两种类型,要,区分一个企业商业化产品、公布的研究成果与其前沿研究的差别,除了数据结构、算法，也就是本报告所称语义特征函数的基础理论和方法研究，以科学研究为基础的信息结构化外，该领域大数据系统的研究和服务均处于领先水平,大数据系统演进的领域：服务,是指主要目的是科学研究，研究结果为大数据系统所用。,三,种,主要类型,：,一,是特定类型科学研究，如基因、地震波、声纹,等,二,是人工智能,及部分应用系统,的,研究，如“,DeepQA,”,“谷歌大脑”，感知识别、自然语言理解、机器人等,领域,，,声纹,库、指纹库、交通监视视频、安全监视视频，相片集、计算机辅助设计集、自然事件观察集等等。,三是数学、计算机科学的基础研究,。,主要贡献在数据结构和算法,大数据系统演进的领域：研究,大数据系统演进的技术方法,研究如何提升逻辑能力和处理能力,研究大数据特有的演进模式，如何在,网络,环境下的互动参与平台，开放与管理的原则与方法,。交互式,为主，,适度,采用计算或推理是信息结构化的主要模式,通过内部学习和调整处理，使,系统,具备,自我,演进的功能。,大数据系统演进的技术方法,建立,大数据管理,系统,最重要的技术方法,问题,是信息结构如何形成,。,关系数据库,中实体和关系的确立，即单元的切分和标识的形成是人为的。但面对类型多样、来源不一、数量庞大的信息，如何切分单元，如何给予成熟的、可处理、可利用的语义标识，人们会首先倾向于通过算法或推理，实际上这是行不通的,。,五、,电子政务发展中的大,数据,以质检部门质量管理应用为例,信息化应用已经延伸到质检各个领域，在检验检疫、质量技术监督认证认可、标准等工作中发挥重要作用，信息安全保障能力逐步提升，大数据对进一步提升质检系统信息化水平具有十分重要的作用。,利用信息技术完善食品、,农产品,安全,追溯体系,推广,RFID,、二维码、条形码等技术应用,，在,供港澳牛奶、猪肉、蔬菜等食品率先建设食品安全追溯体系,，实现,食品、进出口农产品安全监管“一键溯源”,。提供,包括食品追溯相关记录信息查询、统计、分析等功能。,建立进出口,食品质量安全数据库和服务平台,，食品,问题预警和事后快速处理提供支持。推广商品条码标识在食品安全追溯中的应用，,制定标准，实现食品,安全监管从粗放模糊型向集约精确型转变,。,信息收集,更好利用,结构化，质量,需要进一步完善的工作：信息是否满足溯源需求、信息来源及质量如何保证、信息如何支持预警和事件处置,利用信息技术加强质量诚信体系,进一步完善质量信用信息管理制度，规范信息的记录、归集、处理、使用、公开等工作。以组织机构代码为基础，有效整合质检系统内部质量信用信息资源，建立质量信用信息数据库。搭建质量信用信息交换和服务平台，实现质量信用分类管理，满足各级质监和检验检疫,部门。,信息收集,更好利用,结构化，质量,需要进一步完善的工作：信息是否满足质量管理需求、信息管理是否满足业务工作需求、成本效率质量分析,利用信息技术提升出入境检验检疫业务监管水平,实现,全面实时掌握全国出入境检验检疫业务情况，加快监管指令的下达速度，提高科学决策和统一指挥能力；实现各地检验检疫机构对进出口货物全程跟踪，全面提升口岸局与内地局之间业务协作和执法能力，提高检验检疫严密监管的能力；实现企业、产品、证书等信息的高度共享，促进出入境检验检疫业务协同监管水平的提升,。,信息收集,更好利用,需要进一步完善的工作：如何实现进出口货物全程跟踪，全程如何定义、范围是什么、跟踪的深度，然后才是信息有没有、从哪儿来、如何整合、如何与业务流程连接,推进,信息资源整合,建设,建立,信息资源整合与交换,体系,、,完善,基层数据采集机制,。采用,电子标签、传感设备、,GPS,定位等手段实现基层数据采集，实现一数一源。,建设整合信息统一管理机制,。搭建,跨部门的质量信息资源交换机制,。,推动,全国质量信息资源整合中心与平台,建设,。,推进,一批重点信息资源库建设,。建设,重点产品基础信息库，增强信息溯源能力；建设空间转移轨迹信息库，实现过程控制、全程监管；完善法律法规库，加强法制信息化建设,。,这种方式采集的数据如何结构化，与文本信息构成统一的大数据,什么产品溯源，如何实现溯源、溯源的深度把握,统一的信息资源中心就是大数据的典型例子，系统性、质量、制度,大数据从哪儿来：来自一切客观存在，宇观到微观的物理世界，各种生物体，人类社会活动，人类感知、认识和思维的结果,重视大数据发展提高信息化质量,大数据的形态：数值、文字、符号、音频、视频,大数据主要相关技术：获取能力、转换能力、组织能力、传输能力、处理能力、展示能力，涉及到所有信息技术,，,最直接,的是获取,、转换、组织、利用能力,大数据怎么得到：人类的感知、思维，传感器获取,大数据主要影响：改写信息技术和产业版图，成为人类社会发展转型的主要基础,大数据有多大：无限，这正是信息技术和产业的需求和发展前景所在。,P,级是,2,的,50,次方，走向,2,的,100,，,200,次方，更多,大数据发展路径：各环节相互制约、推动，逐步发展,演讲完毕，谢谢观看！,