农业大数据技术前沿与应用.pptx

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,农业大数据技术前沿与应用,许世卫 研究员,农业部农业信息服务技术重点实验室 主任,中国农业科学院农业信息研究所 所长,2014,年,10,月 南京,内 容,一、,农业进入大数据时代,二、前沿技术,三,、主要应用,四、未来展望,一,、,农业进入大数据时代,“,大数据,”,主要是来,描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新,。互联网行业是大数据应用的领跑者，目前，大数据正在加速向农业领域拓展。,基础架构,关键分析,主要应用,开源的项目,随着传感器、智能,移动,设备、互联网等的,发展,，数据呈现爆炸式增长。,农业的新变化,特点,量大,实时,复杂,类杂,数据无处不在,数据无时不有,数据无物不生,数据无人不感,地域性,季节性,多样性,周期性,农 业,农业大数据（,Big data,）是,指,在,现代农业生产、经营、管理等各种活动,中,形成,的,，,具有,潜在价值,的,、,海量,的、活的,数据,。,是现代农业建设、发展、管理的,“基准线”,。,目前，中国每年产生并被存储的数据总量超过,800EB,（,10,18,字节）,，,相当于全人类讲过的话,160,倍。,KB,（,10,3,字节）,MB (,兆，,10,6,字节,),GB,(,吉，,10,9,KB,）,TB,(,太，,10,12,字节,),PB,(,拍，,10,15,字节,),EB,(,艾，,10,18,字节,),ZB,(,泽，,10,21,字节,),农业每年产生的数据量约为,8000PB,（,10,15,字节）,农业数据每年将以,50%-80%,的速度增长,农业生产数据,2500PB,农业管理数据,1200PB,农业自然资源数据,3500PB,农业市场数据,800PB,（数据来源：,ZDNET,数据中心,2013,：硬件重构与软件定义,年度技术报告）,农业进入大数据时代,气象数据,生物信息数据,资源环境数据,生长监测数据,农业统计数据,全球气候观测系统（,Global Climate Observing System,）,2012,年每天新增超过,250GB,，政府间气候变化专门委员会（,IPCC,）第四次评估报告中采用了超过了,29,000,个观测资料序列，第五次报告中使用的数据量达到了,2.3PB,。,（,1,）气象数据,1.,农业大数据的类型,1984,年，由,NIH,创办的基因数据库（,GenBank,）；,截止,2011,年,4,月，在传统数据存储区，共有,1.35,亿条序列记录，包含,1265,亿个碱基对；在,WGS,（,Whole Genome Shotgun,）分区内包含,1914,亿个碱基对，,6272,万个基因组序列。,全部数据若是装订成册，将载满,700,多辆卡车。,（,2,）生物信息数据,对地观测（遥感）技术农业资源研究提供空间数据，而且，遥感监测一直向高时空分辨率、高光谱、多频段方向发展，数据生产能力越来越强；,美国,NASA,和,USGS,研究生产的包括,GLS1975、1990、2000、2005,和,2005,（,EO-1）,五个子集的一套,Landsat,卫星影像，总数据量超过,5,TB,；,（,3,）资源环境数据,视频监测,气象监测,-24,个指标,土壤养分监测,-15,个指标,土壤水分监测,-5,个指标,生长监测,-16,个指标,实时监测仪器、设备全天候监测，随着设备种类的增长、价格的降低，监测点将成指数级增长，所产生的数据，将快速增长。,仪器监测每,10,分钟采集,1,次数据（,60,多个指标,*5,万次,/,年）,+,市场监测数据,+,统计监测数据,+,视频监测数据,15G/,年,（,4,）作物生长监测数据,（,5,）农业统计数据,农业部,统计报表,农业综合调查制度,农村经营管理情况统计报表制度,全国乡镇企业统计报表制度,农业资源环境信息统计报表制度,全国土壤肥料专业统计报表,全国植保专业统计报表,农业机械化管理统计报表制度,种子管理机构报表,种子企业报表,953,个品种，全国,1000,家市场，每日价格等,11,个指标的信息，每天超过,1000,万个数据,大数据,最大的作用在于给人们带来了思维上的转变,大数据思维,互联网思维,数据思维,产业思维,跨域关联思维,农业大数据思维,数据文化：尊重事实、强调精准推崇理性,万物皆比特，一切,皆数据,!,数据制度：数据立法、用数机制尚数环境,数据治理：事前管理、科学决策数据创新,资源配置：精准化、智能化、高效化,二,、前沿技术,农业大数据的发展对传统的数据处理技术体系提出了巨大的挑战，需要我们在数据采集、数据标准、数据处理、数据分析、数据展现等方面做全新的技术升级。,实时性,精准性,全面性,系统性,规范性,1.,数据精准获取技术,15,可穿戴式的信息获取技术,可植入、可嵌入式数据获取技术,微型移动信息获取技术,生物传感、微纳米传感器、便携式传感器等新型设备。,2.,数据标准化技术,农业领域数据标准化变得极为迫切，信息采集、传输、存储、汇交的标准规范亟需大量出台。农业基准数据库亟需建立。,大数据数据标准化标准体系框架,传输速率,编码标准,传输方式,传输冗余,汇交方法,汇交内容,汇交分类,汇交范围,采集规范,传输标准,存储标准,汇交标准,采集内容,采集方式,采集时间,采集地点,存储格式,存储方式,存储安全,数据结构,农 业 基 准 数 据 库,数据增值的关键在于整合，但整合的前提是数据标准的统一。,建模技术：,农作物生长与产量形成机理建模；,农产品消费行为与消费量变化动态建模；,基于多代理系统进行农业智能仿真模拟；,关联分析：,专家会商系统结合；,专家智慧动态引入；,仿真模拟智能化和自适应；,3.,农业大数据分析处理技术,仿真过程介入；,仿真结果反馈；,生产与市场决策流程优化。,4.,数据分析,模拟技术,模拟育种,=,大数据,+,超级计算,种子基因数据,+,环境因子数据,+,遗传模型,+,超级计算,通过计算机动态模拟种子的生产过程、产量形成过程,5.,农业大数据交互式可视化技术,农信采监测数据可视化,大数据背景下，,在交互式数据可视化技术,的支撑下,，,通过对高频变农产品市场,数据的,处理，实现多品种、多地域、多类型农产品,市场变动的内在机理、波动周期、市场走势的可视化呈现。,农信采监测数据可视化,三、主要应用,大数据应用在于从流程优化、知识,发现、,辅助决策的过程中发现大价值。,大数据技术与农业领域的深入耦合，将对我国,的农业市场监测,预警、智慧农业生产管理、和农业国家宏观管理决策带来前所未有的变化！,农业监测预警是现代农业稳定发展的最重要基础之一,产量形成,产销流通,产品消费,信息流揭示,过程模拟,预警与调控,物联网,现代农业,大数据,1.,农产品市场监测预警,-,发现市场风险,移动采集技术,“农信采”（便携式农产品全息市场信息采集器）,，,是一款新型的农产品市场信息采集设备。“农信采”的推广应用，将为我国农产品市场信息标准化、即时性采集带来革命性的变化，可广泛应用于田头市场、批发市场、零售市场的农产品全息信息采集。,Windows mobile,版本,安卓版本,农信采在全国广泛应用,在,北京,、,天津、河北、福建、湖南、广东、海南,等省市,几百个,田头、批发、零售,市场进行推广应用，共采集数据,59,万余条。,从,2014,年,9,月,1,日将由发改委、农业部在新疆、黑龙江、吉林、内蒙古,4,省区用于大豆和棉花的目标价格采集。,该设备的定位功能、数据纠错、信息分析功能，可用于审定品种、种业专利数、种子企业、种子价格、种植面积、,供需,状况等种业信息的采集。,数据标准化技术,制定了农业部行业标准,2,项,积极推进农业信息标准化科研工作，在建立农产品全息市场信息框架体系,起草、制定了,农产品全息市场信息采集规范（,NY/T2138-2012,）,与,农产品市场信息分类和计算机编码（,NY/T2137-2012,）,2,项行业标准,农业部于,2012,年,2,月,21,日颁布，并于,2012,年,5,月,1,日起正式实施。,模型分析,处理,技术,美国农业部：,多国商品联接模型（,Baseline,模型,),食物与农业政策模拟模型（,Fapsim,模型）,FAO-OECD,：,Aglink-Cosim,模型,FAO,全球粮食信息预警系统,平衡表技术：,美农部平衡表,FAO-OECD,平衡表,类别,2014,2015,2016,2017,2018,2019,2020,2021,2022,2023,生产量,14214,14113,14016,13988,13955,14050,14146,14193,14240,14290,进口量,223,225,226,227,228,229,230,231,233,234,期初库存,6236,7112,7777,8273,8660,8926,9193,9461,9730,9999,总供给,20673,21450,22019,22488,22843,23205,23569,23885,24203,24523,总需求,20673,21450,22019,22488,22843,23205,23569,23885,24203,24523,消费量,13523,13633,13706,13787,13874,13969,14064,14111,14158,14208,口粮消费,10886,10966,11011,11060,11116,11173,11235,11254,11277,11303,饲料消费,1658,1697,1733,1768,1803,1837,1866,1891,1913,1933,工业消费,194,203,211,220,228,237,245,253,260,267,其他消费,785,767,751,739,727,722,718,713,709,705,出口量,39,39,40,41,42,43,44,44,45,46,期末库存,7112,7777,8273,8660,8926,9193,9461,9730,9999,10268,库存变化,876,665,496,387,266,267,268,269,269,269,平衡表,中国农产品监测预警模型（,CAMES,）整体模型框架已经形成。总体上来讲，,CAMES,要等同于甚至优于,ERS/USDA,的大型系统。其特点是，监测预警的农产品种类多、品种全，涵盖,11,大类,953,个农产品品种；监测预警的空间分布广、区域性强；监测预警时期包含短期、中期和长期；监测预警模型涵盖气象、投入和管理等影响因子。,中国农产品监测预警模型,搭建农业监测预警研究空间,是中国农科院信息所农业信息学科建设和发展的集中体现,。,是在线协商,的良好平台，也是农业信息分析等学科研究的重要载体,。,农业监测预警空间,建有中国农产品监测预警系统、中国农业监测预警数据库系统、在线会商系,统等多套应用系统,及先进硬件支撑环境。,具有,4,大功能,：,实时监测,大数据处理,智能仿真模拟,信息发布,农业展望会议,-,现代农业的高端管理工具,美国的农业展望大会 第,90,届,澳大利亚的农业展望大会 第,44,届,墨西哥的农业展望大会 第,1,届,FAO-OECD,的农业展望大会 第,8,届,至,2014,年：,NASS,发布了,461,篇报告,FAS,发布了,119,篇报告。,ERS,发布了,229,篇报告,美国靠什么引领世界农业？,-,数据支撑,释放市场信号,发布产品报告,显示权威预期,实时、全面、准确的数据,首届中国农业展望大会,2014,年,4,月,20-21,日，首届中国农业展望大会在京召开。标志着中国特色农业信息监测预警体系建设取得成效，,开启了提前发布市场信号、有效引导市场、主动应对国际变化的新篇章。,参会者涉及全国各地农业生产经营者、科研工作者、政府管理者以及来自,OECD,、美国、澳大利亚等国际专家。,全体大会,+18,场专题会,54,位国内外专家演讲,500,多人参加了大会,会议发布了,中国农业展望报告（,2014-2023,）,分品种展望报告（粮食、棉花、油料、糖料、肉类、禽蛋、奶类、蔬菜、水果等）,农产品围绕农业资源环境、农业支持政策、农业科技创新等热点专题进行了研讨。,发布了,中国农业展望报告（,2014-2023,）,首届中国农业展望大会,受到了国内外社会各界的广泛关注,！,据不完全统计，截至,2014,年,4,月,22,日会议结束后第二天，,1300,多家国内外网站对,2014,中国农业展望大会进行了报道。,2.,智慧农业,精准生产、智慧管理,对,大田生产的,农作物长势长相监测,农情,监测,系统：农作物苗情,、墒情、病虫情、,灾情,实现,信息采集、监测、预警、决策,、调度的闭环应用,对,农作物生产、管理和抗灾救灾进行,快捷高效,的调度指挥，实现精细化农业生产与宏观,监管,对畜牧养殖的智能应用,合理优化养殖环境,：实时监测空气温湿度以及二氧化碳、氨气等数据，智能分析、判断、调控养殖环境。,O,2,CO,2,O,2,CO,2,NH,3,CO,2,精确确定猪的日粮比,：通过大数据技术获取符合营养目标的日粮搭配比例。,数字果园,就是以果园系统为研究对象，以现代信息技术和通讯技术为工具，优化果园系统中的信息流程，实现果园优质、高产、高效、安全的生产和管理。,主要用途：,果树长势监测。,果园病虫害的监测和实时识别。,实时提供病虫害防治方案。,实现果树生产的专业化指导。,实现果品溯源。,数字果园现场信息采集系统,(采集果园土壤、空气及果园视频等其它环境信息）,针对,数字果园,的应用,-,为果农管理田园提供了新的方式,3.,国家农业宏观管理,科学决策,优化统计数据、实现产销,精准匹配。,针对农产品时常出现的区域性、季节性、结构性“卖难”和“买贵”问题,，加强农产品产销信息平台建设，通过农产品产销数据的收集、分析实现产销,的精准匹配，促进了农产品供需平衡,。,利用互联网大数据，辅助决策。,国家统计局与,BAT(,百度、阿里巴巴和腾讯,),签署了大数据战略合作框架,协议。,进一步发挥大数据对于常规渠道统计决策的参考、补充作用。,对内部优化决策,对外跟踪国际贸易，合理引导国际市场预期,当前,，国际农产品价格联动性增强，为了适应世界农业格局的变化,，利用大数据技术，跟踪,、监测、分析、应对国际市场变化已成为现代农业发展迫切要求,。,数据开发已经成为全球发展的重要趋势,加快农业信息开放步伐，改善中国数据质量，提升数据国际公信力，正确引导国际市场对中国农产品市场变化的预期，增加,我国在国际市场上的影响力和话语权。,四、,未来展望,一切,围绕“数据”这一核心运行,未来农业监测预警将围绕“数据”核心，开展采集、标准化、存储、分析处理、公开发布、展望预测，影响预期，管理未来。,使用、利用开发才会产生大价值,数据,能力将成为,现代农业发展的,新型力量！,数据,资源将成为,国家新型战略资源！,数据,能力将成为,推动国家进步的新型,竞争力！,农产品市场信息流监测技术,市场信息获取、传输、处理的标准化技术,市场信息移动监测设备,市场交易混沌场景下的信息识别技术,市场信息流的定量测度技术,“信息流”监测、分析、模拟技术将成为重点,多品种市场关联预测技术,高频变农产品市场数据处理关键技术,多品种、多地域、多类型农产品市场预测模型系统,智能预警基础算法,智能算法,B,E,C,D,A,预警算法的可计算建模技术,农产品市场预警与市场反馈机理模型,大数据密集与大数据驱动条件下的预警基础算法,预警算法参数自调整技术,预警发布流程调度技术,农产品市场预警多维模拟技术,基于大数据的农业行业分析预警将成为热点,将领域数据（如农业部、发改委、商务部、海关等政府部门）链接起来，形成关联数据集，用大数据的方法把这些数据作为整体进行研究和分析，发现或预测其中蕴藏的规律。,基于智能数据处理的农业生产管理系统将会大量出现,多学科综合应用，通过计算机建模与实现，用于农业生产管理过程控制，实现农业资源的按需分配与自动调度，最大限度地降低农业生产资料损失，提高农业投入效率。,大数据与农业的融合将进一步加深,数据开放力度将进一步增强,内开放,外开放,摸清家底，建立共享目录,整合资源,、,建立共享平台,部门协作,、建立数据会商制度,加强合作，参与国际数据交流,形成对外农业展望制度,明分类、确顺序，制定数据公开路线图,中国农科院农业信息研究所将致力于建成,全国农业信息技术创新中心,、,农业科学数据中心,、,全国农,产品,信息分析预警中心,。,作为农业信息化工作的主要技术团队之一，信息所将时刻以国家需求为第一要务，在技术支撑和决策咨询方面做好全方位服务，共同为我国现代农业发展做出更大贡献。,在全球大数据蓬勃发展的大背景下，如何抓住农业大数据时代发展的机遇，实现传统农业向现代农业的快速转型，是摆在政府、学术界和产业界面前的紧迫性课题！,倡议,：,组建农业监测预警大联盟，共谋发展，创造未来！,谢谢大家！,E-mail:,xushiwei,Telephone:,0086-10-82109902,