农业大数据分析应用平台解决方案.docx

农业大数据分析应用平台解决方案基于物联网、大数据等数字化技术已经逐渐深入到产业应用, 通过物联网设备、多终端填报工具、多平台数据泵、数据共享交 换平台、在线调查管理等技术，可以大大提高数据采集的效率和 准确性，有效实现信息聚合共享，有效解决数据来源多头、存储 分散、产业链数据不连贯等问题。通过数字化技术的升级改进，数据采集不只是简单的监测点 信息填报等手段和方法，包含了分别针对产业端和政府端的两套 多终端数据填报系统，实现产业条线和监管条线的数据信息的填 报；通过在内部自有管理平台和服务平台安装数据泵，实现自动 化数据汇集；通过数据共享交换平台实现外部系统和社会化平台 的数据共享和汇集。从而大大提高了数据采集的范围和效率。3. 4数据质量农业数据监测的有效性，与监测数据质量的高低天然的具有 直接关系。因此，提高监测体系的数据质量，对发挥农业数据监 测平台的价值具有重要意义。监测体系数据质量的提高主要通过 3个方面来实现，一是通过建立科学、完善的数据标准和采集规 范，从源头上确保数据的准确性。二是通过数字化技术手段，通 过物联网数据和系统数据自动化汇集，降低人为采集的工作量和 失误。同时、通过大数据和机器学习技术，对采集的数据进行清 洗和处理，并对异常数据进行预警，从而提高数据质量。三是通 过制定合理的保障制度，例如数据交叉验证、监测点考评、抽样调查、典型调查等，确保数据源的责任与利益挂钩，提高参与数据监测体系建设的积极性，进而提高数据填报的准确性和及时性。3. 5制度保障建立健全的数据监测体系保障制度，规范高效运行，力求具 体、规范，力争长期有效地开展监测工作。制度应包含信息员管 理制度、监测点管理制度、信息标准与规范制度、考核奖惩制度、 数据平安管理制度、数据沟通机制制度、信息发布制度等。用于 保障监测数据的标准化和规范化采集，以及监测数据的规范化应 用，确保数据监测体系的建设及运行到达预期的效果。建立强有力的组织保障，明确监测体系建设的责任机构，统 筹谋划体系建设和推进工作，建立农业主管部门牵头、涉农部门 共同配合的协调推进机制，明确责任和进度。3. 6培训交流依据实际情况和工作基础，建立政府、企业和科研机构组成 的数据采集、分析和信息发布团队，定期组织培训交流及会商, 对农业数据监测体系及建设数据应用建言献策，并及时向社会发 布监测信息和预警成果，提高服务水平，形成信息监测工作的可 持续、良性循环。4、应用场景监测分析应用平台以农业数据汇聚平台为底座，以农业数据 监测体系为依托，通过数字化技术对监测数据进行分析应用的应 用层平台，是农业大数据应用的典型方式，为农业现代化开展提 供有效的数据支撑，为农业供给侧改革及产业市场环境优化提供 了有效的机制，在引导农业生产和稳定供应、保障农民和消费者 利益方面发挥了重要作用。监测分析应用平台按照政府端与产业端不同的应用需求，分 为监测政务系统和监测服务门户。其中面向政府端应用的监测政务系统，旨在通过应用平台构 建政府主导、市场参与、强化协同、注重应用的运行机制。加强 和完善农业数据监测体系建设，真正做到耳聪目明，及时、全面、 准确地掌握情况，把握好宏观调控政策的出台力度和时机，同时 也为新形势下建设社会主义新农村充分发挥价格主管部门的作 用，为社会经济全面协调可持续开展做出贡献。3.1 信息查询农业数据监测体系充分利用现代信息网络技术，整合国家、 地方、行业的信息资源，挖掘和提升信息质量，构建一个互联互 通、资源共享的信息体系，在充分挖掘和利用相关统计部门统计 数据的基础上，农产品市场数据、农产品产量数据，农产品行情 数据、农产品流通数据等主体数据拉通，形成统一视图面向主题 汇总、建模、打标签，萃取统一标签和指标，生成融合主题库。 向农业主管部门及其他部门提供各主题库信息查询功能。4. 2产业运行监测产业运行监测，对主产区及重点产业的生产情况、生产效益、 运行、产能、综合效益等情况进行汇总分析，能准确把握产区及 重点产业的开展情况和波动趋势并预测预警；同时通过系统辅助 生成相关的经济分析报告，使产业经济运行分析评价工作科学化、 规范化，提高产业经济运行监测分析工作效率和科学决策水平， 增强为政府和企业服务的能力；应用调查数据库信息资源做产业 画像分析。使农业主管部门及区域政府可以及时、准确、全面地 掌握主产区及重点产业经济数据的运行态势，实现对产业经济的 宏观了解。4. 3舆情监测通过对重要农产品、重点企业、重点品牌的全网舆情信息的 实时监测，敏感信息及时预警，实现网络舆情的快速获取。通过 舆情分析和洞察，实现对重要农产品、重点企业、重点平台的舆 情管理、危机追踪、专项分析等，为主管部门的决策提供参考依4供求平安分析通过对生产、库存、流通、价格、消费、贸易等核心数据的 监测，实时刻画农产品供求关系及影响因素，是进行农产品市场 有效调控的基础。通过农业数据监测平台让农业主管部门更加快 捷及时掌握各地农产品生产、流通和供应情况，在引导农业生产 和稳定供应、保障重要农产品供求平安、保障农民和消费者利益 方面发挥了重要作用。为及时根据需求变动做出正确决策提供了 支撑。实现农产品供应更充裕、价格更稳定。4 . 5进口影响分析通过对重要农产品进口量、进口额、来源国等数据的监控, 对农产品进口贸易的贸易规模，贸易品种结构，地区结构和存在 问题等进行分析，总结农产品进口贸易的特点，得出影响中国农 产品进口的主要因素。为主管部门有效合理安排农产品进口贸易 确保农产产业平安，针对农产品进口存在的问题，提出了相应的 的措施，制定农产品进口政策以及提高中国农产品进口质量提供 支撑。5 .6生产收益分析从全产业链的角度出发，通过对农产品生产、加工、流通、 批发、零售、消费等产业各环节信息监测和数据采集，准确把握 产业各环节的动态变化，对产业生产本钱收益情况进行分析。为主管部门防止收益畸形传导，稳定市场供需、提升产业链开展、优化产业结构、确保生产收益和产业平安提供支撑。4. 7专报内参通过农业数据监测平台，在各个政府管理部门之间建立专有 的信息沟通机制。利用已有的基础数据，通过分析，形成专报和 内参，履行农业主管部门在农业产业运行上的信息共享和数据应 用职责，实现业务协同、资源和成果共享，共同促进产业可持续 开展。4. 8辅助决策通过农业数据监测平台的监测体系和大数据技术，监测价格 总水平及重要农产品价格动态，预测变化趋势，为管理部门正确 和及时实施宏观调控政策提供决策依据；通过监测体系跟踪、反 馈监管政策和措施的执行效果，为管理部门及时修订政策、完善 措施提供跟踪支持；建立预警机制，实施应急监测，为建立有效 的应急处理机制提供保障；监测数据进过处理分析，提供公共信 息服务，正确引导生产、消费，减少市场盲动，促进宏观调控和 价格监管决策的实施。监测体系，为管理部门宏观决策和指导服 务生产经营发挥了重要作用，增强管理部门总揽全局的能力。5、服务门户面向产业端应用的监测服务门户，旨在通过政府主导的权威 监测信息服务平台，为科研机构、产业主体提供高效的信息服务, 在产业端实现产业链提升、产业结构优化调整、需求市场良性稳 定开展。5.1信息发布通过农业数据监测平台，建立信息发布制度，明确发布时间、 渠道和内容，打造权威的监测数据发布窗口，提升监测信息服务 水平，为政府宏观决策提供依据，为科研、生产经营提供信息指 导与服务。5. 2价格指数稳定价格是我国宏观调控的四大目标之一，通过对农产品市 场价格信息的监控和分析，通过科学的算法和模型进行价格指数 的发布，对加强价格调控，保持价格基本稳定，对促进经济开展 和社会稳定，具有重要作用。通过价格指数，让产业生产具有预 见性、主动性和有效性，提高产业开展水平，降低产业开展风险。5. 3市场预警通过农业数据监测平台，建立完善的预警工作机制和应急处 理机制，基于市场信息监测数据及大数据技术，对市场波动进行 预警分析，结合专家组的分析结果，在市场出现异常时，通过信 息手段迅速反响，有效处理，指导产业生产，促进产业持续平稳 开展和转型升级。5. 4生产指导通过农业数据监测平台，纵向综合全产业链的生产、库存、 流通信息，横向综合整体市场和单点品类的市场行情信息，通过 整体的分析、比拟，实现生产指导意见的发布，实现产业生产与 销售的指导，正确引导生产、消费，减少市场盲动，提升重要农 产品供求平安风险的抵御能力。5. 5分析报告通过农业数据监测平台的监测数据，结合专家组及专业分析 团队的观点，对采集的信息进行处理分析，发现产业问题，预判 产业开展趋势，发布产业分析报告、专题研究报告、行业周报等。 提高对农产品价格监测预警和对生产种植的引导指导能力。5. 6行情预测通过农业数据监测平台，全面、高频次采集农产品的生产、 价格信息等，进行定期和不定期的分析、预测，并上网发布每周 的行情预测报告，让产业生产主体和交易主体更为准确地把握产 品价格动态，更好地进行产品调运和交易疏导。5. 7产销对接通过农业数据监测平台，收集、监测全国重要产品的重点产 区及重点市场的供求信息，分析筛选有效的产销需求，通过高效 的信息渠道对生产基地和批发市场进行供求信息发布，提升产销 对接效率，知道农产品生产与流通。5. 8培训交流依据实际情况和工作基础，建立政府、企业和科研机构组成 的数据采集、分析和信息发布团队，定期组织培训交流及会商, 基于农产品监测信息的应用和服务进行交流培训，对新品种、新 技术、新趋势、新政策进行交流，形成产业开展和供需市场的可 持续、良性循环。目录1、建设背景32、需求分析43、规划设计65.1 监测指标75.2 监测网络85.3 3数据采集93.4 数据质量103.5 制度保障114、应用场景124.1信息查询124. 2产业运行监测134. 3舆情监测134. 4供求平安分析144. 5进口影响分析144. 6生产收益分析144.7专报内参155、服务门户165.1信息发布1652价格指数165.3市场预警165. 4生产指导1755分析报告175.6 行情预测175.7 产销对接185.8 培训交流181、建设背景近年来，各级政府深化放管服“改革转变政府职能，促进 经济韧性和开展动力不断增强，极大释放了市场活力和社会创造 力。价格监测作为政府从调节经济运行和保持价格基本稳定的措 施，对市场价格实施连续性监视、分析及预测趋势的活动，不再 停留于一些基础数据的调查积累层面，而是向着大范围、多元化 的模式开展。开展农业数据监测作为经济运行监测的手段之一，同地震监 测、疫情监测、气候监测等自然环境监测一样，都是人类社会有 组织的监测活动，是人们从事生产和社会管理活动的重要借助手 段，对发挥监管和评估、促进社会生产，开展科学技术，推动经 济、社会和谐开展都有着不可替代的作用。农业数据监测体系的建立健全，直接影响到农产品价格监管 的质量和效率，因此，搭建农业数据监测体系，强化农业大数据 应用，开展农业立体式信息监测，为现代农业开展决策提供有效 的数据支撑，助力农业供给侧改革与农产品价格形成机制完善, 是大数据驱动数字农业开展一项重要举措。2、需求分析首先，农业大数据应用的实现离不开真实有效的数据作为支 撑，而农业数据监测体系是农业大数据应用实现的重要数据来源。 农业数据监测体系涵盖了农业产业生产、价格、库存、消费、贸 易和本钱收益等6大核心数据、企业主体信息动态监测等重要数 据的核心来源以及动态更新。横向通过对农产品品类的扩展构建 重要农产品市场行情监测体系，纵向通过对产业链全链数据的深 度整合构建重点农业产业链数据监测体系。通过监测数据的持续 更新与应用，让农业大数据平台成为有源之水，有本之木。其次,农业数据监测体系是政府实现产业监管及数据支撑决 策的重要抓手。通过农业数据监测体系能够及时、快速、准确的 掌握农业产业经济运行信息，完善农业产业经济运行监测体系， 准确判断经济运行状态和产业开展趋势，为生产要素的平衡、企 业经营矛盾的协调和企业开展的政策支持提供决策依据。这主要 表达在：监测价格总水平及重要商品价格动态，预测变化趋势， 为政府正确和及时实施宏观调控政策提供决策依据；跟踪、反响 价格监管政策和措施的执行效果，为政府及时修订政策、完善措 施提供跟踪支持；建立预警机制，实施应急监测，为建立有效的 应急处理机制提供保障；价格监测调查、采集的信息经过加工整 理、分析预测，提供监测数据公共信息服务，正确引导生产、消 费，减少市场盲动，促进宏观调控和价格监管决策的实施。最后，农业数据监测体系是实现数字农业大数据应用及数据 服务的重要方式。通过农业数据监测平台开展对重要农产品市场 行情分析，引导产业主体搞好产业结构调整，推进市场化产业的 开展。市场经济条件下，市场机制决定价格的作用日益明显，价 格变动的敏感度提高，价格面对的市场情况比过去复杂得多。这 就要求通过农业数据监测平台不断强化农业数据监测工作，为农 业产业的协调开展提供充分的市场信息和必要的预测预警意见 支持，从而提高价格调控监管的主动性和预见性。建立重点农业 产业全产业链数据采集制度和预警体系，指导农业生产，促进产 业持续平稳开展和转型升级。利用现代信息技术强化农业信息监测预警，对农产品生产、 流通、库存、加工、消费、价格、贸易等信息进行全方位监测、 预警和发布，引导农产品均衡生产和均衡供给、保障农民和消费 者的利益。,AS Im 分平纵向点业产业监测值启发布trtWBB生产事分析倍 I bWtt 产mt I 培值法产好行aimu生产aa分折bik-国家衣业监浦体系及工程图农业数据监测体系总体架构3、规划设计农业数据监测体系以农业数据聚合平台为基础底座，主要包 含监测体系建设以及监测分析应用平台。其中监测分析应用平台 面向政府端和产业端分别提供了监测政务系统和监测服务门户 两个不同的应用端。1.监测体系建设农业数据监测体系的建设是实现农业数字监测的基础，通过 采集、汇总、整理大量的监测数据，密切跟踪数据变动情况，储 备信息资源，随时为产业监管、市场调控提供完整、全面、准确 和及时的监测依据，充分发挥基础数据的有效作用，是实现农业 数字化与治理现代化的重要保障。理顺并建立农业数据监测体系对于加快农产品市场预警建 设非常重要。2002年以来，农业农村部开始建立农产品市场监测 预警系统，启动了稻谷、小麦、猪肉等关系国计民生的7种重点 农产品的市场监测预警工作，定期对农产品的供需、库存、进出 口、市场行情和生产本钱进行动态监测，从供求平安、进口影响 及生产收益3个方面进行报警，为生产者、经营者和政府部门提 供决策参考。目前，物联网、云计算、大数据等信息技术为全产业链数据 的准确采集和融合整理奠定了技术基础，随着产业标准化、规模 化的快速开展以及生产主体、批发市场的逐渐规范，为跟踪监测 各类主体信息提高了现实可操作性。通过农业数据监测体系的建 设，将实现覆盖云南省重要规模生产基地、农产品批发市场、基 点县、种养大户，覆盖粮食、茶叶、花卉、水果、蔬菜、坚果、 咖啡、中药材、肉牛等重点产业的“点线面”数据监测，有效推 动云南省农业现代化开展。3.1监测指标监测指标建设是指，通过对重要农产品相关产业的分析，确 定产业影响因素有哪些以及影响因素的重要性如何，然后通过科 学的方法选取能表达影响因素状态的指标作为产业数据监测指 标，最后形成横向覆盖重点农产品品类、纵向覆盖产业链的监测 指标体系。指标体系的建设应该符合三个原那么。综合性原那么：监测指标 的选取应能全面地反映生产、流通、市场、社会化等综合性因素。 最小数据集原那么：监测指标不可能也没有必要涵盖产业的全部因 素，而应遵循最小数据集原那么，选择最能表达对产业运行起主导 作用且相互关联性较小的指标集。可操作性原那么：数据监测是一 项持续性工作，其技术环节的设计就要考虑实际工作的可操作性, 所选的监测指标数据应具备可得性、可测性和可比性。监测指标体系应该分为前导性指标、核心指标和辅助指标, 不同类型的指标采用不同的监测策略，把产业关键环节、对生产 和消费数据影响广、代表性强、更新频度及时、与其它环节关联 性强和准确性高的指标作为核心指标，先易后难，试点先行，逐 步推进的方式来建立监测指标体系。在监测指标体系逐步完善的基础上，应设立指标评价阈值, 作为后续应用阶段预报预警的依据。并且，通过研究可行的模型 算法，获得产业景气指数等指导型指数指标，用于实现产业生产 指导。3. 2监测网络监测指标是监测体系的骨架，而监测网络那么是实现监测体系 的血液。通过建设覆盖重要规模生产基地、农产品批发市场、基 点县、种养大户，覆盖粮食、茶叶、花卉、水果、蔬菜、坚果、 咖啡、中药材、肉牛等重点产业的“点线面”的立体式信息数据 监测网络，为实现农业数据监测体系及农业大数据平台的应用提 供有效的数据支撑，助力大数据驱动数字农业的开展。通过在全省范围内规模生产基地、重点企业、农产品批发市 场、基点县、种养大户设立监测点，确定监测点信息员，由信息 员把监测指标数据进行采集，并通过数据监测平台的统一填报系 统进行及时报送，报送信息再按照区县、州市的层级汇总上报, 最终形成一个统一的农业信息数据监测网络。监测点的建设是构建监测网络的根基，要选择具备代表性监 测品种，合理布局监测网点，选择有代表性的监测点，规范信息填报程序，确定监测频次、监测颗粒度、填报时间和报告周期。为监测数据平台提供完整、全面、准确和及时的数据来源。监测网络的建设要与国家、省、市各级的监测体系与监测项 目需求相结合，与国家信息监测的政策措施相匹配，科学合理的 设置监测指标及监测点，做到统一采集，多级使用，防止监测点 重复浪费建设，实现互为补充相互促进。监测网络的建设要坚持数据流、业务流、价值流等“三流一 体”，完善监测体系，是数据在各级监测点，各级主管部门，农 业大数据平台及各级数字农业应用之间相互衔接流动。同时，通 过“资金+工程”以及信息反响共享等业务和价值的反哺，使监 测点能共享监测体系的价值，将监测成果转化为经济效益，形成 监测网络持久稳定的结构。3. 3数据采集数据采集是实现数据从现实世界映射到数字化世界的基本 途径，数据采集应该遵循开放采集、统一管理的原那么，在实现尽 可能多的数据源汇聚的同时，通过统一的数据治理实现数据管理 的高质量和数据应用的高效益。因此，数据标准和高效便利的数 字化数据采集工具是数据采集工作的两个核心。制定统一的数据采集与处理标准，根据运行实际情况，总结 经验，探索规律，不断完善，形成体系化的数据采集标准，为数 据采集与处理工作规范化、标准化提供依据。