DB37∕T 3432-2018 农业大数据 数据处理基本要求(山东省).pdf

ICS 35.240 L 70 DB37 山东省地方标准 DB 37/T 34322018 农业大数据 数据处理基本要求 Agricultural big dataBasic requirements for data processing 2018 - 10 - 18 发布 2018 - 11 - 18 实施 山东省质量技术监督局 发 布 DB37/T 34322018 I 目 次 前 言 . II 1 范围 . 1 2 规范性引用文件 . 1 3 缩略语 . 1 4 术语和定义 . 1 5 概述 . 1 6 数据采集 . 1 7 数据传输 . 2 8 数据预处理 . 2 9 数据存储 . 2 10 数据分析 . 2 11 可视化展现 . 3 附 录 A （资料性附录） 农业大数据采集领域 . 4 附 录 B （资料性附录） 农业大数据分析场景示例 . 5 DB37/T 34322018 II 前 言 本标准按照GB/T 1.12009给出的规则起草。 本标准由山东省农业厅提出并归口。 本标准起草单位：山东省农业信息中心、山东省标准化研究院。 本标准主要起草人：郑勇、任万明、赵硕、王钧、毛向明、韩雪梅、张媛、郭守辉、逄锦山、史丛丛、刘晓宇。 DB37/T 34322018 1 农业大数据 数据处理基本要求 1 范围 本标准规定了农业大数据处理基本要求，包括数据采集、传输、预处理、存储、分析和可视化展现等环节要求。 本标准适用于山东省农业领域大数据的处理、分析及应用。 2 规范性引用文件 下列文件对于本文件的应用是必不可少的。 凡是注日期的引用文件， 仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 DB37/T 34312018 农业大数据 标准体系 3 缩略语 下列缩略语适用于本文件。 PB：拍字节（Petabyte） 4 术语和定义 DB37/T 34312018界定的术语和定义适用于本文件。 5 概述 农业大数据处理是通过数据采集、传输、预处理、存储、分析、可视化展现等一系列操作，从农业大数据中获取价值信息的过程。 农业大数据处理环节包括但不限于： a) 数据采集： 通过人工或自动方式对农业各领域数据进行采集， 农业大数据的采集领域参见附录A； b) 数据传输：对采集的数据按约定方式进行安全传输； c) 数据预处理：按照预处理操作流程将数据处理为易于存储和分析的规范格式； d) 数据存储：对数据进行存储和管理，实现对各种数据的有效组织； e) 数据分析：对存储数据计算和分析，获取有价值信息和知识； f) 可视化展现：将数据分析结果以直观方式显示给用户，并与用户实现交互。 6 数据采集 农业大数据采集要求包括但不限于： DB37/T 34322018 2 a) 应明确数据采集的目的和用途； b) 应依据数据采集需求确定数据采集范围、选取数据采集方式、约定数据采集周期； c) 应规范数据采集操作流程； d) 应跟踪和记录数据采集过程； e) 应从数据完整性、准确性、一致性等方面控制数据采集质量。 7 数据传输 农业大数据传输要求包括但不限于： a) 应根据需求选取数据传输方式； b) 应明确数据传输周期，按照约定频次传输数据； c) 应满足数据完整性、准确性等可靠性传输要求； d) 应满足数据传输安全性要求。 8 数据预处理 农业大数据预处理要求包括但不限于： a) 应制定数据清洗规则，对缺失数据、格式错误数据、逻辑错误数据等脏数据进行清洗； b) 应将不同来源、格式等数据进行集成； c) 应在数据完整性基础上将数据集归约表示； d) 应将数据格式转换成适用于数据存储和分析的形式； e) 应及时对预处理后的数据质量进行评估。 9 数据存储 农业大数据存储要求包括但不限于： a) 对象存储、过程数据存储、结构数据存储等不同类型的数据存储应满足相对应的存储要求； b) 应满足大数据存储技术的高可靠、高可用、可扩展以及高性能等要求； c) 应满足 PB 数量级以上的数据存储要求； d) 应满足数据一致性、完整性和可用性等存储质量要求； e) 应制定数据存储安全性措施和策略。 10 数据分析 农业大数据分析要求包括但不限于： a) 数据分析目的应符合国家法律法规要求； b) 应满足分析数据完整性、唯一性和有效性等质量要求； c) 应根据分析场景构建高可靠、高有效的分析模型； d) 应根据分析模型选取数据分析方法，常用的数据分析方法包括聚类、分类、关联分析、深度学习等； e) 应从数据分析结果的可用性、准确性等方面进行质量评价。 农业大数据分析场景示例，参见附录 B。 DB37/T 34322018 3 11 可视化展现 农业大数据可视化展现要求包括但不限于： a) 应根据需求对敏感、涉密数据进行脱敏脱密操作； b) 应满足交互式可视化分析要求； c) 应满足可视化展现形式多样化要求； d) 应满足数据实时动态展现要求； e) 应满足数据间关联性突出展现要求； f) 应满足展现内容的清晰、直观、形象等要求。 DB37/T 34322018 4 A A 附 录 A （资料性附录） 农业大数据采集领域 农业大数据采集领域见表A.1。 表A.1 农业大数据采集领域 序号 环节 领域 1 生产 大田种植、设施农业、畜禽养殖、水产养殖等。 2 经营 农业农村电子商务、休闲农业、民宿旅游、农产品期货交易，以及农产品市场追踪和电子监控等。 3 管理 农业行业统计监测、预警防控、指挥调度、农产品质量安全追溯、农村土地确权、农村土地承包经营权流转等。 4 服务 三农信息服务、农业政策法规、行业动态、农业科教、市场价格、农资监管、质量安全、生态环境监管、农产品物流服务等。 DB37/T 34322018 5 B B 附 录 B （资料性附录） 农业大数据分析场景示例 农业大数据分析场景示例见表B.1。 表B.1 农业大数据分析场景示例 序号 环节 分析场景示例 说明 1 生产 大田精准种植 对大田生产环境、生产设施等数据汇聚分析，用于土壤肥力精准监测、精准施肥和精准灌溉等。 2 奶牛精准养殖 对产奶量、运动量、体重、养殖环境等数据采集和建模分析，监控奶牛产奶量是否异常，自动控制分群设备、补料设备及环境控制设备。 3 经营 农产品电子商务 对在农业电子商务交易过程中产生的数据深入挖掘、分析，推动农产品网上商品交易、网上批发、产销对接等业务。 4 农产品市场追踪 对农产品销售价格、销售量、销售需求、消费者购买行为等多种农业大数据要素分析，判断农产品的供需、价格变动以及消费者的购买习惯等。 5 管理 农产品质量安全追溯 对整合的产地环境、产业链管理、仓储加工、检测数据等形成的农产品质量安全溯源数据分析，实现农产品质量安全管理。 6 农业监测预警 对农业灾害与农业生产、流通、市场、消费等数据收集分析，构建预测模型，对全产业链预测预警。 7 服务 农产品物流服务 整合、分析农产品的收购、储存、加工、包装、运输、卸载搬运、配送等各个环节产生的数据，为整个物流管理提供决策支持。 8 生态环境监测与管理 对通过生态环境监测网络监测到的农业生态环境数据分析，判断不同生态环境对农作物生长的影响，同时为生态环境保护决策、管理和执法提供数据支持。 _