基于大数据技术的猕猴桃价格预测研究.pdf

2023 年第 6 期98科技、经济、市场经济研究基于大数据技术的猕猴桃价格预测研究 张 笑 （杨凌职业技术学院，陕西 咸阳 712000）摘 要：随着社会经济的快速发展，作为最受欢迎的水果之一，猕猴桃价格变化对市场经济具有重要的影响。文章提出了一种基于大数据技术的猕猴桃价格预测研究方法，该方法应用大数据技术，以收集、清洗、分析和预测猕猴桃价格为目标，提高猕猴桃价格预测的准确性。文章收集了近几年猕猴桃价格的历史数据，并对数据进行清洗和预处理，提取有用的信息，建立猕猴桃价格模型，并对未来的猕猴桃价格进行预测。实验结果表明，本研究提出的方法可以有效地预测猕猴桃的价格。关键词：价格预测；猕猴桃；大数据技术 0 引言随着社会的发展，大数据技术的应用越来越广泛，在各行各业的应用也越来越多。大数据技术的应用可以帮助企业更好地掌握市场信息，作出更高效、更精准的商业决策，提高企业的竞争力。猕猴桃作为一种比较受欢迎的水果之一，其市场需求越来越大。同时，由于受到生长环境和季节性的影响，猕猴桃的价格也存在较大的波动性。猕猴桃价格的变化给生产商和消费者带来了很大的风险和不确定性。因此，如何准确预测猕猴桃价格的变化趋势以规避风险，是目前猕猴桃市场研究中的重点和难点。以猕猴桃价格预测为研究对象，介绍了大数据技术在猕猴桃价格预测中的应用情况，并进行了数据、清洗、分析，以及模型的构建，最终预测未来猕猴桃价格的变化趋势。1 国内外研究现状大数据技术在农业上的应用带动了农业的发展。农产品中水果价格市场变化较为频繁，其产业的健康发展逐渐成为人们关注的焦点。在农产品价格预测研究方面，国内外学者采用不同的数学模型和算法开展深入的研究和相关的实例验证。国外学者Moore通过建立回归模型，较为准确地预测了农产品的价格和产量。国内有关农产品市场价格变化的研究非常多，苏照军设计了一种基于组合模型的农产品物价预测算法，进一步提高了价格预测的准确率，算法也更加稳定。刘斌等提出了基于分布式神经网络的苹果价格预测方法，通过构建蕴含价格波动规律的分布式神经网络模型，实现了对苹果市场价格的短期预测。王森培基于灰色系统理论，构建了灰色预测模型，对猕猴桃价格的变化进行分析，并预测了未来两年猕猴桃价格变化趋势。王桂红等使用泛化能力较强的门控循环单元神经网络构建价格预测模型，提高了价格预测的准确率和效率。总体来看，我国在农产品价格预测方面的研究方法多样，但对猕猴桃的价格预测研究较少。在影响猕猴桃价格因素复杂化、可获取信息不完整的前提下，应用大数据技术实时捕捉消费需求，跟踪市场变化，能更适宜地预测猕猴桃价格的变化趋势。2 相关技术基于大数据技术的猕猴桃价格预测研究的流程见图1，涉及的相关技术包括使用网络爬虫进行数据采集、数据预处理、数据分析、预测模型的构建。请求网页数据预处理数据分析保存数据确定URL异常处理根据返回数据解析网页数据建模预测数据是否请求成功解析是否成功yesyesno图1 猕猴桃价格预测研究流程图基金项目：杨凌职业技术学院2021年科技创新项目“基于大数据技术的猕猴桃价格预测研究”（课题编号：ZK21-64）。科技、经济、市场2023 年第 6 期99经济研究2.1 数据采集在数据分析中，数据是关键，因此数据的采集十分重要。大数据时代，根据信息公示原则，会定期在网上公布一些相关的农产品信息，可以通过网站数据进行分析。全国农产品商务信息公共服务、中国农业大数据、布瑞克农业数据等网站会提供相关的农产品价格信息。借助网络爬虫技术采集猕猴桃价格、日期等相关信息作为数据源，包括网上公布的猕猴桃的最高价格、最低价格、平均价格、猕猴桃品种等信息。借助网络爬虫技术采集猕猴桃价格数据的步骤如下：首先确定要爬取的url，接着使用request库获取网页内容，然后使用beautifulsoup库解析网页内容，最后获取表格中的数据，如平均价、最低价、最高价、发布日期等。2.2 数据预处理数据预处理是指在从数据中获取信息之前，为了使原始数据达到可以获取信息的标准，对数据进行集成、变换、清洗。要想使用网络爬虫技术从爬取的新发地市场猕猴桃数据中获取有用的信息，必须对数据进行预处理，去除数据中的噪声和异常值，保证数据的准确性和可靠性。数据预处理的基本方法如下：一是数据清洗。数据清洗是指剔除采集到的原始猕猴桃数据中的重复数据，处理异常数据，补齐缺失数据，并对原始数据进行标准化操作的过程，其目的在于提高数据质量。数据清洗是指将通过网络爬虫技术获取的原始数据设定在合理的取值范围，发现其中存在的不合理且不在取值范围的数据，然后检查数据序列中存在的缺失值、无效值以及不合理值。可以使用均值、中位数代替异常值，若问题数据非常少且不会影响后续数据分析、预测模型的构建，则可以直接删除问题数据。二是数据集成。数据集成是指解决数据冲突问题的过程，主要将分散在若干数据源中的数据通过一定的思维逻辑或物理逻辑集成到一个统一的数据集合中，并且能够处理数值不一致或者格式不一致的数据。三是数据变换。数据变换是指对原始数据进行简单函数变换、规范化、连续属性离散化等操作，使之满足统计分析或者构建模型的需要，以便后续直接使用。四是数据规约。数据规约是指在保持原始数据完整性的基础上，在分析数据和需求之后，进行属性规约和数值规约操作，使规约后的数据能够被用于构建模型或者数据分析，而且保证得到的结果与规约前的数据结果基本不存在差异。2.3 数据分析在数据预处理完成后，需要分析猕猴桃的价格数据，以提取有价值的信息，并进行深入分析，从而获得有效的结论。数据分析是指使用不同的统计分析方法或算法，从大量未经过处理的原始数据中找到需要的信息，并深入地研究这些数据的过程7。数据分析主要涉及6个环节，分别为可视化分析、数据挖掘算法、预测性分析能力、语义引擎、数据质量和数据管理、数据存储和数据仓库。2.4 预测模型的构建通过分析原始数据，找出背后数据的规律、特点，建立数据预测模型。常见的预测模型包括线性回归模型、灰色预测模型、BP神经网络预测模型、组合预测模型等。3 实证分析由于不同品种的猕猴桃价格不同，本研究使用网络爬虫技术爬取北京新发地市场网站2021年7月至2023年2月的海沃德、徐香和翠香三个品种的猕猴桃价格数据，并以此作为研究对象。为了保证所获取的猕猴桃价格数据的质量，对数据进行预处理，去除异常值，处理缺失值，然后进行特征选择和特征缩放，以使数据符合线性回归模型的假设。针对不同品种的猕猴桃，截取不同日期的一段连续数据构建线性回归模型，并对猕猴桃价格进行多维度分析，预测猕猴桃价格。为了验证实验结果的有效性，针对海沃德和徐香两种品种的猕猴桃，选取2021年10月到2022年5月的数据，预测两种品种的猕猴桃在2022年6月的价格。然后选取翠香2022年8月到2023年1月翠香猕猴桃的价格数据，预测其在2023年2月的价格。不同品种预测的价格如图2所示。根据实验分析，本研究方法适应于不同品种在不同日期的猕猴桃价格预测，并且预测的价格准确度较高。4 结论本研究应用大数据技术对猕猴桃价格进行了预测研究。通过网络爬虫技术采集北京新发地市场的猕猴桃价格数据，然后分析了所收集的市场数据，最后构建线性回归模型，实现了对未来猕猴桃价格2023 年第 6 期100科技、经济、市场经济研究的准确预测。该模型具有较高的预测准确率和稳定性，可以为猕猴桃价格的决策提供有价值的参考。未来，将进一步完善模型的数据采集和特征提取方法，进一步提高预测的精度和效率，为猕猴桃生产商和消费者提供更好的决策参考，促进猕猴桃市场的稳定发展。5 展望首先可以采用更多的预测模型以提高预测的准确性和鲁棒性。其次可以引入更多的因素如气候因素和交通因素等，进一步完善价格预测模型。最后可以探索更多的大数据技术和人工智能算法，如深度学习和强化学习等，以进一步提高猕猴桃价格预测的精度和效率。最后，还可以探索猕猴桃价格预测在实际生产中的应用情况。例如，可以将预测结果应用于农业生产和销售决策，以提高生产效益和市场竞争力；还可以将猕猴桃价格预测与供应链管理、物流管理等相关领域相结合，以形成更加智能化、高效的生产和销售模式。总之，基于大数据技术的猕猴桃价格预测是一个重要的研究领域，在未来的研究中，需要不断探索和创新，以进一步提高预测的精度和效率，为猕猴桃产业的发展和农业的可持续发展做出贡献。参考文献：1 苏照军.基于组合模型的农产品物价预测系统设计与实现 D.沈阳:中国科学院大学(中国科学院沈阳计算技术研究所),2019.2 刘斌,何进荣,李远成,等.基于分布式神经网络的苹果价格预测方法 J.计算机应用,2020,40(2):369-374.3 王森培,李晓,赵剑,等.基于灰色预测模型的猕猴桃价格分析与预测 J.农业科技管理,2021,40(2):67-71.4 王桂红,潘栋,刘向锋.基于门控循环单元网络的农产品价格预测模型构建 J.沈阳师范大学学报(自然科学版),2022,40(5):451-456.5 鲍婷.基于并行FP-Growth算法的业务支撑网告警关联规则挖掘 D.南京:南京邮电大学,2015.6 刘绍清,黄章树,黄剑辉.数据挖掘商业应用平台的数据预处理管理 J.重庆工商大学学报(自然科学版),2006(5):453-456.7 张小允.我国小杂粮价格波动与预测研究 D.北京:中国农业科学院,2019.8 高长征,李东伟,王秀娜等.利用智能机器学习方法对区域碳排放权交易价格预测研究基于湖北碳市场数据的分析 J.价格理论与实践,2022,42(4):89-93,205.9 王新武,靳佩芸.基于集合经验模态分解和自回归神经网络的陇东农产品价格预测方法 J.兰州工业学院学报,2022,29(4):85-88.10 沈俊鑫,赵雪杉.基于Stacking多算法融合模型的数据资源定价方法训练流程如下 J.情报理论与实践,2023,46(1):179-186.2021-102.02.53.03.54.04.55.02021-11 2021-12海沃德猕猴桃价格预测价格时间2022-01 2022-02 2022-03 2022-04 2022-05 2022-06图2 不同品种猕猴桃价格预测2021-113.03.54.04.55.05.56.02021-12徐香猕猴桃价格预测价格时间2022-012022-02 2022-032022-042022-052022-062022-082022-092022-102022-112022-122023-012023-027.47.27.06.86.6徐香猕猴桃价格预测价格时间