计算机软件技术在大数据时代的应用探讨.pdf

基金项目院安徽省质量工程项目：“新工科”背景下数据科学与大数据技术专业人才培养模式研究与探索（2022sx154）。作者简介院汪贵生（1973-），男，安徽枞阳人，硕士，副教授，研究方向：数据挖掘。收稿日期院2023-01-23计算机软件技术在大数据时代的应用探讨汪贵生铜陵学院 数学与计算机学院，安徽铜陵244061摘要：计算机软件技术是网络信息时代重要的技术载体，涵盖了 Linux 操作系统、各种类型的数据库安装及操作技术、程序编码技术及系统架构技术等。基于计算机软件技术在大数据时代的技术特点与应用趋势，提出数据信息实时处理软件设计、分布式计算网络平台、数据信息安全加密与保护、云计算技术应用与技术优化等计算机软件技术在大数据时代的具体应用策略。关键词：计算机；软件技术；大数据时代；应用中图分类号：TP311.5；TP311.13文献标识码：A文章编号：2095-7734（2023）03-0040-03计算机软件技术的发展普及，为未来技术创新发展创造了有利条件。大数据时代的技术应用发展，必须基于计算机软件技术应用做好内容分析，明确大数据时代对于计算机软件技术的应用需求及核心技术特点，充分结合计算机软件技术的应用优势，提升相关技术开发及技术创新能力。1 计算机软件技术在大数据时代的技术特点1.1 抽象性针对计算机软件程序的开发，要结合数据建模、大数据分析、云计算及人工智能等技术内容进行技术优化，并通过对不同代码的修改及使用，提升软件技术应用的灵活性，使其能满足多方面的技术应用需求。计算机软件技术的应用，不仅要考虑不同技术内容的技术优势及技术特点，同时，也要针对大数据时代数据信息系统高负载使用环境，做好对系统、程序、软件及设备的维护管理，保证软件系统应用的稳定性。随着数据安全加密及数据隐私安全问题逐渐成为大众关注的焦点，加强数据安全加密及数据端系统安全功能优化，将是计算机软件技术在大数据时代的核心应用需求之一。所以，计算机软件技术在大数据时代的应用，符合软件功能设计的抽象性特点，对于更好地完善技术应用体系及加强技术优化、技术开发有着重要的意义。1.2 复杂性系统软件功能的多元化需求导致系统软件的程序结构愈发复杂。计算机软件技术在大数据时代的应用，必须结合各类技术、系统及软件程序设计要求，做好对复杂结构的有效优化，使其能为大数据技术应用提供多方面支持。随着技术开发的进一步深入，未来计算机软件技术将在系统设计方面加入更多的内在元素。为更好保障系统及软件的稳定运行，计算机软件技术的应用必须要在多个不同框架内利用大数据的分布式系统，为软件技术优化提供支持。因此，内容、结构及功能的复杂性是计算机软件技术在大数据时代应用的主要特点之一，这直接关乎大数据技术应用的质量与时效性。2 计算机软件技术在大数据时代的应用趋势2.1 数据挖掘与人工智能学习大数据时代的数据吞吐量相对较大，数据信息挖掘与人工智能学习能基于数据整合、数据优化及数据分析为技术人员提供多种信息内容参考。从计算机软件的技术特点来说，软件系统不具备智能化管理的内在逻辑，软件运行主要基于程序指令进行运算，一旦外部环境及内部条件发生变化，容易产2023 年 6 月普洱学院学报Jun.2023第 39 卷第 3 期Journal of Puer UniversityVol.39No.340生软件程序指令冲突，从而造成程序运行错误及数据信息错误问题。大数据时代的人工智能技术应用，则能为计算机软件技术应用提供智能决策知识，使其能结合数据挖掘完善大数据的技术应用体系。所以，随着计算机软件技术的进一步发展，将软件技术的各项内容加入数据挖掘及人工智能学习，则成为未来技术发展的必然趋势。2.2 数据可视化与人机交互大数据时代的数据可视化管理及技术数据模型的构建，为技术人员提供技术应用支持。大数据技术应用可以通过计算机软件程序优化，将独立的数据模块进行分割，并根据数据信息的使用需求进行数据内容的归类。同时，按照大数据逻辑算法，建立三维立体的数据模型，帮助技术人员直观地了解部分数据信息。数据可视化将是计算机软件技术在大数据时代应用发展的必然趋势，对于提升大数据技术应用效率有着推进作用。人机交互是后信息时代大数据技术应用的主要优势。人机交互能实现有效的信息数据管理互动，使计算机设备、云计算服务器终端等设备，能基于人工智能技术的应用做好数据信息管理，从而提升数据信息管理的安全性及信息内容的完整性，解决数据滥用及数据泄露的问题，为未来大数据技术的应用发展夯实基础。3 计算机软件技术在大数据时代的应用模型分析本次计算机软件技术应用模型分析主要采用Spark 运行框架进行设计，并将服务功能集成至智能移动设备终端。模型的第一部分通过导入pyspark 库，编 入 程 序“frompysparkimportSparkContext”，而 后 在 第 二 次 设 计 方 面 创 建SparkContext 对象，指定应用名称 sc=SparkContext（appName=BigDataApp），明确主体框架。data=sc.textFile（data.txt）的植入主要负责数据信息读取。为更好地应用计算机软件技术进行数据信息内容整合，后续设计加入“nums=data.map（lambda x:int（x）”进行数据信息转化，将其采用能读取的数据语言进行优化。由于部分数据信息存在内容差异，所以，需要在数据处理阶段加入“average=nums.mean（x）”计算数据的平均数值。最终，用户可以根据数据计算结果，针对数据信息内容进行获取，数据结果的检索与读取将由“print（The average is:,average）”进行替换。在计算机软件程序的最后部分，可以加入“sc.stop（x）”关闭软件程序。以上模型仅是简单的计算机软件技术在大数据系统中的应用模型。相比于传统的计算机软件技术应用，大数据时代的软件设计将其分为导入pyspark 库、创建 SparkContext 对象，指定应用名称、读取数据文件、将数据转换为数字、计算平均值、输出结果及关闭 SparkContext 对象等多个部分进行系统程序衔接。从模板设计分析，该程序模板采用Spark 框架进行大数据处理，读取数据文件与数据信息合并均可用于数字转换与平均值计 算。SparkContext 程序管理对象，能针对数据资源分配进行优化，并调整数据信息计算的优先级。RDD 处理数据的应用与 Spark 核心数据结构的设计，使其具备在分布式系统中使用的基本条件，数据信息可以在不同的节点进行计算及处理。另外，程序注释应编辑为：第 1 行，导入 pyspark 库，pyspark 是Apache Spark 的 Python API。第 4 行，创 建SparkContext 对象，指定应用程序名称。第 7 行，读取数据文件，数据文件名为“data.txt”。第 10 行，将数据转换为数字，使用 map（x）函数对数据进行映射操作。第 13 行，计算平均值，使用 mean（x）函数对数字进行平均值计算。第 16 行，输出结果，使用 print（x）函数将结果打印到控制台。第 19 行，关闭SparkContext 对象，释放资源。注释信息可用于还原软件程序框架，便于更好地理解软件程序设计。4 基于计算机软件技术在大数据时代的应用策略4.1 数据信息实时处理软件设计保证数据信息处理的及时性是大数据技术优势的特点之一，也是计算机软件技术在大数据时代的主要应用策略。数据信息的实时处理是指在数据信息产生的过程中及数据内容挖掘的同时，实现对数据信息内容的整理与归类。根据数据信息实用价值、适用条件及使用需求的不同，进行数据信息内容的管理及数据优化，将有价值的信息内容进行数据存储。所以，计算机软件技术的应用，应基于对程序的设计与优化进行功能拓展，将数据信息实时处理设计概念加入大数据平台，通过数据服务器对不汪贵生：计算机软件技术在大数据时代的应用探讨41同数据信息内容的整理，为信息检索与查询提供支持。因此，数据信息实时处理软件设计，将有效简化大数据信息计算及信息分析流程，提升数据信息挖掘及数据管理能力，对于更好地完善数据应用体系及提升大数据技术应用有效性具有积极影响。4.2 分布式计算网络平台分布式计算网络平台搭建是大数据时代的前瞻性技术内容，也是大数据技术应用的主要优势之一。分布式计算网络平台设计，能将不同的数据信息内容采用多个分布式平台进行数据信息储存，并基于数据信息归类将数据信息加入内容标签。在数据信息的查阅与检索过程中，使用者可以对数据信息标签的读取，直接通过计算机网络节点进行信息传输，实现对数据信息内容的有效应用。相比于传统的数据信息管理模式，分布式计算网络平台搭建，突破单一计算机设备运算性能、数据读取速度、网络延迟等基础条件限制，使多个不同计算机设备之间能应用计算机软件技术实现数据信息共享及数据链信息传输，充分提升大数据时代信息数据应用与管理的效率。另外，分布式计算网络平台搭建，能解决数据链信息读取高峰期存在的数据通道拥堵问题，降低单一网络节点对于数据信息读取的占用，使系统能根据数据信息使用的优先级，合理配置网络数据传输资源及数据运算剩余资源，实现数据信息的有效互动及数据内容的完整共享。4.3 数据信息安全加密与保护传统数据信息管理模式，由于未能基于计算机软件技术实现管理权限的有效明确及内容限制，使数据信息管理可以通过第三方平台及计算机设备进行使用与调用，同时，由于人为因素、技术条件等基础要素的影响，降低了数据信息管理的安全性。新时期，计算机软件技术在大数据时代的应用，则能通过优化数据管理权限、多模块信息安全加密、限制信息访问条件及数据信息读取身份验证等多种形式进行数据安全管理。未来的计算机软件技术发展，仍要基于数据安全管理体系的建设，为大数据时代信息技术的应用提供支持，有效应用技术开发、技术优化及技术管理限制，实现对数据信息管理安全性的提升，充分降低数据信息安全风险，发挥计算机软件技术在信息安全管理方面的核心优势。除此之外，部分大数据时代的数据信息管理概念的兴起，也对数据信息安全带来积极的影响。4.4 云计算技术应用与技术优化云计算技术是相对单一的技术概念，对于完善大数据技术框架有着积极影响。但从技术特点来看，云计算技术不具备满足大数据技术应用的基础条件，但技术开发可以基于云计算技术概念的应用进行技术内容的拓展。譬如，基于云计算技术搭建云服务平台，为大数据技术的应用提供云端数据存储、云端信息数据管理服务等相关支持。未来的计算机软件技术应用，要以物联网、人工智能技术发展为依托，持续做好对云计算技术的优化，通过拓展云计算的技术服务功能，实现云计算技术的多元化应用，充分提升云计算技术的核心优势，使云计算技术能在计算机软件技术的帮助下，面向更多领域进行技术开发及技术创新，从而提升云计算技术在大数据时代的应用有效性。5 结语综上所述，计算机软件技术在大数据时代的应用，极大地提升了数据信息管理及大数据技术应用服务能力。新时期计算机软件技术的应用，应基于大数据时代的技术条件及技术发展趋势，做好多方面的技术分析与技术探究，充分应用大数据时代的网络资源及信息技术资源，弥补计算机软件技术应用的不足，使计算机软件技术的应用能助力大数据技术的应用发展。参考文献院1潘璐阳,等.基于计算机软件技术 CA-Markov 模型的土地利用变化模拟与预测J.软件,2022,43(10):42-45.2范晰.基于大数据时代计算机软件技术的开发与应用分析J.信息记录材料,2020,21(11):84-85.3涂文婕,等.计算机软件技术与应用课程混合式教学模式实践J.空天预警研究学报,2022,36(03):228-230+234.4郭佳兴.计算机软件技术在大数据时代的应用探讨J.数字技术与应用,2019,37(05):220-221.5刘珈玮.物联网技术在计算机软件开发中的应用J.电子技术与软件工程,2022，(21):53-56.6叶飞,党雪艳,张志峰,王亚丽.计算机软件技术在化学反应工程中的应用进展J.山东化工,2022,51(03):88-90.普洱学院学报42