大数据在计算机软件工程中的应用探讨.pdf

SOFTWARE软 件2023第 44 卷 第 9 期2023 年Vol.44,No.9课题：江苏省高等教育学会专项课题支持项目（2022JDKT128）；江苏省高校哲学社会科学研究专题项目（2022SJSZ0219）；江苏省社科应用研究精品工程高校思想政治教育专项课题项目（23SZB-014）作者简介：马艮娟（1981），女，江苏盐城人，硕士，高级工程师，研究方向：大数据、软件工程；刘梅（1985），女，江苏盐城人，硕士，工程师，研究方向：计算机应用技术。大数据在计算机软件工程中的应用探讨马艮娟 刘梅（南京传媒学院，江苏南京 211172）摘要：本文依照文献对比法和理论分析法对大数据时代计算机软件工程进行了论述，提出了大数据在计算机软件工程中的应用分析，其中包括数据挖掘技术应用、软件大数据汇聚技术、分层技术应用，并展望了大数据在计算机软件工程中的智能化应用，以供参考。关键词：计算机软件工程；大数据技术；信息技术；应用中图分类号：TP391 文献标识码：A DOI：10.3969/j.issn.1003-6970.2023.09.043本文著录格式：马艮娟,刘梅.大数据在计算机软件工程中的应用探讨J.软件,2023,44(09):162-164Application Discussion of Big Data in Computer Software EngineeringMA Genjuan,LIU Mei(Communication University of China Nanjing,Nanjing Jiangsu 211172)【Abstract】：This article discusses computer software engineering in the era of big data using literature comparison and theoretical analysis methods,and proposes the application analysis of big data in computer software engineering,including data mining technology application,software big data aggregation technology,layered technology application.It also looks forward to the intelligent application of big data in computer software engineering,for reference.【Key words】：computer software engineering;big data technology;information technology;application设计研究与应用1 大数据时代计算机软件工程概述大数据时代给软件工程领域带来了新的挑战、新的机遇，同时也扩大了软件工程的内涵与外延性，可以说大数据技术无亦不例外地推动了计算机软件工程的加速变革与发展。一方面，以信息技术为基础的系统层出不穷，其规模之大，速度之快，使得数据资产呈现出指数级的增长。在此大数据管理与应用中则需要使用新型的软件系统（即数据密集型或大数据软件系统）达到支撑效果，由此突出计算机软件工程利用大数据技术的优势，确保发挥大数据技术在计算机软件工程的运用价值，在此还需考虑的是，在分散式软件、资料与部署架构上的折中设计，以及软件框架、设计、工程发展与部署的新需求；另一方面，随着软件资源（例如开源软件）的不断开放和共享，以及大规模的软件复用技术对软件开发资源进行有效的数据挖掘和在线制造具有重要意义，从这一点上来说也会极大地提升了软件产品的质量和效率。2 大数据在计算机软件工程中的应用分析2.1 数据挖掘技术应用2.1.1 根据需求采取特异行设计在计算机软件工程需求设计阶段，可按照软件工程设计标准，制定出一套切实可行的设计方案，并确保软件工程设计可顺应这种方案变化，由此发挥技术优势。而这一点对设计人员自身的专业技术应用也突出了一定的要求，并且为了提升代码抽取的实用效率，设计人员还必须掌握先进的设计方法，并在数据挖掘技术的支持下，对代码重构问题进行深入剖析，由此从整体上提升软件工程代码抽取效率1。2.1.2 确定运算法则在计算机软件工程中，为发挥数据挖掘技术应用价163马艮娟 刘梅：大数据在计算机软件工程中的应用探讨值，需针对数据挖掘技术的需求量进行分析，并保障其可达到最大需求效果，具体如下：（1）在软件编程过程中，必须根据项目开发的实际需求，对已编程的程序进行实时记录，并以此作为标准，对程序代码进行深入分析。（2）数据探勘技术与调试效果。对于软件工程而言，因为其调试过程需要较高的专业水平，其目的是增强软件的安全性、适用性，以满足用户的实际需求，并且按照数据挖掘技术还可完成软件系统调试工作。在此过程中，调试技术人员需遵照行为行业标准规范，结合较为复杂的软件系统，但这在某种程度上会加大调试工作难度，对此合理开展调试工作其实际目的在于分析系统漏洞，并按照定位软件错误信息，正确地运用数据挖掘技术，由此降低系统的调试难度。（3）检测软件工程漏洞。任何软件工程都无法做到没有任何系统漏洞，对此需结合社会调查结果显示要求，明确常见的软件工程系统漏洞，避免因常见软件工程系统漏洞影响到用户经济损失问题。另外，软件系统中的缺陷检测所占的时间一般都在 30%以上，这就使软件系统中的缺陷检测变得越来越重要。主要有以下几个方面：（1）从原始程式码中推断出错误，并侦测到复制粘贴的错误，以及侦测到函数的比对。例如，从原始程式码中推演出错误。首先，要利用频繁项集挖掘算法，找到代码中的频率繁项集，并确定能够满足最小支撑度的程序规则，由此推断程序对规则的顺应程度。一般来说，若其中大多数都符合程序的基本要求，那么所存在的小部分可能为漏洞规则。（2）在软件开发过程中，系统维护阶段非常重要，它需要维护人员对系统的整体结构有全面的认识。一般而言，软件维护的具体工作包括了：对程序的缺陷进行修补、对程序的错误进行纠正、对设计环境进行优化、并根据实际需要增加应用程序。在系统维护期，数据挖掘技术的应用包括：1）对软件进行修改。在软件系统中，对一段代码进行的调整，都会引起一系列相关的反应，而数据挖掘技术则是为了在出现频繁更改的情况下，确定更改的模式；2）实施剖面掘进。具体而言，就是要有目标地对软件进行补足，以进一步增强系统的安全性和稳定性。2.2 软件大数据汇聚技术在软件工程中，大数据技术以分类体系为中心，并由此构建出贯穿数据源、数据存储、数据处理和数据服务的完整链条，在该大数据框架内，可实现对海量软件工程数据采集、分析与应用的全链条管理模式，主要如下：（1）数据源：软件工程在运用大数据技术后，涵盖开发、发布以及应用运维等不同过程、类型以及不同源的数据，其中也包括版本库、代码库、配置文件、软件镜像等。在此基础上，可利用开发相应的爬行程序，对海量的多源异质数据进行实时、增量式的抓取与融合。（2）数据存储：本项目研究目标是实现对大型、异构的软件工程中海量数据的有效存储与存取2。（3）数据处理：以一定的任务和目标为中心，对存储的数据进行按需展开，并对其进行相关的处理，最终构建出完整的软件知识库。例如，利用数据分析与融合技术，对数据进行二次加工与处理；通过对不同数据类型之间的关联和依赖进行分析，并基于图数据库等存储技术，建立软件领域知识图谱。在此基础上，利用数据按需扩展的方式，有效地减少了对存储资源的占用。（4）数据实例：利用丰富的界面和服务，为不同的需求和应用提供相对应的数据服务。在此过程中，对于不同类型的数据以及数据服务器包括项目数据服务；测试目标数据服务；以人为中心数据服务以及以运维为目标的数据服务。在此还需针对网页数据、版本数据以及缺陷数据提出有关的感知、定向采集、多源关联、增量检测等技术，并构建出网络爬虫的数据采集与数据包下载的分布式数据系统，并在此基础上提出一种基于 Web 爬虫的数据采集方法3。2.3 分层技术应用在实际的计算机软件工程以及软件开发过程中为合理发挥分层技术优势，需明确分层技术应用办法，由此提升软件系统完整运行程序，并保障可通过分层技术缩短计算机软件原型，并由此减少计算机软件开发成本，提升实际软件工程开发效率，具体层级与技术应用如下：2.3.1 双层技术由于有了两个层级，因此，双层次结构技术更能体现出其优越性。比如，软件开发，软件开发人员为逐步减少工作完成时间，需保障软件开发均可具备高性能、高产出的要求，所以，软件开发人员必须通过严格的检测，来构建出一套计算机软件开发的系统与体系，以提升工作效率，保障工作质量，并且为了提高计算机软件的性能，必须利用分层技术，以两个层次的结构来推动计算机软件系统的开发和优化4。2.3.2 中间件技术中间件是软件技术发展的一种趋势，它被认为是发展最迅速的开发软件工具，它的出现也是因为市场在全球范围内对中间件的支持，而中间件作为一种新的技术164软 件第 44 卷 第 9 期SOFTWARE和新的经济增长点，正日益受到人们的重视。中间件是介于操作系统和应用程度之间的一种技术。在计算机软件开发中，这项技术可以对数据库、计算机操作系统等进行完善，从而加快计算机软件研发速度，提高计算机软件的效率。同时，该方法还涉及非常复杂的分布式、一体化、异构性等技术，以利于优化软件，提升软件质量5。2.3.3 三层技术二层技术在应用软件开发中出现的局限性较大，通过对计算机软件开发的不断改进，三次技术是以二层技术为基础，经过技术突破，大大提升了数据处理的效率。在二层技术的基础上，建立应用服务器，从而提升了数据信息的稳定性和安全性，提高了用户体验。三层技术通过界面和数据信息，以及与数据之间的相互关联，可以说是将用户的需求数据进行集成，通过软件处理器对数据进行分析与处理，三层技术在对计算机软件开发中发挥了其优势，但是在数据信息化上还需要加强6。3 大数据在计算机软件工程中的应用展望智能化3.1 开发与优化智能化开发服务环境在计算机软件工程开发过程中，大数据技术的应用需达到智能化创新效果，对此应明确开发与优化智能化开发服务环境，并明确软件智能化开发服务环境突破成果，按照软件仓库为中心完成分布式智能化开发工序，在该工序中可通过环境集成技术，构建出软件智能化开发云环境运行体系以及其机构、集成框架等，由此实现高可扩展的智能开发环境集成部署。围绕着软件开发产品和活动的完整数据，设计出智能化开发环境的集成方式与工具，并明确运行环境集成与桌面开发环境集成机制，由此以 EclipseChe 为基础的架构设计和交互技术，以及智能开发工具管理中心，设计和实现了围绕软件项目的版本管理，并以 Trustie 平台为基础，以版本库串联 Trustie 的协同开发环境、Che 在线编程环境以及 DevOps 运行部署环境为基础，实现按需访问和高度可扩展性的智能开发架构。在此基础上，通过插件的方式，将协同开发、在线编程、部署与维护等智能工具与服务进行整合，最终构建出智能化开发运用环境。3.2 更加重视需求、设计、验证等软件工程基本能力建设在深入探索智能化软件工程的开发过程中，特别是在需求分析、设计和验证等关键环节，需明确到大型模型，如 ChatGPT，并不预示着编程的结束。相反，这类模型可能会引领软件工程领域的再一次发展，重点是回归到软件工程的基本技术，如需求分析、详细的需求描述以及软件的验证，这其中包括动态测试与静态分析。尽管这些传统的软件工程技术在大规模模型时代有望再次受到重视，但工程师们仍然面临一个挑战：即如何有效地将这些技术与大数据驱动的方法结合起来。此外，为促进智能化软件工程的持续发展，还需要在需求、设计和测试等环节加强数字化和知识化的基础设施建设7。3.3 探索能有效整合大模型、开发人员以及各种工具能力的智能交互引擎从软件工程设计开发进行分析，为设计出智能交互引擎，需要对如何有效地集成大模型和如何开发软件进行明确的探讨。在产生式软件开发中，大模型的功能与人类的互动、指导能力有着紧密的联系。同时人们的经验在高层决策以及代码审核等过程中也会出现较为明显的作用，对此有系统的、智能的开发流程，并无法完全依靠开发人员自己与大型模型的互动能力。相反，软件工程师应当致力于构建出智慧互动引擎，使其可将大模型、开发者和不同的工具功能进行统一的计划安排8。4 结语综上所述，在计算机软件工程中，为合理发挥大数据技术优势，需明确大数据技术使用类型，以便达到促进软件工程开发与发展的良好效果。同时，结合现阶段实际运用情况可以看出，在发挥大数据利用优势后，可有效提升软件工程建设效率与质量，由此达到改进技术水平，强化专业素质的效果，从而为我国软件工程学的健康发展做出贡献。参考文献1 程帅棋,陈伟.大数据下软件工程技术的运用探讨J.石河子科技,2022(1):20-22.2 石静.软件工程专业云计算与大数据概论教学改革J.科教导刊电子版(中旬),2022(10):129-131.3 孙丽英.基于大数据背景下的软件工程关键技术探析J.长江信息通信,2022,35(4):108-110.4 陈艺丹.分层技术在计算机软件开发中的应用J.电子测试,2016(8X):79-80.5 刘滨,孙中贤,吕梓逸,等.智慧交通互联网态势感知平台研究J.河北科技大学学报,2022,43(6):651-660.6 周丽霞.软件工程方法在计算机软件开发中的应用J.科海故事博览,2022(24):1-3.7 田杨,晏海华.一种基于自动分区的海量科学数据计算框架J.北京航空航天大学学报,2022,48(6):1004-1012.8 崔梦天,龙松林,赵城斌,等.基于量子粒子群混合烟花优化支持向量机的软件缺陷预测研究J.西南民族大学学报(自然科学版),2022,48(6):653-659.