大数据在计算机信息处理系统中的应用_邰伟民.pdf

Application 创新应用178 电子技术 第 52 卷 第 5 期（总第 558 期）2023 年 5 月息安全威胁巨大需进一步优化信息安全技术、大数据人才稀缺需落实人才队伍建设、数据价值挖掘难度大需优化算法等方面的挑战，每一项都可会影响计算机信息处理的有效应用与未来发展。从机遇层面看，大数据时代计算机信息处理技术的应用能够深化对数据价值的有效挖掘，并且能够在各个行业、领域得到充分应用，充分发挥技术价值与作用，推动产业发展，为物联网、云计算、人工智能等先进技术的推广应用提供支持。2 基于大数据的计算机信息处理技术信息存储。信息存储是计算机进行信息处理的基础。大数据背景下，由于信息数据规模的大幅增加，信息存储难度明显提升。一方面，大量数据需要进行有效存储；另一方面，大量非结构化数据存储的技术要求较高。而且数据规模的快速扩大，使得不少数据在搜索、管理和分析等应用层面有所不足，有部分数据几乎很少乃至从未被访问。但是从长期角度看，这部分数据依旧具有一定的应用价值。这些数据通常被称作“冷数据”，即不经常访问但又不能删除的数据。冷数据的存储管理是大数据时代计算机信息处理技术应用的要点所在，可以根据实际情况采取合理的措施优化数据存储和管理。其中具有广泛应用价值的方式为选用便宜而可靠的存储介质，如慢速硬盘驱动器、磁带等，既能0 引言计算机信息处理技术就是利用计算机技术对信息进行处理，利用计算机自身运行速度快、可自动处理大量信息、精度高等优势全面提高信息处理水平。现代社会中，计算机信息处理技术被广泛应用，对人们的生活与工作而言带来诸多帮助和便利，为人类社会的进步发展提供了重要支持。1 研究背景大数据与计算机信息处理技术的特点。大数据简单而言就是资料量规模巨大的数据。随着互联网逐步普及并快速发展，大量信息得以生成、传播和应用，这固然为各行各业的应用和发展提供了海量具有价值的数据和信息，但也使得相应的数据信息存储、处理、安全防护等变得愈发困难。大数据时代是一个充满机遇和挑战的时代，对各个行业、领域均造成了明显影响。而计算机信息处理技术作为以信息数据的传输、分析、处理、使用为基础的技术，其已经成为信息化社会中不可或缺的基础技术，在人们日常生活及工作中承担着重要角色。而在大数据时代，计算机信息处理技术的应用及发展也遭遇了新的挑战，同时也面临着更多新的机会。大数据背景下计算机信息处理技术的应用面临着信息存储量过大需优化数据存储技术、海量信息处理要求高需提高信息获取及处理技术质量和效率、信作者简介：邰伟民，许昌职业技术学院，讲师，硕士；研究方向：计算机科学与技术。收稿日期：2022-08-05；修回日期：2023-05-12。摘要：阐述大数据与计算机信息处理技术的特点，基于大数据的计算机信息处理技术，包括信息存储、信息获取及处理、信息安全防护，从而为物联网、云计算、人工智能技术的应用提供支持。关键词：大数据与计算机，信息处理技术，信息存储，信息获取。中图分类号：TP311.52文章编号：1000-0755(2023)05-0178-02文献引用格式：邰伟民，关儒雅.大数据在计算机信息处理系统中的应用J.电子技术,2023,52(05):178-179.大数据在计算机信息处理系统中的应用邰伟民，关儒雅（许昌职业技术学院，河南 461000）Abstract This paper expounds the characteristics of big data and computer information processing technology,and computer information processing technology based on big data,including information storage,information acquisition and processing,and information security protection,so as to provide support for the application of Internet of Things,cloud computing,and artificial intelligence technology.Index Terms big data and computer,information processing technology,information storage,information acquisition.Application of Big Data in Computer Information Processing SystemTAI Weimin,GUAN Ruya(Xuchang Vocational and Technical College,Henan 461000,China.)Application 创新应用电子技术 第 52 卷 第 5 期（总第 558 期）2023 年 5 月 179满足数据存储要求，又能有效降低冷数据存储管理的成本。另外也可采取年度评估冷数据的方式对冷数据的留存情况加强管理，利用数据存储自动化技术将冷数据分配给速度较慢的磁盘驱动器并进行存储，合理运用云技术脱离物理外部设施对冷数据加以存储。大数据时代，数据存储成本不断增加是不容忽视的问题，同时更加复杂的信息化环境也使得数据存储管理难度有所提升，需要优化信息架构并应用合适的方案。应用存储虚拟化手段，能够对多个存储设备的空间进行有效聚合并实现存储空间的灵活部署与分配，从而整合有限的存储空间并提高存储利用率，切实整合异构存储环境以及降低存储成本。而容量拓展技术一般是通过将存储芯片连在一起的方式组成足够的容量，并且包含位拓展、字拓展、字位拓展等多种实现形式。海量数据存储技术是目前解决大数据时代海量数据存储问题的关键技术，其研究发展方向主要包含虚拟存储技术、高性能I/O等，其中虚拟存储技术能够通过虚拟化技术提供虚拟磁盘，从而提高存储利用率、降低成本以及简化存储管理。高性能I/O的研究发展中心为大数据储存系统I/O优化技术，通过优化存储系统架构、优化元数据I/O性能以及优化数据I/O性能的方式，构建基于负载特征的存储系统架构以及新型元数据管理架构，利用元数据搜索、查找及创建技术等对数据I/O的文件级进行分条，实现最小化访问冲突，优化数据读写，拓展缓存容量，调整带宽分配，全方位优化数据存储。信息获取及处理。大数据时代，需要针对不同类型的数据进行获取和处理。其中结构化数据可以视作传统数据类型，其结构往往已经事先定义好，便于存储和管理；非结构化数据则具有不规则、不完整的特性，缺乏统一的数据结构或模型，获取及处理难度较大；半结构化数据则可以通过一定的数据结构进行描述，不过数据内容及结构的混叠导致其结构变化较大，而且数据之间的关系性较弱。大数据时代可通过系统日志、传感器、网络数据以及其他方式进行数据采集与获取，而且需要对获取的数据进行预处理。数据预处理流程一般为先对原始数据进行清洗、变换、归约以及集成处理。而在完成数据预处理之后，则需要对数据进行挖掘与分析，之后将数据加以利用。而且对数据进行利用之后，可对其进行二次处理，之后再次进行挖掘、分析和利用。其中数据清洗指对质量不达标的数据如不完整、含有噪声、不一致、失效的数据加以处理，针对不完整的数据可将缺失值进行删除或者填充，针对噪声数据可通过分箱、聚类、回归、人机交互检测等方法进行处理；针对不一致的数据可基于数据字典、元数据、相关数据函数等进行整理与修复。对数据进行集成，需要建设包含应用文件系统、操作日志、文件管理系统、图形与XML数据库、应用关系数据库等在内的大数据集成系统，从而对大量异构结构数据进行有效集成和处理。在对数据进行集成时需要综合解决数据转换、数据迁移、数据协调更新、非结构化数据与结构化数据的集成、分布式处理等方面的问题，才能保障数据集成的有效性。而对数据进行变换，则需要通过平滑、聚集、泛化、规范化以及属性构造等方式加以处理。对数据进行归约处理，则一般可采取向前选择与向后删除相结合、决策树归纳、离散小波变换DWT、主成分分析PCA、回归和对数线形模型、直方图、抽样、聚类、数据离散化技术等加以处理。信息安全防护。针对大数据时代的全新信息安全风险和问题，必须做好相应的安全防护工作。加强数据存储安全管理，通过差异化存储、分散存储、“数”“密”分离存储等方式增强数据的存储安全，尽可能避免数据存储过程中受到各方面威胁和风险。而加强数据信息访问控制，则能有效避免数据被黑客攻击及利用。通常可通过基于端侧的访问控制、基于数据的访问控制以及基于ABAC的访问控制等，全面加强数据访问控制，通过强有力的权限隔离保障访问权限的有效实施。另外对传统的加密技术、访问控制技术、防火墙技术、入侵检测技术、认证技术等网络安全技术进行优化，结合大数据时代的新特征加以改善，同时深化隐私保护技术、数据加密技术、密钥管理技术、异地备份技术等技术和数据存储的融合，有效保障数据安全。当然数据安全防护除了最基本的技术保障外，还需要通过相关人员的操作、提前做好安全风险评估、加强数据安全意识等方式加强管理，切实提升数据安全防护水平。3 结语大数据时代计算机信息处理技术需要得到有效创新和优化，才能更好地应用于各个领域，同时也能借助大数据技术实现创新和突破，实现可持续、良好发展。准确把握大数据背景下计算机信息处理技术的发展方向，深化技术在实践中的有效应用，积极探索更具可行性的技术应用和创新路径，能够最大程度地发挥技术优势与作用，从而为新时期的计算机信息处理水平提升带来有力支持和保障。参考文献1 王强.大数据时代下的计算机信息处理技术分析J.软件,2022,43(03):112-114.2 毛鹏飞.大数据时代下计算机信息处理技术分析与思考J.西南科技大学学报,2019,34(02):98-101.3 罗田琪.大数据时代背景下计算机信息处理技术的分析J.电子元器件与信息技术,2021,5(01):64-65.