网络安全分析中的大数据技术应用.docx

网络安全分析中的大数据技术应用 刁其龙【摘 要】网络安全分析对数据信息的存储、传输数据等工作的安全性、可靠性、高效性会产生严重影响，因此在实际的数据处理工作中，网络安全分析工作必须要做到最好。本文主要阐述了如何将大数据技术合理有效地运用到网络安全分析工作中，希望能够在网络安全分析工作中发挥一点作用，同时希望与业界内的研究者展开交流。【关键词】网络安全;大数据;数据包;大数据压缩引言随着数字时代的来临，网络已经渗透到社会生产生活的各个方面，在带来巨大便利的同时，网络安全也成为人们必须重视和面对的一个问题。在智慧校园网络建设中，做好网络安全分析工作至关重要，利用大数据技术可以为网络安全分析提供全面、准确的数据资料，对于构建智慧校园网络安全防护体系具有积极意义。1大数据时代的特点大数据时代，数据增长速度非常快，呈现爆炸式增长，其中任何微小，不起眼的数据都可能产生难以估量的价值。大数据的关键特点是“大”，已经过去的MB和GB单位，提升到了TB、PB甚至是EB单位，对数据的存储空间提出了更高的要求。在信息技术和网络技术飞速发送在的背景下，各项数据的增长速度日益加快，网络交互是数据形成的主要来源，这也是大数据形式多样化的主要原因之一，大数据好涵盖的类型包括：日志、图片、视频、音频、文字等。现代人的生活生产都离不开互联网，每人每天使用互联网，都会产生大量数据，大数据技术能够从海量数据中，挖掘出有价值大数据，再利用人工智能进行深度分析，便能发现新的知识，从而更好地应用在各行各业，为提升社会经济发展速度，提高生产效率，推进科学研究提供基础数据支撑。2网络安全分析中的大数据技术应用2.1数据集统计DOS等网络攻击是网络攻击的常见形式，由于上述恶意行为，公开的反向分散数据可以用于CAIDA文件，这组数据来自2019年11月，即上述网络攻击发生的时间。UCSD捕获这些通信文件，其中仅包括单向通信，例如传入通信，这些数据集被CAIDA认为包括最常见的DOS攻击和扫描攻击方式。所以这个通用的异常数据是不同的。该数据集的大小为105.96，共有1548726487个数据包，其中90%属于TCP协议，10%属于ICMP协议，1548726407个端口，80个顶级端口。2.2网络安全防范机制在网络安全分析工作中，需要利用大数据技术做好数据管理，充分发挥DNS记录等数据信息的作用，找到数据之间的关联性，准确定位病毒等安全问题出现的主机位置，通过系统化分析完善安全防护工作。以防范DDoS攻击为例，利用大数据技术搜集相关信息进行针对性分析，获得攻击源相关位置信息，通过查询获得准确的攻击信息，对得到的信息进行安全处理和分析，以攻击对象路由器为起点开展访问，完成对所有相关节点的访问分析。针对主机入侵的检测，可以利用大数据技术挖掘历史数据信息，识别攻击源的相关信息，查询日志数据库中信息，与恶意URL库进行比对，确认被入侵主机是否为新的攻击源。2.3数据检索与分析数据的检索是在数据分类存储的基础上进行的，通过对收集存储的信息进行分析，进而加工整合，从而使得使用者通过查找关键词的方式即可查询到所需数据信息。数据信息的分析是指对于收集存储信息的梳理和预判，可以分为对实时数据的分析和历史数据的分析。结合到网络安全问题，对于实时数据的分析可以分辨出当下传播的信息是否属于或可能成为网络安全问题。对于历史数据的分析，多采用分布式存储与计算的方式，对于历史数据进行深入分析，从而对当下或者即将要收集到的信息产生判断的功能，实施网络安全管控。2.4构建基于大数据分析技术的网络安全平台在了解各网络安全设备并构建了网络安全防护系统的基础上，还需要基于大数据分析技术搭建其网络安全平台。构建网络安全平台的分为数据收集层与数据处理层。数据收集层又分为数据信息的分析层与大数据技术信息存储层，而数据处理层又分为数据挖掘层、分析层以及展示层。在这些层面内能够对所得到用户各式各样的数据信息展开逐一分类，以方便对这海量数据的量化存储。至于展示层就是通过大数据分析技术对数据进行特定的检索，并将其可视化，最后将安全规范数据多维度的空间模型来呈现网络的安全性。基于大数据分析技术网络安全平台的构建在运行期间通常会采用Hive的方式来统计和分析所得到的海量数据，通过分析、检索得到的数据可存储在HDFS内。对于数据挖掘层而言，可采取基于Hadoop技术的机械化数据挖掘技术（对于海量的静态数据而言，Hadoop技术对数据的处理速度要远远大于Spack技术），对于海量数据进行深度挖掘与整理，并且能够按照数据分析所引用的事件流来进行特殊化分析工作。在最后可以采用CPE技术来对平台内的不同类型、不同时间的数据加以分析，并且能够较好帮助建设关系库，从而更好实现平台对数据处理的整体性，以保障网络环境的安全与防范。2.5加大IPv4/IPv6网络数据包情报分析技术的应用力度IPv4/IPv6网络数据包情报分析技术可以从大量数据流中快速筛选指定特征的数据包，再通过PPM概率预测算法或者模式匹配算法，就可以快速提取出数据中存在的安全隐患，再利用GPU硬件对数据进行处理，此种技术能够有效防范“棱镜门”窥探。计算机在运行过程中，数据在交换过程中，都是按照一定格式和规则运行，这些规格、标准就是网络协议。计算机网络通常分为若干个层次，不同层次有其独特运行协议，为保证促使不同体系的计算机网络能够实现跨平台互联，国际标准化组成提出了OSI模型，有网络分为7个层次，从上而下，分别是应用层、表示层、会话层、运输层、网络层、设计链路层、物理层。IPv4/IPv6网络数据包情报分析主要在TCP/IP模型中实现，在组装数据包时，按照从上到下的顺序，对每层协议进行封装处理，加上相应的协议首部。在解析数据包时，按照从下到上的顺序，将数据包中的各层协议一次剥离，协议首部可以采取固定的长度，也可以包含一個协议长度的字段，用以表示目前协议的长度。同时在根据协议长度就可以确定目前各层协议的结束为止和上一层协议的开始位置。IPv4/IPv6网络数据包情报分析技术在网络安全分析中应用时，在首部通常还会包含一个协议类型字段，用以标识上一层协议的使用类型，再通过分析目前首部长度和上层协议的种类，就可以实现下层到上层依次解析各层协议首部。结语大数据技术的应用逐渐深入到网络空间安全项目研究进程之中，改善了传统网络安全漏洞检测方法存在的缺点，针对漏洞行为分析进行了改进，并通过实验验证结果可知，该技术有效提高了漏洞检出效率。尽管大数据技术在信息安全检测中的应用前景很好，但是要实现大数据的真正潜力，还需要解决一些实际问题。对于异常检测，增加多个数据源来协调异常的发现。借助已构建的基于大数据分析Hadoop检测框架，未来异常检测算法的设计应考虑融合大多数数据源。尽管海量数据极大地改变了网络检测安全技术，但由于海量数据并非万能，因此安全研究人员必须不断探索新颖攻击模式，以此为基础，继续优化网络安全分析技术。参考文献：1冯贵兰，李正楠，周文刚.大数据分析技术在网络领域中的研究综述J.计算机科学，2019，46（6）：1-20.2张蕾，崔勇，刘静，等.机器学习在网络空间安全研究中的应用J.计算机学报，2018，33（9）：1943-1975.（作者身份证号码：371402198806021915） -全文完-