基于DOM树和混合文本密度的网页信息提取方法研究.pdf

信息与电脑计算机工程应用技术Information&Computer基于DOM树和混合文本密度的网页信息提取方法研究2023年第10 期魏建兵（甘肃林业职业技术学院，甘肃天水摘要：在网页信息提取领域，文档对象模型（DocumentObject Model，D O M）树和混合文本密度是两个重要的概念。文章提出一种基于DOM树和混合文本密度的网页信息提取方法。首先，利用DOM树结构分析网页的标签层次结构，确定每个标签的重要性；其次，根据混合文本密度计算每个标签中包含有用信息的概率并且提取重要信息；最后，进行实验分析。实验结果表明，该方法能够有效提取网页中的有用信息。关键词：DOM树；混合文本密度；信息提取中图分类号：TP391.41文献标识码：AResearch on Web Page Information Extraction Method Based on DOM Tree and741020)文章编号：10 0 3-97 6 7（2 0 2 3）10-0 52-0 3Mixed Text DensityWEI Jianbing(Gansu Forestry Polytechnic,Tianshui Gansu 741020,China)Abstract:In the field of web page information extraction,Document Object Model(DOM)tree and mixed text densityare two important concepts.The article proposes a web page information extraction method based on DOM tree and mixedtext density.Firstly,use the DOM tree structure to analyze the hierarchical structure of web pages tags and determine theimportance of each tag;Secondly,calculate the probability of containing useful information in each label based on the mixedtext density and extract important information;Finally,conduct experimental analysis.The experimental results show that thismethod can effectively extract useful information from web pages.Keywords:DOM tree;mixed text density;information extraction0引言目前，信息提取技术已广泛应用于各个领域。信息提取是从无序的源数据中获取所需要的信息并且以结构化形式存储的过程。随着计算机技术的不断发展，有必要设计一个有效的网页信息提取方法。1网页信息提取技术1.1信息提取流程网页信息提取是一种自动获取互联网数据的技术，具体流程如下。第一，确定目标网站。选择需要获取数据的目标网站，并了解其网站结构和网页设计。第收稿日期：2 0 2 3-0 3-0 9基金项目：甘肃省高校大学生就业创业能力提升工程项目“电子信息类专业赛创、思创、专创、产教四元融合多元对接就业平台构建与实践”（项目编号：GS-2023-56）。作者简介：魏建兵（197 9一），男，甘肃天水人，硕士研究生，副教授。研究方向：大数据。二，分析网页结构。分析目标网站的超文本标记语言（Hyper Text Markup Language，H T M L）代码，确定需要提取的数据的标签和属性。第三，确定提取策略。根据目标网站的网页结构，确定网页信息的提取策略，可以选择使用正则表达式、XPath或层叠样式表（CascadingStyle Sheets，C SS）选择器等工具来提取数据。第四，编写爬虫程序。根据提取策略，使用Python、Ja v a 或Ruby等编程语言编写爬虫程序。爬虫程序需要模拟浏览器的行为，包括请求网页、解析网页、获取数据等操作。第五，存储数据。将提取的数据存储52信息与电脑2023年第10 期Information&Computer计算机工程应用技术在本地文件或数据库中，可以使用逗号分隔值（CommaSeparated Values，C SV）、JS 对象简谱（JavaScriptObjectNotation，JSO N）或可扩展标记语言（ExtensibleMarkup Language，XM L）等格式存储。1.2基于DOM树的信息提取方式基于DOM树的信息提取是指利用HTML文档的结构关系，通过遍历DOM树的节点来提取所需的数据。通常使用解析器库（如BeautifulSoup和Ixml）来解析HTML代码，获取标记和属性，并根据特定的选择器或XPath表达式从DOM树中提取数据。这种方法比基于自然语言的方法更稳定，但需要一定的编程技能。2基于DOM树和混合文本密度的网页信息提取方法2.1实验流程基于DOM树和混合文本密度的网页信息提取方法实验流程如下：首先获取网页信息，其次对网页使用DOM树进行分割，计算各部分的文本密度，最后根据相应的阈值删除噪声信息，从而提取网页信息。2.2DOM 树划分DOM树是网页中重要的数据结构，它表示HTML或XML文档的层次结构，提供了一种方便的方式来访问和修改文档的内容和结构。DOM树的结构非常类似于树形结构，其中包含了文档的所有元素，这些元素包括HTML标签、文本内容、属性等 2 。DOM树是一种应用程序接口（ApplicationProgrammingInterface，A PI），可以被各种编程语言使用，如JavaScript、Py t h o n、Ja v a 等。DOM提供了一系列接口，用于操作文档中的元素、属性和文本等内容，以及响应用户的交互事件。例如，可以使用DOM接口进行选取文档中的元素、修改元素的属性和样式、添加和删除元素等操作。DOM接口中的核心对象是Document对象，它表示整个文档的根节点。使用Document对象，可以访问Document根元素元素元素文本：网页标题和操作整个文档的内容和结构。例如，通过document.getElementByldo方法获取文档中的元素，使用document.createElementO方法创建新的元素节点，使用document.createTextNodeO方法创建文本节点。DOM树的结构如图1所示。DOM树共包含以下节点。（1)文档节点(DocumentNode）。D O M 树的根节点，表示整个文档，只有一个文档节点。（2）元素节点（ElementNode）。元素节点表示HTML文档中的元素标签，包含标签名、属性和子元素等信息。（3）属性节点（AttributeNode）。属性节点表示HTML文档中元素的属性，如class、i d、h r e f 等。属性节点属于元素节点，不能单独存在。（4）文本节点（TextNode）。文本节点表示HTML文档中的文本内容，包括元素中的文本、注释和空格等。DOM树的结构非常灵活，可以动态地添加、删除和修改节点。这种灵活性使得DOM树成为一种非常有用的工具，可以应用于网页信息提取、网页自动化测试、前端开发等领域。同时，由于DOM树的结构复杂、嵌套层次深，它也会对网页的加载和染性能产生一定的影响。2.3混合文本密度去噪混合文本密度方法是一种用于提取网页正文的算法，它通过计算网页中的文本密度来确定哪些内容是正文，哪些是噪音。这种方法可以在处理包含大量噪音的网页时取得很好的效果。文本字符长度如图2 所示，正文部分的字符密度往往较大，而其余部分的密度相对较小。混合文本密度方法的核心思想是将网页划分成多个区块，然后分别计算每个区块中的文本密度，并选择密度最大的区块作为网页的正文内容。具体步骤如下。第一，进行数据预处理，去除网页中的一些无用的标签和噪音，如广告、导航栏、页脚等，元素元素元素文本：文本标题文本：超链接图1DOM树的结构属性53一信息与电脑计算机工程应用技术Information&Computer160140120100806040标题2001 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58 61 64 67 70 73 76 79 82 85 88 91 94 97只保留主体内容。第二，进行区块划分，将网页划分成多个区块，每个区块包含若干个连续的文本块和非文本块，如图片、视频等。第三，计算文本密度，对于每个区块，计算其中文本的密度。第四，选择密度最大的区块作为网页的正文内容，同时可以加人一些启发式规则来调整结果，如限制正文长度、过滤一些非常短的区块等。2.4信息提取实验结果为了对提出的方法进行实验验证，使用Freep、数据集CETBD的准确率Freep98.23BBC90.14Reuters87.12从表1可以看出，提出的方法除了在Freep数据集中的准确率略低于CETBD，在另外两个数据集中的准确率均高于其他3种方法。因此，提出的方法有很好的网页信息提取能力。3结语为有效提取网页中的有用信息，文章提出一个基于DOM树和混合文本密度的网页信息提取方法。实验结果表明，该方法具有较高的应用价值。参考文献1邹维.基于领域网站的特征信息提取关键技术研2023年第10 期正文部分超链接文本节点序号图2 文本字符长度示意图BBC和Reuters新闻数据集进行实验，并且从每个新闻网站中选取30 0 条新闻用于实验。此外，为了验证该方法的有效性，与基于文本块密度特征的网页正文抽取算法（Content Extraction Text Block Density，C ET BD）、基于文本密度的高效普遍的网页核心内容提取算法（C o n t e n t Ex t r a c t i o n v i a T e x t D e n s i t y，C ET D）和个性化页面排名（PersonalizedPageRank，PPR）进行对比分析 3-。对比实验结果如表1 所示。表1不同算法在数据集上的准确率对比CETD的准确率75.8563.3454.23PPR的准确率86.5376.4364.34究 D.德阳：中国民用航空飞行学院,2 0 2 1:2 7.2江如茜.基于DOM树的网页正文信息抽取的研究与实现 D.武汉：中南民族大学,2 0 19:34.3刘鹏程.结合块密度和标签路径特征的网页正文抽取方法研究 D.合肥：合肥工业大学,2 0 17:52.4SUN F,SONG D,LIAO L.DOM based content extractionvia text densityCJ/Proceeding of International AcmSigir Conference on Research&Development inInformation Retrieval,2011:245.5吴共庆，胡骏，李莉，等.基于标签路径特征融合的在线Web新闻内容抽取 .软件学报,2 0 16,2 7(3):7 14-7 35.提出方法的准确率98.2095.9293.13一54