网络信息过滤技术.ppt

网络信息过滤技术网络信息过滤技术组长：刘伟 1221330048组员：史波 1221330053 张旭 1221330056 伍思同 1221330068目录目录基本信息与发展历史 刘伟网络信息过滤技术方法 史波网络信息过滤技术应用 伍思同现状分析及发展趋势 张旭 互联网的飞速发展在给人们的工作、生活、学习等诸多方面带来巨大便利的同时也带来诸如“信息超载”以及“不良信息”和垃圾信息的侵害等问题。信息过滤技术由此产生，并广泛应用到了网络的各种信息处理过程中，对网络信息实用化具有极大的推动作用。网络信息过滤技术采取适当的技术措施，对互联网不良信息进行过滤，既可阻止不良信息对人们的侵害，适应社会对意识形态方面的要求，同时，通过规范用户的上网行为，提高工作效率，合理利用网络资源，减少病毒对网络的侵害，这就是信息过滤技术的根本内涵。网络信息过滤是根据一定的标准运用一定的工具从动态的网络信息流中选取用户需要的信息或剔除用户不需要的信息的方法和过程。网络信息过滤有利于减轻用户的认知压力。它在为用户提供所需要信息的同时，着重剔除与用户不相关的信息，从而提高用户获取信息的效率；它根据用户信息需求的变化提供稳定的信息服务，能够节约用户获取信息的时间，从而极大地减轻用户的认知负担，起到减压阀的作用。目前网络信息过滤的工作概括为2项：一是建立用户需求模型。即用户模板，用于表达用户对于信息的具体需求。建立用户需求模型的主要依据是用户提交的关键词、主题词或示例文本。二是匹配技术，即用户模板与文本的匹配技术。简单地讲，任何信息过滤系统就是根据用户的查询创建用户需求模型。将信息源中的文本有效表示出来，然后根据一定的匹配规则，将信息源中可以满足用户需求的信息返回给用户，并根据一定的反馈机制，不断地调整改进用户需求模型，以期获得更好的过滤结果。网络信息过滤对个性化信息服务起到了巨大的推动作用。在个性化信息服务中，最重要的是收集和分析用户的信息需求。由于信息过滤的反馈机制具有自我学习和自我适应的能力，可以动态地了解用户兴趣的变化，掌握用户的信息需求，从而为用户提供更有针对性的信息。在协作过滤系统中，还可以根据用户之间的相似性来推荐信息，从而有可能为用户提供新的感兴趣的信息，拓宽用户的视野。通过网络信息过滤，可以减少不必要的信息传递，节约宝贵的信道资源。利用网络信息过滤，可以对网络信息的流量、流向和流速进行合理的配置，使网络更加畅顺。而对于用户来说，信息过滤由于剔除了大量的不相关信息的流人，可以避免塞车现象。网络信息过滤技术的发展历史网络信息过滤技术的发展历史“信息过滤”最早出现在1982年的3月美国计算机协会上。1992年，代表了世界文本检索领域最高水平和文本检索领域最权威的国际会议之一的文本检索会议召开，并将过滤作为其一个重要的议题。会议对信息过滤学科形成和发展提供了强有力的支持。网络信息过滤技术方法网络信息过滤技术方法 基于内容的信息过滤 从网络信息过滤结构 基于合作的信息过滤（协同过滤）内容过滤 从网络信息过滤的依据 网址过滤 混合过滤基于内容的信息过滤基于内容的信息过滤基于内容的信息过滤通过用户模型(user profile)来描述用户的信息需求,将新获取的信息与用户模型进行相似度计算,主动将相似度高的信息提供给用户。内容过滤的基本思想是，给用户推荐和他们之前喜欢的物品在内容上相似的其他物品。核核心心任任务务就是计算物品的内容相似度就是计算物品的内容相似度。基于内容的过滤优缺点基于内容的过滤优缺点优点：基于内容过滤利用资源和用户兴趣的相似性来过滤信息,它的关键问题是相似性计算,其优点是简单、有效。这种过滤技术已经比较成熟,使用也相对较广。缺点：基于内容过滤难以区分资源内容的品质和风格,而且不能为用户发现新的感兴趣的资源,只能发现和用户已有兴趣相似的资源.随着信息的剧增,效率和质量会降低;使用过程中难以发现新的感兴趣的信息;一旦过滤方法选择错误,后果将很严重。基于基于合作的信息过滤合作的信息过滤基于合作的过滤技术根据人的判断为用户过滤信息,它使用多个用户信息预测单个用户的偏好根据相同或相近兴趣的用户对应信息做出评价,向其用户进行推荐。由于不依赖于内容,这种模式不仅适用于文本格式,也可以适用于非文本介质的资源,如视频、音频等。基于合作的协同过滤，首先从数据库里获取他之前喜欢的东西，然后从剩下的东西中找到和他历史兴趣近似的东西推荐给他。核心是要计算两核心是要计算两个个东西东西的的相似度。相似度。基于基于合作合作的的过滤优缺点过滤优缺点优点：协作过滤系统利用用户之间的相似性来推荐信息,它能够为用户发现新的感兴趣的内容,其关键问题是用户聚类。并且能为用户发现新的感兴趣的信息。缺点：需要用户的参与。稀疏性问题,在系统使用初期,由于系统资源还未获取足够的信息,系统很难利用这些信息来发现相似的用户。另一缺陷是系统可扩展性,即随着系统用户和信息资源的增多,系统的性能会下降。对比对比可以注意到基于内容的信息过滤和基于合作的信息过滤（协同过滤）的相同点都是要计算两个物品的相似度，但不同点是前者是根据物品的内容相似度来做推荐，给物品内容建模的方法很多，最著名的是向量空间模型，要计算两个向量的相似度。而后者根据两个物品被越多的人同时喜欢，这两个物品就越相似。由由此此可可以以看看到到两两种种方方法法的的不不同同点点在在于于计计算算两两个个物物品品的的相相似似度度方方法法不不同同，一一个个根根据据外外界界环环境境计计算算，一一个个根根据据内内容容计算。计算。例例1用户u1喜欢的电影是A，B，C用户u2喜欢的电影是A,C,E,F用户u3喜欢的电影是B，D我们需要解决的问题是：决定对u1是不是应该推荐F这部电影基于内容的做法：要分析F的特征和u1所喜欢的A、B、C的特征，需要知道的信息是A（战争片），B（战争片），C（剧情片），如果F（战争片），那么F很大程度上可以推荐给u1，这是基于内容的做法，你需要对item进行特征建立和建模。协同过滤的办法：那么你完全可以忽略item的建模，因为这种办法的决策是依赖user和item之间的关系，也就是这里的用户和电影之间的关系。我们不再需要知道ABCF哪些是战争片，哪些是剧情片，我们只需要知道用户u1和u2按照item向量表示，他们的相似度比较高，那么我们可以把u2所喜欢的F这部影片推荐给u1。信息过滤依据的具体内容过滤信息过滤依据的具体内容过滤首先分级体系，网页的分级也像电影、电视的分级一样必须按照一定的标准进行,这个标准就是分级体系。分级体系是对网络信息内容进行分级的依据,它规定了分级的类目、子类目或者类目的级别和分级的具体方法,实质上就是一种网络信息内容分类法。例例2：RSACi分级体系分级体系暴力O无暴力1打斗2杀戮3带血腥的杀戮场面4态意的非常无理的暴力行为语言0非冒犯性的语言1轻微的脏话2一般性的脏话3下流的手势4暴露或粗鲁的语言对于包含分级标记的HTML文件,过滤软件会把按类目设置的过滤模板与分级标记进行比较，过滤软件会比较邮件头中的分级标记,拒绝不良信息;由代理服务器过滤请求和响应的信息;过滤软件利用分级服务系统传输的标记,决定是否过滤相应的信息。优点:从分级方而言,可以进行自我分级,扩大分级的范围;可以由第三方进行分级;可以根据主题或其他属性特征揭示网络信息;可以根据用户或管理方需要制定或选择分级体系;可以根据需要对分级类目作增、删、改;用人工的方法可以对图像、图形、音频、视频等多媒体信息准确分级。从管理方而言,可以按类目或者类目的级别过滤信息人工分级的过滤错误率相对较低通过类目的组合可以灵活设置过滤模板不同分级体系的分级标记如果遵循PICS规范,这些分级体系的类目可以组合使用,以满足用户多样化的需求b信息过滤依据信息过滤依据的的网址网址过滤过滤URL地址列表法URL地址列表法是利用预先编制好的URL地址列表决定允许还是禁止用户访问网络信息的一种方法,这是信息过滤中最为直接也最为简单的方法。URL地址列表可以分为两种:白名单和黑名单,前者是允许访问的URL地址列表,后者是禁止访问的URL地址列表。优点:实现比较简单;可用于弥补过滤软件的过滤过度或过滤不足的缺陷;白名单可作为绕开过滤的一种手段;采用白名单可以限定访问的范围。采用URL地址列表过滤不良信息是一种十分直接也十分简单的方法,在1995年以前的过滤软件以及现在的儿童搜索引擎、儿童浏览器、邮件过滤软件中用得比较多,用户也可用来弥补过滤软件的过滤过度或过滤不足的缺陷。另外,白名单能够有效地限制用户访问的网址,特别适合向儿童推荐网站。如果只采用黑名单进行过滤,则无法满足用户多样化的信息需求。信息过滤依据信息过滤依据的的混合混合过滤过滤动态文本分析法利用分级法或URL地址列表法进行信息过滤,实际上是以分级的方法表达用户的信息需求和描述网络信息,它们的优点是简单直接,容易实现,缺点是分级的覆盖面有限而且无法实现动态过滤,直接影响过滤的效果。对于这两种方法的缺陷,在一定程度上可以通过第三种方法动态文本分析予以解决。在信息过滤系统中,动态文本分析法首先把用户的信息需求描述成为用户需求模板,然后根据这一模板对动态的文本信息进行过滤,再利用反馈机制改进用户需求模板。由于用户需求模板可以用关键词、规则或分类的类目来描述,其中大家比较熟悉的是使用关键词列表,所以这一方法有时候又简单地称之为关键词法。采采用用动动态态文文本本分分析析法法着着重重要要解解决决四四个个方方面面的的问问题题:描描述述用用户户需需求求模模板板、描描述述网网络络信信息息文文档档、匹匹配技术、反馈机制。配技术、反馈机制。网络信息过滤技术应用网络信息过滤技术应用不良信息过滤个性化信息过滤SNS搜索引擎搜索引擎SNSFOLLOW机制PageRank机制Google算法 互互联联网网的的内内容容管管理理一一直直是是一一个个敏敏感感而而颇颇具具争争议议的的问问题题。但但是是，即即使使是是在在美美国国这这样样开开放放的的西西方方国国家家，对对于于互互联联网网内内容容也也有有一一定定程程度度的的管管理理。特特别别是是在在教教学学领领域域，美美国国法法律律规规定定所所有有提提供供互联网教学的电脑必须采用信息过滤技术进行内容过滤。互联网教学的电脑必须采用信息过滤技术进行内容过滤。我我同同国国政政府府对对于于互互联联网网有有害害信信息息清清理理工工作作极极为为重重视视。近近年年来来，分分别别下下发发和和颁颁布布实实施施了了关关于于加加强强非非经经营营性性互互联联网网上上网网场场所所信信息息安安全全管管理理的的文文件件和和互互联联网网上上网网服服务务营营业业场场所所管管理理条条例例的的法法规规。各各级级公公安安机机关关作作为为计计算算机机及及互互联联网网安安全全管管理理的的主主管机关，在互联网信息安全管理方面做了大量有益的工作。管机关，在互联网信息安全管理方面做了大量有益的工作。信信息息过过滤滤技技术术是是通通过过URLURL过过滤滤、关关键键词词过过滤滤、图图像像过过滤滤、模模板板过过滤滤、智智能能过过滤滤等等手手段段，对对互互联联网网用用户户进进行行信信息息安安全全审审计计管管理理和和访访问问控控制制的的技技术术。目目前前，信信息息过过滤滤技技术术是是各各级级公公安安网网络络监监察察部部门门对对互互联联网网接接入入单单位位(政政府府机机关关、企企事事业业单单位位、学学校校、网网吧吧等等)的的网网络络出出口口进进行行信信息息安安全全审审计计管管理理的的主主要要技技术术手手段段之之一一。因因此此，根根据据国国家家法法律律法法规规的的规规定定和和政政府府有有关关文文件件要要求求，结结合合公公安安网网监监工工作作实实际际，加加强强信信息息过过滤滤技技术术发发展展趋趋势势的的研研究究，对对于于搞搞好好公公安安网网监监工工作作，指指导导“三三个个中中心心”建建设设具具有有重重大大的的现现实实意义。意义。信息过滤技术和防火墙技术的区别信息过滤技术和防火墙技术的区别信息过滤技术和防火墙技术是有区别的，其主要区别有以下几个方面：信息过滤技术和防火墙技术是有区别的，其主要区别有以下几个方面：11工作的协议层不同工作的协议层不同防防火火墙墙主主要要工工作作于于网网络络层层，有有应应用用层层分分析析，但但不不是是主主要要任任务务。信信息息过过滤滤技技术术既既要要工工作作于于网网络络层层，也也要要工工作作于于应应用用层层。因因为为有有些些过过滤滤功功能能必必须须在在应应用用层层实实现现。例例如如：URLURL过过滤滤和和关关键键词词过滤。过滤。22过滤的内容不同过滤的内容不同防防火火墙墙主主要要是是IPIP过过滤滤，主主要要是是检检查查、记记录录和和分分析析管管理理对对象象在在连连接接哪哪个个地地址址、发发送送和和接接收收那那些数据包，当前连接状态些数据包，当前连接状态等等等等。并并且且防防火火墙墙过过滤滤的的IPIP不不能能太太多多。否否则则会会影影响响网网络络速速度度和和防防火火墙墙性性能能。信信息息过过滤滤技技术术除了除了IPIP过滤之外，一般还具备过滤之外，一般还具备URLURL过过滤滤、关关键键词词过过滤滤等等功功能能。主主要要记记录录和和检检查查管管理理对对象象访访问问了了哪哪个个地地址址、哪哪个个网网站站、发发送送和接收了哪些页面或文件等。和接收了哪些页面或文件等。信息过滤技术过滤的信息过滤技术过滤的IPIP和和URLURL量可以很大，一般可达几万条或几十万条。量可以很大，一般可达几万条或几十万条。33工作方式不同工作方式不同防防火火墙墙提提供供的的过过滤滤功功能能仅仅仅仅是是一一个个控控制制工工具具，如如何何控控制制需需要要用用户户自自行行设设置置。而而信信息息过过滤滤技技术提供给用户的既有工具，又有各种库和模板等，这可以由用户自行选择。术提供给用户的既有工具，又有各种库和模板等，这可以由用户自行选择。44功能设计面向对象不同功能设计面向对象不同防防火火墙墙功功能能设设计计主主要要面面向向单单个个用用户户。信信息息过过滤滤技技术术除除此此之之外外，在在面面向向管管理理机机关关要要求求的的系系统统化多种报警审计上，在面化多种报警审计上，在面向向用用户户的的分分类类访访问问控控制制上上都都有有许许多多功功能能是是防防火火墙墙中中所所没没有有的的。因因此此，在在现现阶阶段段防防火火墙墙技技术术不能代替信息过滤技术。不能代替信息过滤技术。信息过滤技术的发展趋势信息过滤技术的发展趋势经过几年来的发展，我国信息过滤技术从无到有得到了长足经过几年来的发展，我国信息过滤技术从无到有得到了长足发展。目前，经过公安部审核颁发销售许可证的产品已达发展。目前，经过公安部审核颁发销售许可证的产品已达3030余种。这些产品从其形态卜可以分为软件产品和硬件产品；余种。这些产品从其形态卜可以分为软件产品和硬件产品；从核心技术层次上可以分为基于应用层协议的技术和基于网从核心技术层次上可以分为基于应用层协议的技术和基于网络层协议的技术；从面向的目标用户上可以分为面向单个用络层协议的技术；从面向的目标用户上可以分为面向单个用户的产品和面向公安网络监察部门行政区域管理的产品。软户的产品和面向公安网络监察部门行政区域管理的产品。软件产品和基于应用层协议的技术实现起来相对容易，但是工件产品和基于应用层协议的技术实现起来相对容易，但是工作效率低，占用资源多，对网速影响较大。因此，只适合于作效率低，占用资源多，对网速影响较大。因此，只适合于单机用户采用。硬件产品和基于网络层协议的技术实现起来单机用户采用。硬件产品和基于网络层协议的技术实现起来相对困难，但是工作效率高。占用资源少，对网速影响较小。相对困难，但是工作效率高。占用资源少，对网速影响较小。因此，更适用于各级公安机关网络监察部门对互联网接入单因此，更适用于各级公安机关网络监察部门对互联网接入单位的网络出口进行管理。信息过滤技术及产品正在向着产品位的网络出口进行管理。信息过滤技术及产品正在向着产品硬件化和基于网络层协议技术方向发展。硬件化和基于网络层协议技术方向发展。信信息息过过滤滤技技术术正正在在向向着着产产品品硬硬件件化化和和基基于于网网络络层层协协议议技技术术方方向向发发展展。这这一一发发展展趋趋势势给给网网监监工工作作带带来来了了新新的的课课题题。随随着着计计算算机机硬硬件件技技术术的的发发展展，计计算算机机硬硬件件速速度度的的不不断断提提高高，信信息息过过滤滤技技术术必必将将进进一一步步向向着着高高性性能能，多多功功能能方方向向发发展展。可可以以设设想想在在不不远远的的将将来来，集集网网络络防防火火墙墙、入入侵侵检检测测、防防病病毒毒、信信息息过过滤滤、网网络络侦侦控控等等功功能能于于一一体体的的新新产产品品就就将将问问世世。我我们们网网络络监监察察部部门门应应该该预预见见到到这这种种发发展展趋趋势势，积积极极引引导导和和促促进进各各生生产产厂厂家家相相互互联联合合，开开发发出出适适合合网网络络监监察察工工作作的的新新产产品品，为为实实现现科科技技强强胜胜做出贡献。做出贡献。谢谢观看