AI内容安全审核技术在新闻采编场景的应用研究：新华云盾产品设计与实践案例分析.pdf

中国新闻传播研究:视听传播新图景AAAAA IIIII内内内内内容容容容容安安安安安全全全全全审审审审审核核核核核技技技技技术术术术术在在在在在新新新新新闻闻闻闻闻采采采采采编编编编编场场场场场景景景景景的的的的的应应应应应用用用用用研研研研研究究究究究:新新新新新华华华华华云云云云云盾盾盾盾盾产产产产产品品品品品设设设设设计计计计计与与与与与实实实实实践践践践践案案案案案例例例例例分分分分分析析析析析*R e s e a r c ho n A p p l i c a t i o no fA IC o n t e n tS e c u r i t yC e n s o rT e c h n o l o g yi nN e w sG a t h e r i n ga n dE d i t i n gS e r v i c eS c e n a r i o s:A n a l y s i so fX i n h u aC l o u dS h i e l dP r o d u c tD e s i g na n dP r a c t i c e赵 越 刘 冬 孙 飞 陈自强Z h a oY u e L i uD o n g S u nF e i C h e nZ i q i a n g摘要:随着互联网的快速发展,新媒体已成为社会生活的一部分,正在潜移默化地改变着我们的工作、生活、学习和社交方式。但网络内容中的大量有害信息对社会产生了严重不良影响,特别是对青少年的健康成长极其不利。而且,内容背后隐藏的意识形态、隐晦表达等问题让内容安全隐患更难以识别。如何营造清朗的网络内容空间,成为世界各国的难题。本文分析了我国内容安全审核行业现状,指出了当前环境下的优劣势以及业务痛点,并以新华云盾内容安全审核产品为实践案例,从设计理念、产品功能、交互体验、产品运营等方面详细阐述了如何使A I技术有效赋能采编业务场景。文章最后分析了A I内容审核所面临的挑战,并提出应对思路。关键词:内容安全;人工智能;产品驱动增长A b s t r a c t:W i t ht h er a p i dd e v e l o p m e n to ft h eI n t e r n e t,n e w m e d i ah a sb e c o m eap a r to fs o c i a ll i f ea n di si m p e r c e p t i b l yc h a n g i n go u rw o r k,l i f e,l e a r n i n ga n ds o c i a l s t y l e.H o w e v e r,a l a r g ea m o u n to fh a r m f u l i n f o r m a t i o n i nn e t w o r kc o n t e n th a sas e r i o u sn e g a t i v e i m p a c to ns o c i e t y,e s p e c i a l l yt h eh e a l t h yg r o w t ho fy o u n gp e o p l e.M o r e o v e r,t h eh i d d e n i d e o l o g ya n dc r y p t i c e x p r e s s i o n sb e h i n d t h e c o n t e n tm a k e i tm o r ed i f f i c u l t t o i d e n t i f yt h eh i d d e nd a n g e r so f c o n t e n t s e c u r i t y.H o wt o272*本文系国家社科基金重大项目“我国新闻传播业人工智能应用现状与发展趋向研究”(项目编号:1 9 Z D A 3 2 7)的阶段性成果。青年视点c r e a t eah e a l t h yn e t w o r kc o n t e n ts p a c eh a sb e c o m ead i f f i c u l tp r o b l e mf o ra l lc o u n t r i e si nt h e w o r l d.T h i sp a p e ra n a l y z e st h ec u r r e n ts i t u a t i o no fC h i n a sc o n t e n ts e c u r i t yc e n s o ri n d u s t r y,a n dp o i n t so u tt h ea d v a n t a g e s,d i s a d v a n t a g e sa n db u s i n e s sp a i np o i n t su n d e rt h ec u r r e n te n v i r o n m e n t.T a k i n gt h ep r o d u c to fX i n h u aC l o u dS h i e l dc o n t e n ts e c u r i t yc e n s o rs y s t e m sa sap r a c t i c a lc a s e,t h i sp a p e re x p o u n d sh o wt oe f f e c t i v e l ye n a b l eA I t e c h n o l o g yt on e w sg a t h e r i n ga n de d i t i n gs e r v i c es c e n a r i o s f r o mt h ea s p e c t so fd e s i g nc o n c e p t,p r o d u c t f u n c t i o n s,i n t e r a c t i v ee x p e r i e n c ea n dp r o d u c to p e r a t i o n.F i n a l l y,t h i sp a p e ra n a l y z e st h ec h a l l e n g e so fA I c o n t e n t c e n s o r t e c h n o l o g y,a n dp r o p o s e s t h es o l u t i o n s.K e y w o r d s:c o n t e n t s e c u r i t y,a r t i f i c i a l i n t e l l i g e n c e,p r o d u c t-l e dg r o w t h引 言云计算、大数据、人工智能等互联网前沿科技的快速发展与普及,对各行业的发展都起到了显著的推动作用。近年来,随着国家大力发展融媒体,以及以微博、微信公众号、今日头条、百家号、抖音、快手等社交媒体平台为代表的新媒体,互联网新业态、新动能、新模式层出不穷,由此也产生了很多新的互联网产业生态。新媒体已经渗透到社会的各个方面,正在潜移默化地改变着我们的工作、生活、学习和社交方式,对人类的发展发挥积极的推动作用。但与此同时,这些新技术也带来了很多困难挑战和安全隐患。面对网络信息井喷式的增长势态以及流量阵地的激烈竞争环境,网络内容安全隐患日益凸显。网络中传播的图文、音视频中充斥着大量违法违规和不良信息,包括极端言论、色情、暴力、恐怖、血腥、谣言、欺诈等内容,严重影响了互联网空间的内容安全,从而造成国家安全受损和社会稳定隐患。而且,对于青少年来说,在这样复杂的网络信息环境中获取和辨别正确、科学、健康的信息十分困难,大量不良信息对青少年的身心健康发展十分不利。近年来,随着A I技术的逐步成熟,智能化内容安全审核已经成为互联网内容生产、发布、传播的第一道安全屏障。A I内容安全审核技术基于自然语言处理、图像处理、音视频处理等技术,通过对关键词、关键帧进行提取、识别,实现了对色情、暴力、恐372汪少敏,王铮,任华.利用深度学习融合模型提升文本内容安全的研究J.电信科学,2 0 2 0,3 6(5):2 5-3 0.刘丹.基于信息贫困理论的青少年信息行为浅析J.时代金融,2 0 2 0(3):1 3 8-1 4 0.中国新闻传播研究:视听传播新图景怖等图文视听信息的筛查,大幅缩减了审核时间,节约了成本,提升了审核效率。但由于A I技术的局限性,对于事实追踪、新兴词汇、隐晦表达、语境差异等情况,A I还无法实现1 0 0%准确识别,因此仍需要人工复审。“人为主导、机为辅助”是目前内容安全风控的主要解决方法,但要做到快速、正确鉴别出内容安全隐患,困难和挑战依旧很大,要解决这个问题还有很长的路要走,一方面可以通过算法模型、词库规则、特征库的持续优化,不断提升A I审核的精准度和效率;另一方面,审核人员需要与时俱进、持续不断地培训学习,不断提高政治素养、语言文化水平等综合知识能力。本文对当前内容审核行业现状进行了分析,指出了其中存在的业务痛点,并以 新华云盾智能内容安全审核产品为例,结合一线采编业务场景,从设计理念、产品功能、交互体验、产品运营等方面阐述如何基于互联网产品思维,使智能内容安全审核技术高效赋能采编业务场景。一、内容审核业务行业背景(一)政策环境:监管力度更大、规范要求更严格 网络空间是全球网民的精神家园,对人们的世界观、人生观、价值观以及思维方式都产生了重要影响。网络空间治理是网络强国的重要环节,已经引起世界各国的重视,各国纷纷开启网络治理的监管风暴。党的十九大报告提出,要“加强互联网内容建设,建立网络综合治理体系,营造清朗的网络空间”。习近平总书记也曾多次强调,要依法加强网络空间治理和信息内容建设监管的力度,培育积极健康、向上向善的网络空间。近年来,国家陆续出台了 中华人民共和国网络安全法 网络信息内容生态治理规定 中华人民共和国未成年人保护法 中华人民共和国数据安全法 中华人民共和国个人信息保护法 等相关政策法规,对网络信息内容安全的监管力度愈加严格。(二)产业规模:市场需求旺盛,审核维度愈加专业化和精细化近年来,得益于A I技术的成熟和普及,数据标注和审核产业应运而生,通过对文本、图像、音视频特征内容的标注,为机器学习提供了大量的训练样本,并持续优化A I472蔡报文,杨慧芸,刘辉.人工智能技术在媒体融合中的应用研究J.教育传媒研究,2 0 2 0(4):8 4-8 5.李留英.各国互联网内容安全监管现状比较与分析J.信息网络安全,2 0 1 0(1):7 4-7 6.青年视点识别效果。根据中研普华研究院2 0 1 82 0 2 4年中国数据标注与审核市场深度分析与发展趋势研究报告 所述,自国家十三五规划中提出发展大数据产业以来,我国数据标注与审核产业发展迅速。2 0 1 7年产业市场规模达到1 3.8 2亿元(不含关联产业),较2 0 1 6年增长1 2%以上,预计在2 0 2 3年前后突破3 0亿元。由于A I技术的局限性,对审核准确度要求较高的业务,仍需要大量的人工审核把关。因此,数据标注和审核产业仍属于劳动力密集型行业。目前,很多涉及内容安全审核业务的互联网公司分别在北京、上海、天津、无锡、济南、武汉、芜湖、西安、重庆、成都、郑州、广州等地组建了内容审核团队,以“A I+人工”的方式支撑大量的内容安全审核工作。在审核维度方面,随着国家对网络意识形态安全的高度重视,识别色情、恐怖、暴力、血腥、谣言、辱骂等违背法律和道德的有害信息,是内容审核市场最为核心的需求。随着历史虚无主义、网络谣言等新的内容安全隐患类型不断增加,A I审核难度加大,对审核人员专业度、工作强度的要求也越来越高,审核的维度也在向专业化纵深发展。(三)技术研发:底层核心技术+互联网产品化,让A I内容审核快速普及A I内容安全审核的关键技术主要集中在自然语言处理、图像处理、音视频处理等几方面。在文本纠错方面,一般采用模型训练配合词库规则的方式,实现错别字、标点、单位、固定搭配、规范用法等文本错误类型的审核;在文本敏感词审核方面,一般采用常用的快速检索算法,实现对大量敏感词库的高效匹配;在图像审核方面,也是通过模型训练,实现对色情、暴恐、血腥等不良画面及特定场景、物品的识别。在音视频审核方面,除了对声纹特征的识别,主要还是将语音转化为文字,将视频截帧为图像,再分别进行文本和图像审核。在落地应用方面,为了让A I技术更好地赋能业务场景,市面上也出现了很多A I内容审核产品。这些产品基于数据可视化等主流W e b前端技术,把高深的A I技术隐藏在背后,在交互体验、业务流程方面精雕细琢,让产品更贴合实际业务场景。正因为如此,A I内容审核产品得以快速应用于各个行业。(四)业务痛点:采编力量跟不上业务发展,管理方式制约团队成长目前,内容审核业务普遍存在以下问题:572中研普华研究院.2 0 1 82 0 2 4年中国数据标注与审核市场深度分析与发展趋势研究报告R/O L.(2 0 1 8-0 9-2 8)2 0 2 2-0 7-1 0.h t t p s:/w w w.c h i a n r n.c o m/r e p o r t/2 0 1 8 0 9 2 8/1 5 1 0 2 6 8 2 2.h t m l.朱世强,王永恒.基于人工智能的内容安全发展战略研究J.中国工程科学,2 0 2 1,2 3(3):6 7-7 4.中国新闻传播研究:视听传播新图景一是业务量大,人手紧缺。随着采编报道业务领域的不断拓展,新媒体内容运营工作越来越多,但由于岗位编制、人力成本等原因,很难单纯通过增加人员的方式来满足业务增长的需要。二是内容领域广,对审核人员专业门槛要求越来越高。随着各行业领域不断有新业态、新概念出现,网络上的新词汇、新表达方式层出不穷,这要求审核人员不仅对专业知识要足够深入,对新事物、新热点以及相关领域的涉猎也要足够广。三是对突发事件的响应不及时,效率低。突发事件发生后,通知到全部采编审核人员不够及时,并且,采编人员对新规则的正确理解和灵活运用还需要一定的时间,难以达到应急处置的时效性要求。四是团队绩效难以量化评估。工作量和内容质量的评价、定期的工作复盘往往缺乏统一的可量化标准,对于团队避免重复错误、持续提升业务水平十分不利。五是市面上的审核工具虽多,却很难找到适用于自身采编流程的产品。目前,市面上对A I内容审核产品的研发主要集中在两个方向:一个是专注于底层核心技术的研发,这类产品主要是S a a S化A P I技术服务;另一个是专注于产品应用的研发,基于市场已有的审核服务(A I和人工审核),将产品包装成适合业务场景的技术应用产品。对于用户来说,权威、专业、适用是其最为关心的,用户都希望内容审核产品能以最少的采购、培训、接入成本,对接自身采编流程,但要找到这样一款产品确实很难。结合内容审核行业现状,新华网针对新闻媒体行业,打造了新华云盾这样一款既具有互联网产品思维,又贴合实际采编业务流程的智能内容安全审核产品。新华云盾在让内容审核的准确度更高、时效性更强、体验更好的同时,也能够提高工作效率和团队管理水平。通过技术的不断优化和产品的持续运营,该产品在实际应用中取得了不错的效果。二、智能审核技术应用实践(一)设计理念:产品驱动增长,一切从用户出发 传统的软件项目采购,大多通过采购市场成熟产品,并通过定制化开发以及维保服务来保持技术系统的长期稳定性和适用性。这种方式成本较高,需要花费大量的资金、人力。随着云计算时代的到来,很多传统软件的服务也积极迁移到云上,以S a a S方式提供云服务,其特点就是即开即用、即时更新,为服务方和使用方都节约了大量的672青年视点成本。在这个背景下,P L G成了近几年在互联网产品领域比较流行的一个词。P L G是P r o d u c t-l e dG r o w t h的缩写,意思是产品驱动增长。P L G强调的是主要通过产品本身来驱动用户的拉新、留存、促活及付费转化。前期通过免费版或者免费试用的方式,快速积累用户,通过优秀的产品体验和运营策略,形成产品口碑闭环,最终实现产品用户的良性自增长。新华云盾内容审核服务的产品设计理念借鉴了众多P L G模式产品的成功经验。作为基于新华云的云服务S a a S产品,新华云盾为用户提供了一致的产品体验,始终保证全量用户第一时间享受到产品的最新功能。在审核效果方面,新华云盾注重底层核心技术和词库、特征库的优化;在使用门槛上,极简化使用流程,做到开箱即用;在使用体验上,深耕视觉和交互效果;在业务场景方面,贴合一线采编业务流程,尽可能让产品无缝衔接用户原有业务场景,为采编人员和团队管理者提供更加优质的服务。(二)产品架构设计为满足不同的业务使用场景,新华云盾提供了在线审核平台、A P I服务、批量审核报告三种服务方式,在产品的平台架构设计层面,分别构建了产品官网、在线审核平台、A P I服务以及配套的团队管理中心、A P I管理中心共5个系统给用户使用。在产品的后台运营管理层面,新华云盾配备了产品运营中心、人工审核平台两大系统,供产品团队内部使用。在底层核心技术支撑层面,新华云盾由文本审核服务、图像审核服务、音频审核服务、视频审核服务共同组成。以上共同构建起新华云盾的整个产品体系。(三)核心功能:做精做细常用审核功能新华云盾的基础审核服务主要包括以下方面。文本敏感审核,实现了对文本中涉及色情、暴恐、违禁、辱骂等违背法律和道德的关键词识别。文本纠错审核,实现了错别字、标点错误、单位错误、引文差错、表述错误等维度的识别。其中,表述错误主要针对以下几种常见情况进行识别和纠正:(1)不再使用的历史用法。例如,“把我国建设成为富强民主文明和谐的社会主义现代化国家”应该修改为“把我国建设成为富强民主文明和谐美丽的社会主义现代化强国”。(2)固定搭配。例如,“国家总体安全观”应该修改为“总体国家安全观”。772中国新闻传播研究:视听传播新图景(3)语句顺序。例如,“脚力、脑力、笔力、眼力”应该修改为“脚力、眼力、脑力、笔力”。(4)表述规范。例如,“蒙族、维族”应该修改为“蒙古族、维吾尔族”,不能使用简称;“瞎子”应该修改为“盲人”或“视障人士”。(5)社会文化、经济等其他规范用法。例如,“一带一路”战略,应修改为“一带一路”倡议,或者“一带一路”建设;“中国国际进口商品博览会”应该改为“中国国际进口博览会”。图像审核,实现了对色情、暴恐、违禁品等特征的识别。在构建特征库时,一般使用多张光线适中、背景干净的清晰物体照片或场景进行训练。如果对准确性和适应性有更高要求,可以再提供多个角度的照片素材。通过算法进行特征提取。对送审的图像,同样进行特征提取,再与特征库对比,最终输出识别结果。音频审核,通过声纹特征,识别音频中可能存在的不良音效。结合语音转文字,实现对音频中敏感语句的审核。视频审核,基于音视频处理技术进行音频分离、视频截帧,再分别由文本、图像、音频审核综合而成。送审素材在进行特征匹配的时候,第一阶段的检索往往会出现多个匹配结果,因此会继续根据其他模态的数据对匹配结果进行若干轮的筛选、排序,最终为用户呈现最优解,如图1所示。图1 检索结果排序优化逻辑(四)特色功能:覆盖特殊业务需求为了让产品更适合不同业务领域的需求,新华云盾提供了相应的特色功能。872青年视点1.自定义词库不同行业所关注的关键词有很大不同,新华云盾提供了自定义词库的功能。例如,对于生物医药产业,药品化学名称的敏感度和错别字更加重要,比如“核酸检测”易写错为“核算检测”,“病原体”易写错为“病源体”,“连花清瘟”易写错为“莲花清瘟”;对于金融行业,专业的金融术语、重要会议名称更为重要。当新华云盾词库中无法满足这类特殊需求时,用户可在管理中心自行添加所需的关键词。2.日文审核针对日文稿件的审核痛点,提供中日形近字检测。在编写日文稿件时,特别是在转载日文稿件或者将日文扫描件转换为文本的过程中,经常会出现错将日文汉字识别为中文汉字的情况。而很多中文汉字(简体和繁体)与日文汉字存在极为细小的差别,很难靠肉眼准确找出来。表1列举了比较有代表性的中日形近汉字。表1 中日形近汉字对比简体中文繁体中文日文户戶晓曉说說庄莊黑黑(同简体中文)瘦瘦(同简体中文)强強強(同繁体中文)岛島島(同繁体中文)(五)审核体验:简约而不简单在线审核平台是用户的主要使用场景,新华云盾在产品体验上做了很多优化。首先是尽可能简化使用流程。用户可以将稿件内容粘贴到审核文本区域,或者直接导入w o r d文档,然后点击“一键智审”即可获得A I审核结果。其次,为了更直观地在稿件中标记审核结果,新华云盾采取了以下几种方式:972中国新闻传播研究:视听传播新图景一是将文本纠错和文本敏感分别用黄色和绿色进行高亮显示。对于出现两个标记重合的情况(例如“爆发户”一词中含有错别字“爆”,同时“爆发”还被用户自定义为敏感词),采用正片叠底的颜色混合算法,让多个标记重合部分的颜色混合后更暗,用户可以很直观地意识到这里是多个标记的重合。二是将图片审核结果用颜色标注出来。将识别出有疑似安全隐患的图片(例如色情、暴恐等)以红色边框标示,使之更加醒目;将未识别出安全隐患的图片以绿色边框标示。三是给予充分的提示。将鼠标放在问题词上,就会弹出提示框,显示具体的隐患类型和修改建议。另外,在右侧的校对结果栏中,点击具体问题词汇时,左侧稿件区会同步将对应的词汇进行红色高亮标记,并自动滚动到当前页面的可见区域,方便用户快速定位问题。图2展示了新华云盾在线审核平台的界面。图2 新华云盾在线审核平台界面三、融入采编业务场景的团队管理平台为了帮助采编团队提升业务水平,新华云盾提供了团队管理平台,用数据指导管理工作,让团队管理更科学、更高效。082青年视点(一)成员管理:微信邀请制实现用户自增长为了不给用户增加额外的记住账号密码的负担,新华云盾采用第三方授权登录方式,通过微信扫码即可快速注册并使用,省略一切非必要的注册流程,最大限度地降低用户流失率。用户可自行创建多个团队,通过团队生成的邀请链接,邀请他人快速加入团队。被邀请方打开邀请链接后,使用微信扫码,即可完成注册和加入团队,从而实现了用户的快速拉新。团队创建者可以为每个团队成员设置不同的管理权限,便于成员协助管理团队。(二)个性化配置:按需使用,节约高效新华云盾的每个审核功能,都为用户开放了细粒度的开关,用户可根据需要自由定制审核维度。这一方面可以缩短审核等待时间并减少多余的审核提示造成的干扰;另一方面也节约了云计算资源,降本增效。(三)绩效管理:团队业务状况数据可视化为了有效提升团队业务水平和管理水平,新华云盾为团队管理者提供了多项数据可视化展示,包括稿件审核数量、稿件安全隐患、团队成员使用情况等数据统计。这些数据可以科学、清晰地体现出团队的工作量、稿件质量,以及团队业务水平发展趋势,指导团队高效管理。图3和图4展示了新华云盾产品中某个6 0人团队其中一个月的使用效果,为保证客观环境的统一,减小分析误差,去掉了节假日的数据。图3 新华云盾某6 0人团队一个月的审核稿件数量统计182中国新闻传播研究:视听传播新图景图4 新华云盾某6 0人团队一个月的稿件文字错误数量统计由图3和图4所示数据分析得知,该6 0人团队工作日期间每天使用新华云盾审核稿件约1 7 8.8篇,每篇稿件中出现的文字错误的数量约为0.8个。通过对每篇稿件出现文字错误数量的拟合趋势线可以看出,在使用新华云盾后,文字错误数量呈递减趋势,在一个月时间里减少约1 5%,说明采编人员在内容生产中更加注重内容安全,达到了提高团队业务水平的效果。四、保障服务质量的运营平台新华云盾为产品运营团队配备了运营平台,便于及时反馈用户使用情况、响应用户需求、维护核心素材库、调整运营策略等。运营平台主要包括以下管理功能。(一)用户管理用户管理包括用户数量、资源使用情况、服务状态情况等大盘情况,D AU、MAU、各技术接口的调用情况可以真实地反映产品整体运营情况,并通过对每个用户的日常使用统计,实现精细化运营。(二)策略管理为了及时响应市场变化,策略管理设置了快速调整运营策略的功能,包括新用户福利、通知公告、灰度上线等,非常便于开展优惠活动、发布系统维护公告、测试新功能等。282青年视点(三)词库管理该功能对易错词库进行集中管理,根据社会时事进行更新,并根据用户反馈及时修正、补充,随着产品的使用,不断提升和优化审核效果和产品体验。五、A I内容审核技术面临的新挑战虽然目前A I内容审核技术应用广泛,但对于广泛的意识形态、隐晦表达以及社会时事、政策法规的理解和判断,仍不够理想。A I内容审核面临着很多困难和挑战。(一)广度、深度与速度目前的A I内容审核,主要是通过对某个专业领域大量样本的深度学习,再配合设定大量的规则,从而获得在该领域高准确度的内容审核能力。目前,A I内容审核主要针对普适性领域,对于专业性较强的行业,如法律、医疗等,还相差甚远。在审核速度方面,由于模型算法和媒体处理技术的局限性,要获得更快的速度,主要还是靠增加机器算力。面对每天海量内容,A I内容审核能力的广度、深度与速度将是长期的难题。(二)意识形态、社会时事等隐性安全问题的审核由于语言种类以及表达方式的灵活多样性,即使是专业的内容审核人员,也很难覆盖全部知识面,不敢保证审核结果完全准确,这对机器来说更是巨大的挑战。A I对历史虚无主义、隐晦表达等安全隐患的识别,仅靠语义理解是很难做到的,对世界观、人生观、价值观的是非辨别更加困难。另外,对社会时事、网络谣言、内容侵权的判断都是要着力应对的挑战。(三)W e b 3.0及元宇宙时代A I之间的对抗近年来,W e b 3.0、元宇宙作为互联网发展的新兴概念被炒得沸沸扬扬。与W e b 2.0不同,在W e b 3.0的去中心化网络世界中,互联网平台范式将由以平台为中心变为以用户为中心。用户作为直接的发布源,既是信息的创作者,也是所有者,具有控制和分配的权利。更多的自主权利为用户带来了便利和收益,但也成为网络空间治理的难点。随着V R、AR的发展,虚拟形象和实时换脸、声音模仿等技术也趋于成熟并开始382中国新闻传播研究:视听传播新图景商用,利用虚拟技术进行诈骗的案例已经出现。在元宇宙的背景下,每个人都有属于自己的多个数字分身,但元宇宙的虚拟世界绝不能成为法外之地。A I技术是把双刃剑,如果被用在错误的方向,很可能会带来严重的后果。A I技术在不同势力之间的对抗也将是极大的挑战。(四)强化网络内容治理的新认识面对严峻的网络内容安全形势,除了要继续加大人才培养、技术研发的力度,还要在政策环境、舆论导向等方面强化治理手段。一是通过权威机构发声主动引导正确舆论,发挥权威机构的优势,主动回应社会关切,释放权威信号,正面回应疑虑。二是积极出台相应的法律法规监管政策,坚持依法治网,全面推进网络空间法治化。三是建立健全管理办法和应急处置预案,做到出现问题立即响应处置,第一时间从根源上排除隐患。四是加强网络内容治理的国际合作。网络内容治理是全球性、全人类的共同挑战,因此要加强国际合作,积极参与国际学术交流和应用实践,共同成长进步。结 语内容审核目前仍是劳动力密集型行业,A I内容审核还有很长的路要走,很多的困难挑战要克服。在前进的路上,要贴合实际业务场景,通过科学的数据分析指导前进方向不偏航。更为重要的是,网络空间治理需要政策、资金、舆论、技术、人才等多方面始终不渝的共同努力,让人们树立正确的世界观、人生观、价值观,保持积极向上、健康乐观的心态,从根本上营造清朗的网络空间。赵越,厦门大学无线电物理专业硕士研究生;刘冬,北京大学电子与信息专业博士研究生;孙飞,北京理工大学计算机科学与技术专业本科生;陈自强,中国科学院大学硕士研究生 特约编辑:付晓光482桂畅旎.我国网络内容治理面临的新形势与新挑战J.中国信息安全,2 0 2 0(2):5 9-6 2.