多模态传播与多维度竞争：智能传播新阶段.pdf

专题研讨数字新闻研究青年记者2023年9月上60传播模式正在发生复杂多样变化与传播有关的基础技术不断发展，推进新旧媒体代际更替的同时，也产生了不同的传播模式，如报纸杂志与印刷传播、广播电视与电波传播、互联网与网络传播、移动平台与移动传播、推荐算法与智能传播，等等。换一种维度解剖数字变革中传播模式的变化，就会发现现实传播世界中还存在其他传播模式，如多模态传播，体现着新媒体传播的特殊规律与底层逻辑，对现实传播活动产生了巨大影响，成为智能传播新阶段传播力、影响力、引导力的重要制约因素和推动力量。智能内容生成技术的发展和其根据人类提示直接生成内容进入传播的特点，使智能传播走向新阶段，人工智能辅助人类生产、分发的内容，和人工智能直接生成的内容开始共同影响人。以往新闻传播学综合文本、图像、视频等内容形态所概括的多媒体内容概念以及相应的传播规律，难以概括今天和今后的现实。因而，应当借用人工智能所使用的“多模态”概念，一方面，以多模态传播来认识体现智能变革中颠覆式创新的传播模式，加深对多模态传播规律的认识；另一方面，基于深化对监管规则和协同治理格局的认识，提升有效运用多模态传播的能力。多模态传播，是适应智能变革的颠覆式创新传播方式。智能传播阶段，人工智能直接生成的内容已经进入传播，不仅可以根据人类的提示生成报告、方案、诗歌、综述等文本性内容，生成代码、网页、数据分析等数字内容，还可以生成图片、视频等多媒体内容。随着生成式 AI 技术的发展，人工智能未来还可能根据人类提示或其他方式的指令，直接生成其他形态的内容，甚至会有一些今天我们不视其为内容的“内容”。更重要的是，这些“内容”也可能进入传播，成为影响人类信息获取、知识萃取、观点表达、意识形成的重要力量。因此，从技术与内容相结合的视角，从传播模式演化走向、演化规律的角度来看，多模态传播已经到来，并正成为决定传播力、影响力的重要因素。要把握传播规律，实现更有效传播，就不能仅从技术维度认识传播模式变化，不能仅从印刷传播、电波传播、网络传播等的递进把握传播规律，还应从数字变革、智能变革中传播底层逻辑变化所实际存在的传播模式变化来认知和把握。需要以新的眼光和思维重新认识、体悟这个时代的传播规律与竞争模式，相应调整自己的思维方式与行为方式。多模态内容与多模态传播在人工智能领域，多模态指对文本、图像、语音等异构模态数据的感知、识别、处理、理解、协同推理，从而更准确地理解外部世界。多模态传播中的多模态内容，至少包括九类：一是融合传播理念中把文本、图片、图表、视频、语音、表情包等融为一体的融合性内容；二是提供信息流、仪式感、交互性的广播电视机构的专业直播，充分融合各种新媒体表达手段的新媒体直播和个性鲜明的手机直播；三是具有可听、可视、可互动、可感受、可体验、可分享诸种特性的新形态内容；四是基于数据挖掘的数据可视化内容；五是基于在线数据库平台的数据集和数据流内容，如路透、彭博的金融信息服务系统；六是体现新媒体理念、处理方式和表达逻辑的数据产品，如把疫情数据与位置相关联、自动抓取更新、发布后再审核校正的约翰斯霍普金斯大学的“全球疫情地图”；七是各种可带来沉浸式体验的技术手段如 VR 等使用、传播的交互性内容；八摘 要：人工智能根据人类提示直接生成的内容进入传播，推动智能传播走向新阶段，多模态传播成为重要传播模式。从融合移动传播走向多模态传播，更适应新媒体传播底层逻辑演变。多模态传播中的多模态内容至少包括九类。智能内容生成发展与应用正面临多个约束条件。多维度竞争是智能传播新阶段的基本特征，对其进行全面审视，有助于更好地理解智能传播。关键词：多模态传播；多维度竞争；智能变革；智能传播；内容影响力 陆小华多模态传播与多维度竞争：智能传播新阶段专题研讨数字新闻研究61青年记者2023年9月上是基于深度学习、虚拟现实等生成合成类算法制作的文本、图像、音频、视频、虚拟场景等内容；九是基于多模态大模型的智能内容生成工具、应用等直接生成的内容。多模态传播，即包括人工智能在内的数字技术和应用辅助数字内容生产所生产的内容和生成式人工智能所生成的内容，在推荐算法等助力下进行传播的传播模式。与智能传播相比，多模态传播不仅关注基于数据分析、算法推荐的智能传播的特点、规律、方法，更关注深度合成技术、智能内容生成技术生成的多模态内容的传播特性、传播规律、传播方法、传播模式。从融合移动传播走向多模态传播在新闻传播各环节探索运用人工智能，是正在迅速发展的人工智能新技术新应用催生的变化。从借助短信发送新闻而使短信演变为第五媒体开始，移动需求成为第一需求，移动传播成为传播的主要特征。随着数字技术应用于内容采集、生产、制作、分发，传播从以文字表达为主的抽象传播，走向更多借助视频、图片、图表的具象传播。数字技术引发的变革，“有图有真相”等传播效应，加速了文字、图片、图像等多种内容形态、表达方式的结合乃至融合，并在移动传播中充分体现，从而形成既融合多媒体内容又体现移动传播要求的融合移动传播形态。在数字技术推动下，传播形态已经演变为融合移动传播，即既是移动的，也是融合的，两者在新的层面已经以新的逻辑结合。因此，任何媒体、传播者的传播活动都面临新的竞争环境，有新内涵与新竞争逻辑。它表现在以下四个方面。一是技术条件、社会发展改变了专业传播者的生存环境与竞争逻辑一些媒体目前还较多停留在传统运营形态，就是因为没有看到竞争逻辑变化。科技改变生活是我们面临的基本社会现实，每一个人今天都在通过手机获取资讯，其心理结构和信息判断方式发生了根本性变化。移动互联网高度渗透在社会各个层面，忽略了这点，就忽略了所面临的基本外在环境。二是群体行为、受众需求改变了传播路径与影响逻辑内容产品质量与受众观看动力之间的关系非常值得研究。如果以新的眼光看电影和电视剧的传播就会发现，尽管电影电视剧本身是内容入口，但是决定人们看不看这部电影电视剧的信息传递方式、传播路径已经发生根本性变化。当年流浪地球从原来的排片靠后逆势上行，靠的就是移动获知。移动获知、大屏观看、社交认同、共情驱动，这四点决定了当今影视剧的基本传播路径。共情驱动带来了新的观众群。而一些影视剧的传播总体上还停留在通过制造话题、做一点剧透引发人们的观看兴趣。如果影视剧的基本传播框架和传播逻辑不改变，就很难赢得较大观众群体。许多质量不错的电视剧、电影的收视率、票房不如预期，就与此有关。三是影像传播正在向多信息维度影像传播转变我们讨论视频时一般习惯于将其分为长视频、中视频、短视频。在融合移动传播条件下，看待视频的眼光和思维方式如果只是影像长短，不考虑叙述逻辑和多信息维度，就不能适应数字变革中的技术条件和受众需求。今天，电视机构、视频制作机构所生产内容的构成正在发生变化，不仅更注重传播价值，而且更注意提供知识性、方法性内容，这是激烈竞争中的传播主体谋求新竞争优势的一种选择。当前，视频内容产品制作应该更注重寻找价值点和切入点，探求与受众需求之间的共鸣点，最终找到与受众价值观的共振点。把握这四点来处理影像本身的叙述逻辑，才能受到受众欢迎。四是内容想象、多元互动拓展专业传播的内涵和创意逻辑如果把影视剧的传播视为一种专业传播，其内涵及创意逻辑都已经发生了重要变化。以科学传播为例，今天的受众希望看到的并不仅是现有科学知识的影像化和知识化普及，更是能够刺激想象力、好奇心，满足人们探索未知、探索未来之需求的内容。今天科学传播必须有人文价值支撑，必须既有温度也有硬度。因此，科创、科技和科幻类的作品、节目就变得更受人们欢迎。这种分析框架同样可以适用于其他领域。五是推动发展、造福人类的追求拓展了内容产品的表现空间和叙述逻辑中国已经越来越走向世界舞台中心，中国受众的视野比以往更加宽广。因此，内容生产要更加考虑国际国内传播要求的打通和适用，不仅要表达自己，还要体现出交流互鉴、分享知识、增进理解和深化认识的意愿。哪吒的成功是以全球视野重新发掘了中华民族文化符号，北京冬奥会吉祥物“冰墩墩”也是以新的眼光重新打造了经典的中国元素之一熊猫。这些成功的案例提醒我们今天要如何处理全球化与民族特色之间的关系，也提醒我们如何把握本地内容与全国传播、广域传播、全球传播之间的关系。不仅要善于讲中国故事，还要善于讲文明互鉴故事，这才是向世界讲好中国故事的重要切入点之一。更重要的是，要从融合移动传播走向多模态传播，走向内容与数字科技的新形态结合，以更适应新媒体传播底层逻辑的变化规律。这就需要准确把握数字科技发展的新趋向，以更强的科技思维和对数字科技路线的把专题研讨数字新闻研究青年记者2023年9月上62握，特别是对可用技术及其带来的影响有清晰的认知，从而实现从制作多模态内容走向适应智能传播新阶段要求的多模态传播。多约束条件：智能内容生成发展与应用伴随生成式人工智能带来的巨大影响，更多主体投入资源加入竞争，同时，相关规则制定、协同监管等力度显著大于以往一些新技术出现之时。而且，也出现了一些值得深思的案例。最新案例之一是专利开放。2023 年 8 月 11 日，阿里达摩院宣布向社会免费开放 100 件 AI 专利许可，覆盖了图像技术、视频技术、3D 视觉等诸多 AI 技术领域，包括“交通信号灯感知”“疑似侵权图片检测”“时序数据预测”“点云数据处理”“智能字幕生成”等具有广阔应用场景的专利。这是规模最大的一次中国人工智能专利开放行动。历史地看，互联网历史上不乏以免费、开放策略构筑生态以增强竞争力的先例。移动操作系统竞争中，安卓系统早期就是以免费授权方式进入与苹果公司 iOS 系统竞争的。Android 操作系统最初由安迪鲁宾开发，主要支持手机，2005 年 8 月被谷歌公司收购。2007 年 11 月，谷歌与 84 家硬件制造商、软件开发商及电信运营商组建开放手机联盟，共同研发改良 Android 系统。随后谷歌以 Apache 开源许可证的授权方式，发布了安卓的源代码。2008 年 10 月，第一部安卓智能手机发布，之后安卓逐渐扩展到平板电脑、电视、数码相机、游戏机、智能手表等。2011 年第一季度，安卓在全球的市场份额首次超过诺基亚手机使用的塞班系统，跃居全球第一。2013年第四季度，安卓手机的全球市场份额已达78.1%。2018年10月29日，安卓正式向欧盟区域收取授权费。客观上，安卓系统凭借开放引来了大量开发者，促进其生态完善。2023 年以来，诸多大模型开发者开放API 接口，以吸引其他开发者围绕大模型开发各种应用。阿里达摩院免费开放 100 件 AI 专利许可，客观上既给大模型的发展与竞争引入了新因素和新条件，也将给新闻传播出版领域智能内容生成技术的应用提供新机会，这个行业的技术提供商可以利用各种开放专利和接口开发行业应用。另一个案例是 2023 年 6 月 28 日两名作家在美国加州北区法院对 Open AI 公司发起版权集体诉讼，指控 Open AI 公司未经授权利用原告享有版权的图书训练ChatGPT，谋取商业利益。这被称为“第一起具有代表性的 ChatGPT 版权侵权之诉”。起诉状指出，原告没有授权 Open AI 使用自己享有版权的图书进行模型训练，但 ChatGPT 能够根据提示词生成较为准确的摘要（虽然也存在少量的错误内容）。原告从既有事实和信息推断，ChatGPT 之所以可以准确生成特定图书的摘要，唯一可解释的原因便是 Open AI 获取、复制了涉案图书，并用于旗下大语言模型（GPT3.5 或 GPT4）的训练。1这个案例有四点值得大模型研究者、行业使用者和监管者特别关注。一是此案原告发现大模型侵权的方法，可能在国内被后来者借鉴此案原告是通过让 ChatGPT 输出自己享有版权图书的摘要，来证明被告不经授权使用了原告享有版权图书进行 ChatGPT 背后大模型的训练。“虽然很多内容都被用来训练大语言模型，但图书一直是训练数据集中核心的语料素材，因为其提供了高质量长篇写作的最佳范例。”2在 2018 年 6 月发表的企业论文通过生成式预训练提升语言理解力中，Open AI 披露 GPT-1 的训练依赖于“BookCorpus”的数据集。“BookCorpus”包含7000 本涉及探险、奇幻、浪漫等不同领域的图书。客观地看，目前，图书是大模型训练所使用数据集的重要部分。据统计，截至 2023 年 6 月底，国内相继发布了 90 多个大模型。这些大模型训练所使用的数据集是否包含了未经授权的图书？是否存在潜在法律风险？如何看待、应对大模型发展的这些约束条件？二是此案原告引用企业论文证明其侵权，将抑制披露大模型技术细节从此案相关报道看，原告起诉书引用了相关企业论文，来证明其侵权，如上文提到的通过生成式预训练提升语言理解力。通过公开检索 Open AI 主动披露信息（企业论文）的方式，原告希望论证 GPT 系列模型的训练建立在未经授权侵权利用海量图书内容的基础之上。比如，2020 年 7 月发表的企业论文语言模型是小样本学习者中，Open AI 披露 GPT-3 训练数据集中 15%的内容来源于两个名为“Books1”“Books2”的电子图书语料库。“根据 Open AI 的 披 露，Books1 的 规 模 是 BookCorpus 的 9倍（约 6.3 万本书），Books2 是 42 倍（约 29.4 万本书）。”由此原告推断“Books1大概率来源于古登堡项目或古登堡语料库标准化项目”“Books2极大可能来源于网络上的影子图书馆”。3实际上，2023 年 3 月Open AI 发布 GPT-4 企业论文，但表示出于行业竞争形势和产品应用安全角度考量，不再对训练数据集的结构和内容进行相关披露。三是此案原告让大模型“自证原理”的方法提供了启示和借鉴此案原告证明 Open AI 侵权时，同 ChatGPT 对话，让其“进行自我介绍”以作为佐证。其内容包括提供服务的方式和价格，如网络页面方式每月 20 美元，应用程序开发者通过 API 接口与 ChatGPT 交换数据则按量计费。专题研讨数字新闻研究63青年记者2023年9月上这既让人们看到一种大模型的使用方法，也提示大模型开发者、行业应用开发者和服务提供者要更加重视大模型所生成的“自我介绍”内容，要在训练时就从多个维度提示其生成自我介绍内容，并评估其准确度和衍生风险。四是大模型通过互联网提供服务须研究国际人工智能监管规则2023 年 6 月 14 日，欧洲议会以 499 票赞成、28 票反对、93 票弃权的压倒性优势通过了人工智能法案草案。这意味着，即将进入欧洲议会、欧盟成员国和欧盟委员会确定该法案最终条款的“三方谈判”阶段。2021年，欧盟委员会已经提出首部监管人工智能的法律草案，欧洲议会和欧盟理事会就此草案进行了多轮修订和讨论。基于大模型的生成式人工智能上线后，这部法律草案增加了相应的条款。值得注意的，一是该草案第二条就该法律适用范围作出明确规定，即适用于在欧盟境内将人工智能系统投放市场或投入使用的实体（无论该实体是在欧盟境内还是在第三国）、在欧盟境内使用人工智能系统的实体，以及在第三国使用人工智能系统，但系统输出结果用于欧盟境内或对欧盟境内人员产生影响的实体。这实际上明确了该法律的域外管辖原则。二是将人工智能风险分为不可接受的风险、高风险、有限的风险和极小风险四级，对应不同的监管要求。提出严格禁止对人类安全造成不可接受风险的人工智能系统，包括部署潜意识或有目的操纵技术、利用人们的弱点或用于社会评分的系统。三是法案要求每个欧盟成员国都设立一个监督机构。4四是这部法案因 ChatGPT 的上线而增加了新的条款，提升了大模型透明度和风险评估要求，要求披露是否使用受版权保护的材料来训练大模型。5这部法律是值得包括中国在内的大模型及其行业应用研究者、服务提供者注意研究的。毕竟，域外用户也可能使用国内开发的多模态大模型。这两个案例，体现了生成式人工智能进入多约束条件的发展环境，即将或已经进入多维度竞争阶段。如何适应人工智能领域的敏捷监管、协同监管，如何敏锐地发现、防范可能存在的版权、侵权风险，是智能内容生成技术服务提供者和使用者必须面对的重大问题。多维度竞争：智能传播新阶段的基本特征冷静观察，多维度竞争是智能传播新阶段的基本特征。一是从内容影响力形成角度观察，多模态传播中的多模态内容之间在竞争。多模态内容的九类内容，文本、图片、图表、视频、语音、表情包等融为一体的融合性内容和各种直播，是深度融合转型中媒体的着力点，数量、质量、品种不断提升；但同时，数据可视化内容、数据产品、新形态内容、交互性内容影响力越来越大。二是人工智能直接生成的内容与人类制作的内容正在形成影响力竞争。AIGC 直接生成内容的针对性、知识性、体验感在 ChatGPT 上线后激发的各种效应，就体现了这一点。三是人工智能生成的多模态内容间的竞争。初期，人们关注的是能否作诗、写方案、改代码等；之后能否根据提示生成多种风格图片、视频成为人们关注的重点。这些图片、视频既具有可用性，对人类工作有直接替代可能，还具有奇特性，会产生出人意料的成果。四是正在形成智能内容生成竞争的，不仅包括以各种行业定向开发吸引使用者，也包括以开放 API 接口等构筑生态。五是智能内容生成多样使用方式所形成的竞争。在ChatGPT、文心一言等上线初期，人们关注的是其根据用户提示所生成的内容是否准确和专业、是否有针对性。而这个阶段，更有想象力的使用者看重的，是大模型生成内容的不确定性，并努力用各种提示词组合，探索、放大智能内容生成的不确定性，从而利用其激发创意、拓展应用价值。因而，在智能传播新阶段，对多模态内容的认知水平，对智能内容生成利用方式的想象力和不拘一格的利用能力，某种意义上，就决定了其智能竞争力。【本文为国家社会科学基金重大项目“数字新闻学理论、方法、实践研究”（批准号：20 ZD317）阶段性成果】参考文献：12Kaysen.ChatGPT 版权第一案：OpenAI 面临六项指控，因输出图书摘要被“抓包”EB/OL.（2023-08-06）.https:/ 版 权 第 一 案：OpenAI 面 临 六 项 指 控，因输 出 图 书 摘 要 被“抓 包”EB/OL.https:/ Gutenberg）是一个汇集“超过版权保护期限”的在线电子书库，常被用于人工智能模型训练。2020 年 9 月，“古登堡项目”宣布已经收录超过 6 万本书。2018 年，一个人工智能研究团队在其基础上，创建“古登堡语料库标准化项目”（Standardized Project Gutenberg Corpus）。“影子图书馆”一词由美国社会科学研究理事会 2011 年发表的新兴经济体中的媒体盗版问题文章创造，指代侵权收录大量书籍并向公众免费开放的网站.4王卫.抢占监管先机 欧盟 人工智能法案 进入最终谈判阶段N.法治日报，2023-07-03（6）.5 欧洲议会批准人工智能法案，要求披露生成式 AI 训练数据版权EB/OL.澎湃新闻.(2023-06-15).https:/