“元宇宙”时代的未来影像前瞻.pdf

12023第10期 【作者简介】【作者简介】孙立军，男，河北保定人，北京电影学院副校长、二级教授，教育部戏剧与影视学教学指导委员会副主任，主要从事影视教育、理论与实践研究；杨亮，男，湖南怀化人，北京电影学院中国动画研究院博士后（在站），主要从事影像艺术理论与实践研究。【基金项目】【基金项目】本文系四川省哲学社会科学重点研究基地四川动漫研究中心项目“元宇宙概念下动画影像的美学嬗变研究”（编号：DM202302）成果。孙立军杨亮“元宇宙”时代的未来影像前瞻尽管还未形成明确而统一的实践目标，也没有缜密而完善的理论体系，但是“元宇宙”（Metaverse）作为一个概念已经引起了科技界、舆论界、学术界甚至管理界的广泛关注和热烈讨论。国内部分省市纷纷出台与“元宇宙”相关的发展政策，力图发挥自身的区域优势，抢先设计“元宇宙”时代的科技与文化布局。一时间，“元宇宙”似乎成为当下社会生活的热点话题，并承载着人们对未来科技与文化的美好希冀。在影视领域，亦有很多专家、学者从“元宇宙电影概念”“元宇宙电影产业”“元宇宙影像空间”“数字虚拟角色”“元宇宙影像生态”和“元宇宙题材电影”等诸多话题出发，探讨“元宇宙”与“电影”的关系。在历史上，文化艺术的形态、美学与产业的发展与变革往往肇始于媒介技术的迭代与升级。尽管“元宇宙”在很大层面上被当成一种“虚拟空间”与“现实空间”融合共生的社会图景，但是本文更多地是从“数字媒介技术的综合集成”角度来进行解析。当下，基于游戏引擎（Game Engine）所衍生的实时预演与交互体验技术，基于5G甚至6G高速传输所衍生的流媒体技术，以及基于XR所衍生的全景深度沉浸式影像技术，已经开始显露出“元宇宙”时代电影影像的形态雏形。因此，以此为线索探讨“元宇宙”时代的影像景观具备了充分的可行性与前瞻性。前瞻“元宇宙”时代的未来影像不仅能对当下舆论场域的“元宇宙”话题进行回应，而且还可以因为想象未来科技变革时代的影像形态而对当下的影像发展产生重要的影响。一、交互性第三代电影的普及近年来，以 超凡双生（BEYOND:Two Souls，2013）、底特律：化身为人（Detroit:Become Human，2018）、黑镜：潘达斯奈基（Black Mirror:Bandersnatch，2018）等一批以“交互”为特征，且横跨游戏与电影的“交互电影”（Interactive film）引起了学者们的注意。这类电影的最大特征是其转换了受众的被动位置，而将其推至“决定”影像作品叙事走向的主动性位置上，从而颠覆了传统受众与创作者的主体地位。但实际上，“交互电影”并非是数字时代的产物，早在数字媒介技术普及之前，便已经有导演进行“交互电影”的先锋实验。1967年，捷克导演拉杜兹辛瑟拉（Radz inera）在蒙特利尔世博会的捷克馆中首次播放了一部名为 自动电影（Clovek a jeho dum，1967）的“交互电影”。在播放过程中，当主人公面临可选择的情节点时，画面就会被切分为左右两个部分，且在下一个黑色背景的镜头中浮现出绿色和红色两个矩形区域，银幕上的这两个矩形区域分别对应着观众座椅旁边的两个颜色的按键。观众可以根据自己的喜好按下按钮进行“投票”，随后画面会根据两个按钮各自获得的“票数”来进行不同的叙事演绎。由此可见，该片较早地从叙事层面将观众纳入到电影“创作者”的范畴，以交给观众对故事走向的“决定权”而获得“交互”的意义。此后，这一形式上较为新颖的电影形态，因为制作2HOT TOPIC专题元宇宙电影的空间与未来研究及观影成本较大的原因而陷入沉寂。21世纪以来，随着数字技术的进步，全动态影像游戏（Full Motion Video Game）开始流行，这一类游戏利用此前拍摄的影像作为画面素材，在每一段影像内容之间插入可以选择的游戏交互界面，玩家根据自身的偏好，按照界面的指示进行不同的操作，从而推动游戏进入下一个叙事段落。例如，赛博朋克2077（Cyberpunk2077，2020）就将游戏背景设置在一个即将崩塌的美国社会，其经历了一系列的战争和恐怖袭击后导致联邦政府的权力被消解，各大高科技垄断集团实际上把控了整个国家，以至于美国的贫富差距和社会矛盾进一步加大。而玩家则需要从“流浪者”“街头小子”和“公司员工”中选择一个身份从而参与到叙事中去，而不同的身份和不同的选择将会带给玩家不同的叙事体验和不同的故事结局。这一形态的“产品”实际上已经打破了电影与游戏的边界，促使受众从集体观影转变为个人观影，从被动观看进入到主动操作，也使得传统电影的时长从固定的90分钟、120分钟等标准时长进入到建立在玩家选择基础之上的无固定时长。也就是说，基于传统院线电影而衍生的创作思维、传播路径、接受方式与理论体系面临着被瓦解的危机。针对这一“电影游戏化”或“游戏电影化”的融合趋势，早在2005年，北京电影学院孙立军教授便创造性地提出了“第三代电影”的设想，并研发了第三代电影的放映设备（如图1所示）。当时，计算机图形图像技术、交互控制技术和数字立体放映技术正处在视觉设计领域、游戏工学领域和电影技术领域快速交叉融合的时期。其中，计算机图形图像技术一方面推动了胶片电影的拍摄、储存、编辑和传播的全面数字化，使得创作者具备更加便利的技术条件和创作空间；另一方面，计算机技术的二进制编码将所有的视听文化统合到数字基础之上，使得基于数字的游戏和电影在媒介维度上合二为一。而交互控制技术的进步则使得游戏的交互界面更为科学、交互方式更为便捷、交互内容更为贴切、交互感应更为灵敏，从而推动电子模拟游戏向数字游戏的进一步迭代，并在形态上演绎出更多的游戏类型，也为“交互电影”的成熟提供了可能。因此，对于“第三代电影”来说，其“最突出的特征是互动性一种可以由观众自己来控制电影情节发展走向的，主动交互式的电影”1。这一“交互电影”的概念在2011年被进一步明确为“第三代数字互动立体电影”。彼时，VR、AR、MR等沉浸式影像技术的成熟度并未达到如今的水平，电影沉浸感的营造更多地是通过“立体电影技术”来实现。即通过人体左右眼睛的视角差，分别制作偏色、偏移的两部分影像，在播放的时候再通过特制的眼镜，使得观众左眼看到左视角拍摄的画面，右眼看到右视角拍摄的画面，从而使两部分影像合二为一，以此营造电影的“沉浸感”。从2005年“第三代电影”的提出到2023年将近18年的时间里，电影媒介的发展和电影形态的嬗变实际上充分地证明了“第三代电影”的预见性。如今，创作者们基于PS5、Xbox和Switch等电子游戏设备，已经开发了大量的剧情电影游戏，如 奇异人生（Life is Strange，2015）、量子破碎（Quantum Break，2016）、瘟疫传说：无罪（A Plague Tale:Innocence，2019）等。玩家们通过选择不同的身份，进行不同的情节演绎并参与，甚至主导不同的叙事进程并收获不同的故事结局；同时，PICO、Oculus quest和HTCVIVE等VR商店里也上线了大量的游戏电影，如 古第三代电影又被称为数字互动电影，其是一种全新的电影产业概念，此概念由北京电影学院孙立军教授于2005年在中国电影金鸡奖的中国电影科技论坛上首次提出。其核心原理是通过“计算机程序”“互动控制器”和“数字影片”的有机组合来实现让观众与“电影”的“互动”观影体验。在孙立军教授的推动下，2011年第一套“第三代电影放映系统”研发问世。图1：孙立军教授团队研发的第三代电影放映机32023第10期 墓丽影VR：劳拉的逃脱（Tomb Raider VR:Lara s Escape，2018）、咕噜米的眼睛（Gloomy Eyes，2019）、星球大战：不朽维达（Vader Immortal:A Star Wars VR Series，2019）等。人们可以通过VR头盔或者VR眼镜观看其中的叙事影像。同时，通过可穿戴式设备，感应观众的转头、眨眼、口型、手势与转身等动作，与游戏电影进行交互。从这一发展趋势来看，传统电影的“镜头”“景别”“蒙太奇”等视听语言似乎已经被抛弃，观影体验全由受众自己决定。而且，基于“大数据”和“GPS”定位系统，观众与电影的“交互”也显得更加精准，某个地区、某个年龄层次、某个性别、点赞评论、活跃时间等偏好信息全部被大数据攫取分析，从而反馈给创作者，并以此再生产出更符合观众审美取向的电影。由此，为每位观众“量身定做”的电影几乎成为可能。在“元宇宙”时代，随着交互技术的进一步成熟与商业化的进一步深入，以“交互性”作为最鲜明特征的“第三代电影”将得到更大程度的普及。二、实时化短视频的延异1895年，工厂大门（La sortie de lusine Lumire Lyon）、水浇园丁（L arroseur arros）、火车进站（L arrive d un train La Ciotat）等实拍电影的上映，标志着以“胶片”为核心的影像文化的开端。如果说初期的电影是因为制作技术、物质成本与叙事语言的薄弱而以“短视频”形态为主的话，那么在当前的“后电影工业时代”，由于5G甚至是6G网络传输技术的普及与成熟、信息内容的过载与爆炸，以及娱乐方式的廉价与泛化，造成整个后现代社会文化节奏的高速化、碎片化与离散化。人类的影像文化因此再度进入到“短视频”时代：网络博主李子柒传播乡土文化的系列短视频收获了较好的社会口碑与商业效益；以 新宝岛 影流之主 等片断性舞蹈动作为例的系列短视频引起了大众的点赞、转发甚至模仿；以 立秋 秋实 新三岔口 最后的舞台 景阳冈等学院派短片为代表的系列短视频继续开拓了影像艺术在技术上的高度与美学上的深度，并因此获得主流文化艺术界的肯定与推崇。有学者统计，“截至2019年7月，社交短视频抖音平台上的音乐、舞蹈、影视、建筑、书法、戏曲、雕塑、绘画等八大艺术门类相关短视频数量已达1.09亿条，累计播放量超6081亿次，点赞量超201亿次，转发分享量超3.9亿次，评论数超7.7亿次。”2换言之，作为“影像”的“短视频”已经开始呈现出成熟的类型化特征，并逐步瓜分着传统以电影、电视和网络剧为代表的影视长片的商业市场和艺术空间，并有进一步发展壮大的可能。实际上，在整个后现代文化场域中，碎片化是大势所趋，而“短视频”亦并非最早出现的微文化现象。早在2009年，中国门户网站新浪便上线了“微博”内测当前，在电影领域以“胶片”为核心的传统电影工业体系已经进入到以“数字”为核心的“后电影工业体系”。这一后电影工业体系基于信息文明，其显著特征是全数字制作、跨媒介传播与全球化发行，并以此衍生出“后电影工业体系”的美学、文化与产业。电影工厂大门海报4HOT TOPIC专题元宇宙电影的空间与未来研究版，这一产品因其三大特征而迅速风靡互联网。首先，其将内容发布的字数限制在140字以内，强制性地要求用户削减冗余信息，保证内容的精确性；其次，因为内容短小精悍，受众面宽，因此微博信息的传播速度较快、传播范围较广，能迅速引起舆论话题；再次，微博内容创作的片段化和深度的浅显化降低了创作难度，使得微博用户参与性强、内容原创性高，且可接受性好。比较研究发现，5G传输时代的短视频同样具有以上三大特征。例如，在抖音上线的初期，普通用户只能拍摄15秒以内的短视频，将视频最鲜明的特色直截了当地表达出来，从而保证内容的精确性；其次，根据第47次中国互联网络发展状况统计报告 显示，截至2022年12月，中国短视频用户规模约为10.11亿，占网民整体约94.8%3。即全体中国网民中，有近90%为短视频用户，这极大地保证了短视频的传播范围；最后，因为手机摄像技术的升级、物质设备成本的降低和全民数字素养的提高，人人拍摄成为可能，以此为“短视频”带来了“用户生产内容”（UGC）的文化特征，并同时提高了视频内容的原创度与用户的参与性。由此可见，5G时代的“短视频”实际上是影像化的“短文本”。而实现“元宇宙”的技术条件之一是6G移动通信技术的成熟。6G将以更宽的基站覆盖、更稳定的网络链接和更快的传输速度促进短视频行业进一步发展。首先，6G会继续扩大短视频用户规模并增加短视频传播范围。当前，5G传播技术的中转台仍然以地面基站为中心，除了在基站尚未覆盖的高原、海洋、沙漠等通信盲区之外，其传输范围往往集中在地表基站10千米的空间范围内，以此造成5G传输范围受限，信号强度衰减等问题。而6G技术将构建跨地区、跨空间、跨海域的“空天海地”一体化网络，通过以高空卫星基站为核心，低空基站与地面基站相连接的方式实现真正意义上的全球无缝覆盖；同时，6G技术支持无蜂窝式网络架构，其网络容量将会急剧扩展。“通过空间复用、动态频谱等技术，6G基站可同时接入数百甚至数千个无线连接。网络容量预期可达5G基站的1000倍”4，从而将短视频传播延伸至更大范围，短视频的创作者与接受者将会更多、涉及的区域将会更广，而创作内容也会因此更丰富，以此推动短视频在主题与美学方面的多元化；其次，6G技术将推动短视频走向实时化的视频直播，进一步压缩时空距离。微博、短视频等微文本超高速传播的本质是用户对信息的“时效性”需求，用户通过对“时间”的压缩而达成对“空间”的把握。而6G技术的核心就是发展以太赫兹(THz)技术为基础的超高速网络，该网络频率在0.110THz(波长为300030m)之间，除了传输速度比5G网络快100余倍之外，还具备频谱资源丰富、穿透性高、稳定性强等优势，能将网络延迟从毫秒级降到亚毫秒级，甚至是微秒级，从而使得8K甚至16K超高清影像直播普及化，使受众获得更好的接受体验，并进一步带动远程虚拟会议、虚拟角色、流媒体技术、直播电商、实时超高清远程监控与实时影像特效技术等相关行业的发展。三、全景化沉浸式影像的成型如果从感官体验的角度考察电影史的发展脉络便可知其本身是以“沉浸式体验”作为最终目标的技术媒介发展史。1839年，法国发明家达盖尔（Louis Jacques Mand Daguerre）发明的银版照相术宣告了摄影的诞生，尽管当时摄影还存在着感光度有限、清晰度不佳、颗粒感较强等技术性问题，但是超写实的造型已经最大程度地摒弃了手工绘画与描摹对象之间的差别，而以能指链的形式勾连起作品与原始物体之间的符号指涉，从而使得受众可以略过照片的胶片与油墨介质而沉浸到原始物体的形象中去。随后，电影的发明从动态影像的角度弥补了原始物体在时间上的真实存在，从而进一步加深观众对电影所塑造形象的沉浸感。火车进站 中一列冲向银幕的火车能够令谦谦有礼的欧洲绅士不顾体面，吓得四散逃窜，便已充分证明早期观众对写实电影的沉浸之深。值得注意的是，在活动视镜剧场中，雷诺“将活动视镜装入一个木匣子内，并在匣盖上开了一个观察孔。木盒中设置了一块平板，平板上的适当位置上开了一个舞台拱门风格的孔，透过这个孔只能看到滚筒反光镜反射的一个影像”5。即当观众透过小孔观察影像的时候，活动视镜的木匣子犹如VR头盔一般隔绝了观众与现实世界的联系，除了影像之外，观众的世界是一片黑暗，观众“被迫”沉浸在影像之中。活动视镜剧场对影像之外的现52023第10期 实空间进行“留黑”的处理方式，在电影院时代发展成“暗箱”设计。换言之，观众在电影院中观看电影时，必须全体肃静，且关窗关灯，保持一种“零度视听”的状态，以便完整地接受影像的来临，从而达成全身心的沉浸。在当前的后电影工业时代，VR影像开始逐步商业化并引起创作界与学术界的关注。2017年蔡明亮执导的 家在兰若寺（The Deserted）、金镇雅的 东豆川血痕（Bloodless），2019年的 追梦少女（Girl Icon）、旧家（Home），2021年的 泪无痕（Tearless）等一批VR电影为观众塑造了全景式的沉浸式影像，连带着交互叙事、主动视点、非固定时长等一系列新特征，较大地突破了传统电影的美学框架。威尼斯国际电影节、北京国际电影节等重大电影节展也纷纷设立与VR影像有关的竞赛单元。VR影像的流行尽管有众多的原因，但仍然首先得益于其对“沉浸感”的拓深，即尽管传统的电影院已经塑造了一个“暗箱”般的观影环境，但是现实空间中的黑暗区域、集体观影中的他者影响会极大地打断观众的沉浸感，并将观众从电影叙事拉回影院现场，使观众意识到自身的观影行为与所处的审美位置，从而造成观众与电影塑造的虚拟空间保持一定的情感距离而无法全身心投入。而VR影像则利用360度全景影像将观众的整个视觉可见区域全部覆盖，有效地规避了活动视镜剧场或传统电影院利用“留黑”的方式来屏蔽现实场景的尴尬状况，从而在空间维度复制了现实环境的物理方位以达成全景视觉沉浸。在声音方面，现在的部分VR影像已经超越了“双耳录音”（Binaural Recording），而采取“头部关联传输函数”（Head Related Transfer Functions，HRTF）技术进行录音。该技术能分析出录制的声音被人体模型所扭曲的具体轨迹数据，并通过音频过滤器进行模拟还原，从而达成极度仿真的“声音沉浸”。VR全景影像还有一大突破点在于其对触觉的涉及。当前，一些VR影像已经开始应用动感座椅、触感背心、触感手套等装备，将影像内容与观众身体进行关联，造成受众触感沉浸。例如 零重力木乃伊（The Mummy Zero Gravity，2017）的VR体验片便使用了美国VR座椅研发商普斯顿（Positron）研发的全动感座椅（Full-motion Chair）。该座椅具有自动旋转和俯仰功能，能在观影过程中通过触觉反馈来实现观众对失重、颠簸等触感的切身体验。“元宇宙”时代是一个沉浸式影像技术、传感技术与自动化技术高度发达的时代，当前的VR全景影像因为技术水平、设备体量以及人体生理承载能力等方面的限制，面临着发展的瓶颈。从视觉沉浸的维度来看，首先是虚拟空间中观众的视觉方位受到了现实空间身体的位移限制，观众仅能在特定区域内移动位置，一旦涉及到跨区域移动，则会造成视觉与身体的体验差别从而造成反视、眩晕等生理违和感；其次，尽管当前的8K影像技术已经能够生成超高清视觉画面，但是由于数据大小、传输速度、显示器刷新频率与陀螺仪敏感程度的限制，当前主流VR视频输出所使用的LED叶片法，仍然无法将超高清画面进行满格式输出，从而造成画面颗粒、画面延迟与色彩失真等问题。从身体触感来看，观众对VR影像及虚拟角色的操控取决于设备对观众身体的动作表情捕捉与传输技术，但是目前这类动作捕捉的前端设备仍然以简易的局域红外线传感器与控制手柄为主。设备的限制使得VR电影只能进行比较简单的身体交互，一些复杂动作、快速位移、细微表情与虚实协同等技术想象仍然难以实现。因此，在“元宇宙”时代，超越感官沉浸，而直接以脑机接口（Brain-Computer Interface，BCI）链接大脑塑造沉浸影像的方式，成为亟待开发的技术增长点。“脑机接口是一种允许用户在不使用外周神经和肌肉群的正常输出通道的情况下进行通信或控制设备”6，它的本质是将“意识数字化”。从链接方式来看，脑机接口可以分为侵入式、半侵入式和非侵入式三种，其中侵入式脑机接口要求将微电极植入头骨之下的大脑皮层中，直接链接神经元细胞（即 黑客帝国（The Matrix，1999）中所采用的脑机接口方式），由此获取高质量的脑波采集；而半侵入式则是将电极植入到颅骨下方，但是未深入到脑皮层（即 升级（Upgrade，2018）中所采用的“芯片植入”方式），利用脑皮层电图记录信号；非侵入式则是将电极片贴于颅骨外，无需手术，因此接受信号较低。脑机接口技术的终极开发期许是直接将视觉、听觉、触觉、嗅觉、味觉及其他信息输入大脑神经系统。目前国际上的一些知名科技公司已经在开发相关脑机接口技术，这为“元宇宙”时6HOT TOPIC专题元宇宙电影的空间与未来研究参考文献：参考文献：1孙立军,刘跃军.数字互动时代的第三代电影研究与开发 J.北京电影学院学报,2011(04):45-50.2江志全,范蕊.“走向日常生活美学”社交短视频的时代审美特征 J.文艺争鸣,2020(08):98-103.3中国互联网络信息中心.CNNIC发布第51次中国互联网络发展状况统计报告EB/OL.(2023-03-02)2023-03-15.https:/ J.现代电影技术,2012(03):50-58.6Jonathan R.Wolpaw,Chapter 6-Brain-computer interfaces J.Handbook of Clinical Neurology,2013(110):67.7杨亮,孙立军.从化身、替身到原生 元宇宙题材电影中虚拟角色的身份类型与文化反思 J.当代电影,2023(03):152-158.代利用脑机接口超越感官刺激而进入到神经-影像，并实现“全景式沉浸影像”（如图2所示）的终极想象提供了可能。结语“元宇宙”以技术综合体、媒介综合体与互联网发展的终极形态等多重概念承载了 人类对于未来科技与艺术的永恒追求。而当下，元宇宙也已经开始从各个方面对人类的文化生活产生影响。其中，电影作为人类工业文明以来的重要文化形态，“一方面，元宇宙将不仅从技术、媒介、艺术、传播、文化与经济等角度全面而深刻地改变未来电影的生态图景；另一方面，电影也早已将元宇宙作为自身题材的表现范围。”7在“元宇宙”时代的未来影像形态方面，首先，以“交互性”作为鲜明特征的第三代电影将会得到更大程度的普及，以此带来“电影游戏化”与“游戏电影化”的双重融合现象，并改写传统电影的线性叙事逻辑；其次，以“实时化”为特征的短视频将因为传输速度的加快、传播范围的广延而进一步走向碎片化与实时化，并造成“时空压缩”，全球影像直播的时代将会加速到来；最后，以“全景化”作为特征的沉浸式影像将得到进一步发展，一方面以脑机接口为技术路径的XR影像将改变传统电影的沉浸方式；另一方面，人类向虚拟社会的大规模迁移使得人类沉浸于全景影像之中，从而造成人类文明的高度虚拟化。在“元宇宙”概念下，以上三种影像形态相互交叉融合，并以此构成当前人类对“元宇宙”时代的终极想象。而研究如何更好地把握“元宇宙”技术与传统艺术、现实空间与虚拟空间的平衡，并为传统的电影、电视剧、网络剧等影像形态保留一定的市场与美学延续，仍然需要更多学者的共同努力。图2：元宇宙时代的未来影像概念图（AIGC 自动生成）