面孔吸引力判断中的跨通道整合过程.pdf

心理科学进展 2024,Vol.32,No.5,790799 2024 中国科学院心理研究所 Advances in Psychological Science https:/doi.org/10.3724/SP.J.1042.2024.00790 790 研究前沿(Regular Articles)面孔吸引力判断中的跨通道整合过程 王羽凌 陆晓伟 武宗杰 李国根 张 林(宁波大学心理学系暨研究所,浙江 宁波 315211)摘 要 以往关于面孔吸引力判断的研究多关注视觉信息,忽视了非视觉信息在其中的作用,而现有研究已证实面孔吸引力判断中存在不同感官信息的相互作用,是跨通道整合的。为此,在以往研究的基础上,综合面孔空间模型和贝叶斯因果推理模型,推测在面孔吸引力判断的跨通道整合过程中,当个体根据感官刺激和已有的标准面孔推断不同感官信息是来自同一张目标面孔时,便自然将各种感官信息在大脑中进行整合,形成统一的目标面孔,进行吸引力的判断。未来可将面孔嵌入更广泛的环境中,考察多种感官信息的跨通道整合,并进一步探究跨通道整合的边界条件,以及社会互动中的跨通道整合,以构建更系统的面孔吸引力跨通道整合模型。关键词 面孔吸引力,跨通道整合,嗅觉,听觉,视觉 分类号 B842 1 引言 面孔是社会交往中的第一关注点,面孔吸引力(Facial Attractiveness)是指目标人物的面孔所诱发的一种积极愉悦的情绪体验并驱使他人产生接近意愿的程度(Rhodes,2006)。面孔吸引力在择偶等诸多社会交往中发挥着重要作用(Rhodes,2006;Han et al.,2020),人们在进行吸引力判断时,首先依据的便是面孔的吸引力。尽管社会呼吁“不应以貌取人”,但在现实社会中面容姣好的人依旧会受到优待(Little et al.,2011)。早期研究多认为视觉 线 索 是 面 孔 吸 引 力 判 断 的 有 力 预 测 因 素(Sorokowski et al.,2013),然而对他人的感知和判断通常涉及多个线索,如面孔、声音、气味等(Groyecka et al.,2017;White&Burton,2022)。研究证明面孔吸引力的判断也受到声音(Collins&Missing,2003;Fraccaro et al.,2010;O Connor et al.,2013)和气味(Feng&Lei,2022;Roberts et al.,2011)等线索的影响。鉴于不同感官的信息在面孔吸引力判断中的重要作用,近年来研究者将研究 收稿日期:2023-09-07 通信作者:张林,E-mail: 重点从单一视觉信息转移到非视觉信息上,探讨面孔吸引力判断中的跨通道整合过程。不同感官信息的跨通道整合(Cross-Modal Integration)有助于人类更准确、快速地理解外部世界,促进社会交往(White&Burton,2022)。在跨通道整合的研究中,普遍以判断的准确率和反应时来衡量 整 合的效果(Miller,1982;Moller&Pomiankowski,1993)。而在面孔吸引力领域中,主要关注的是个体对面孔吸引力判断的变化。例如相较于单独呈现面孔,当与声音或气味同时呈现时,女性化声音或愉悦气味能够提高对面孔吸引力的评价;反之,会降低对面孔吸引力的评价(Feng&Lei,2022;OConnor et al.,2013)。然而关于一般的跨通道整合的研究结果是否可以延伸至面孔吸引力判断中跨通道整合还有待进一步探讨,并且针对面孔吸引力判断中跨通道整合的原因以及整合机制的问题,相关研究也过于分散,无法形成系统理论。因此,本文重点关注面孔吸引力判断中的跨通道整合问题,对不同感官信息在面孔吸引力判断中的跨通道研究进行系统梳理,并将面孔加工模型和跨通道整合模型进行结合,有助于厘清面孔吸引力判断的跨通道整合过程及其第 5 期 王羽凌 等:面孔吸引力判断中的跨通道整合过程 791 加工机制,以期为未来跨通道整合研究提供理论指导。2 多感官信息在面孔吸引力判断中的作用 在信息加工过程中通常涉及多个感官通道的信息,存在对不同信息的跨通道整合。个体可以从目标对象的气味或声音中获得大量信息(Sorokowska,2013;Knowles&Little,2016;Pisanski et al.,2014),但任何基于单一感觉通道信息进行的判断都会产生一定程度的偏差,而对多个感觉通道信息的整合可以实现更可靠的评估(Moller&Pomiankowski,1993)。例如,在嗅觉方面,人类对嗅觉刺激的感知需要视觉线索的帮助才能确定其身份或社会相关性(Olofsson&Gottfried,2015)。在听觉方面,McGurk 和 MacDonald(1976)发现了麦格克效应,当同时给被试呈现“baba”的声音和“gaga”的口型(视觉刺激)时,98%的被试反应为“dada”,表明知觉系统会自动将不同感觉通道(视听)的信息整合起来,以一种共同的模式进行表征(Calvert et al.,1998;Mcgurk&Macdonald,1976)。2.1 面孔吸引力判断中视觉与嗅觉的跨通道整合 人类具有快速将面孔与气味联系起来的能力(Steinberg et al.,2012)。系列研究证据表明,在令人愉悦的气味背景下,面孔会被评价得更年轻、更迷人;而在难闻气味的环境中被试对面孔吸引力的评价会降低(Seubert et al.,2014;Spence,2021;Syrjnen et al.,2021)。针对嗅觉在面孔吸引力判断中的作用,现有研究分别从情绪和注意的角度进行了解释和论证。一些研究者指出嗅觉与情绪紧密相连(周雯,冯果,2012),气味可能是通过其诱发的情绪来影响视觉模式的处理(Feng&Lei,2022)。来自 fMRI的研究结果显示,当中性面孔与愉快的气味同时呈现时,与奖励加工有关的眶额皮层和腹侧纹状体内侧部分的激活程度会增加(Cook et al.,2018)。相反,与不愉快的气味同时出现时,与负性情绪处 理 有 关 的 杏 仁 核 被 显 著 激 活(Kahnt et al.,2010)。并且,面孔情绪和气味效价(愉悦和不愉悦)的影响是双向的,面孔的情绪也会影响到对气味的感知。研究发现,当与快乐面孔配对时,气味被认为更令人愉悦;当与厌恶面孔配对时,令人不愉快的气味被认为更强烈(Cook et al.,2017)。另有研究者指出,当气味和面孔同时呈现时,气味对面孔吸引力的增强作用可能是因为嗅觉和视觉刺激的处理都会受到注意力的影响(Rinaldi et al.,2018;Feng&Lei,2022)。一方面,嗅觉和视觉信息的整合可以提高目标对象的存在感,增加注意力(Chen et al.,2013)。另一方面,气味的愉悦性可以选择性地转移个体的注意力,将注意力引导到与气味效价相一致的视觉特征上,从而增加对目标对象的注意力(Rinaldi et al.,2018;Hermann et al.,2000)。但注意力相关的研究并不能解释不愉悦气味对面孔吸引力评价的损害作用,相比之下,嗅觉是通过诱发情绪来影响视觉模式处理的解释可能更为全面。此外,个体在感觉阈限上的差异可能也会影响到整合的效果。研究已经证明,人们对恶心气味的敏感度各不相同(Tybur et al.,2018)。通常被认为令人愉悦的气味(例如丁香花)在较高浓度下可能会被一些被试判断为恶心的气味(Syrjnen et al.,2017),而另外一些被试会将戊酸等消极属性的气味评为积极(Syrjnen et al.,2018)。由此,个体对气味的偏好存在明显差异,不同个体在将同一嗅觉刺激与视觉面孔的整合效果也就可能产生差别,进而导致对面孔吸引力的判断发生变化。但以上还只是一种间接推测,仍需要进一步的实验研究去佐证,并探讨具体的变化结果与原因。2.2 面孔吸引力判断中视觉与听觉的跨通道整合 在听觉线索方面,研究证明了声音和面孔吸引 力 之 间 存 在 关 联(Collins&Missing,2003;Fraccaro et al.,2010;Hughes&Miller,2016),面孔和听觉线索的跨通道整合会影响个体对面孔吸引力的判断。早期研究已经发现,男性会认为与高频率声音匹配出现的女性面孔更具吸引力(Collins&Missing,2003)。OConnor 等人(2013)采用视频形式同时呈现声音刺激和面孔刺激发现,相较于男性化声音,男性认为与女性化声音匹配出现的女性面孔更有吸引力。但这些研究只纳入了男性被试,研究结果的推广性有限。新近研究通过脑电技术发现,当高吸引力男性面孔和高吸引力男性声音同时呈现时,诱发了女性被试更大的 N170 波幅(Liu et al.,2023),提示面孔吸引力判断过程中视觉线索和声音线索的跨通道整合现象不存在性别差异。但 Zske 等人(2020)在采用静态792 心 理 科 学 进 展 第 32 卷 面孔图片和动态声音刺激进行研究发现面孔吸引力与声音吸引力之间并不存在相关性。针对研究之间的不一致结果,推测可能受到实验材料(动态面孔 vs.静态面孔)的影响。相较于动态面孔,静态面孔和动态声音刺激的匹配影响了整合的效果。一方面,静态面孔和动态面孔是通过不同的标准来判断,动态面孔会增加个体对积极情绪的感知强度,比静态面孔更具吸引力(Rubenstein,2005;Bowdring et al.,2021)。以往研究发现,在自然语音交流中,与语音相关的动态面部线索(例如嘴巴动作)可以为感知者提供独特的线索来评估目标对象(Drimalla et al.,2019)。另一方面,当视觉嘴巴和听觉声音不一致时会影响个体视听整合的效果(Alsius et al.,2005;Fairhall&Macaluso,2009),静态面孔图片难以提供说话者的动态信息,即便动态声音与面孔同时呈现,也会影响个体的整合效果。除此之外,个体听觉阈限水平的差异可能也会影响面孔吸引力的跨通道整合效果。研究发现,人们识别声音的能力存在广泛差异,包括通过声音来识别说话者的能力和记住声音的能力(Bestelmeyer&Mhl,2021;Mhl et al.,2018;Aglieri et al.,2017),因此当个体无法确认声音是否来自于视觉面孔所指代的同一目标对象时,听觉和视觉信息则将难以整合。但目前的研究均未深入考察个体听觉阈限水平上的差异对面孔吸引力判断跨通道整合效果的影响,其背后的影响机制更是亟需未来研究做进一步探讨和澄清。最后,在面孔吸引力的视听整合过程同样也受到情绪和注意力的影响。研究认为,听觉刺激中包含的情绪信息会影响个体对吸引力的判断(Marin et al.,2017)。并且,听觉刺激具有动态、显著的特性,能够自动吸引注意力(Li&Deng,2023),进而影响对面孔吸引力的判断。2.3 面孔吸引力判断中视听与视嗅整合的比较 情绪、注意力、感觉阈限等因素在面孔吸引力判断中的视听和视嗅整合过程中均会产生影响,但面孔吸引力判断中的视听和视嗅整合之间还是存在些许差异。首先,气味来源于身体,一方面,相较于视听觉刺激,嗅觉刺激则需要更密切的接触,在判断后期中可能占有更大的权重(Groyecka et al.,2017);另一方面,气味更多传达的是目标的身体信息(Mei et al.,2022),影响了个体对目标整体的吸引力的判断。而面孔在吸引力判断中占据关键地位(Kowal et al.,2022),因此嗅觉的影响可能会更直接地参与到面孔吸引力的判断中。其次,嗅觉刺激难以提供精确的时间和空间信息,能够自动与在现场出现或个体注意到的其他任何刺激相结合。可能存在一种嗅觉版本的鸡尾酒会效应(Rokni et al.,2014;Damjanovic et al.,2018),当同时出现多个面孔时,更容易选择与熟悉的面孔进行整合,熟悉度在其中起到更大的作用。最后,相较于视听觉信息,嗅觉信息并不局限于目标本身所散发的体香或者汗液的气味,也可以是其所使用的香水味。作为一种人工创造物,香水只有在足够频繁的使用后才可能会承担真实体味 的 部 分 作 用,提 供 有 吸 引 力 的 嗅 觉 信 号(Spence,2021)。然而对于声音而言,通过熟悉度增加并不影响对其相关特质的评估(Lavan et al.,2021)。因此,在面孔吸引力的判断中,相较于听觉声音和视觉面孔的整合,嗅觉气味和视觉面孔的整合过程中可能更多会受到熟悉度的影响,频繁接触的、亲密的与熟悉的气味和面孔的整合效果可能会更好。综上所述,面孔吸引力判断中是存在跨通道整合现象的。在判断面孔吸引力的过程中,个体不仅仅依赖于视觉信息,还会参考听觉和嗅觉线索,这些不同感官的信息共同参与了面孔吸引力的判断过程。只是,由于听觉和嗅觉刺激传达信息的内容、方式存在差异,两者分别在与视觉面孔形成整合的过程中可能受到的影响因素也略有差别,相较于视听整合,视嗅整合可能更会受到熟悉度的影响。另外,关于触觉和视觉的跨通道整合研究发现,时间和空间一致的视觉、触觉线索可以促进面孔识别(Panagiotopoulou et al.,2022),但面孔吸引力的判断是否同样存在触觉和视觉、触觉与听觉,以及三种不同感官来源的信息整合？这一点需要未来进一步的实验研究证据来证实。3 面孔吸引力判断中跨通道信息的整合机制 关于面孔吸引力判断中的跨通道整合主要探究一个核心问题：在面孔吸引力判断的过程中是如何进行感官信息的跨通道整合的？本文从认知基础和神经基础两方面分析,同时结合面孔吸引力判断的相关研究,探讨面孔吸引力判断中的跨通道整合机制。第 5 期 王羽凌 等:面孔吸引力判断中的跨通道整合过程 793 3.1 认知基础 3.1.1 基于面孔空间模型的面孔吸引力跨通道整合机制 依据面孔知觉加工领域中的面孔空间模型(Face-space Model)可知,个体的知觉经验在面孔吸引力判断中占有重要地位,个体可以根据经验信息形成特定维度的面孔标准,而对目标面孔的判断便是基于其与标准面孔的偏差程度进行的编码加工(Valentine,1991;Wuttke&Schweinberger,2019)。基于此进行推测,知觉经验在面孔吸引力判断的跨通道整合中可能存在以下两种作用。一是不同感官经验可以形成标准面孔,即个体基于以往的感官经验,形成了对面孔吸引力的期望标准。以往研究发现,在适应一系列高吸引力面孔后,个体会降低对目标面孔的吸引力评价(Van der Burg et al.,2019),表明在个体对目标面孔进行判断前,知觉经验预先塑造其了对面孔的期望。并且不单单是视觉信息,任何单一感官信息都能传递多种信息,声音也可以形成一种“听觉面孔”(Lavan et al.,2021),进而个体基于目标面孔与“听觉面孔”的差异进行吸引力判断。二是经验可以将不同感官信息进行关联,即个体在接收到一种感官的信息后自然会将其与另一种感官信息进行整合,以判断目标对象的面孔吸引力。人们普遍倾向于将有吸引力的声音与有吸引力的面孔联系起来,将没有吸引力的声音与没有吸引力的面孔联系起来,存在“听起来漂亮,看起来漂亮”的刻板印象(Hughes&Miller,2016)。当接收到的感官信息与以往经验保持一致时,判断的反应时会变快。例如,相较于声音与面孔不一致的情况,当声音和面孔的性别二态性保持一致时,被试判断的反应更快(Wen et al.,2023)。反之,当接收到与以往经验相冲突的感官信息时,则会影响到整合的实现。3.1.2 基于贝叶斯因果推理模型的跨通道整合机制 根据跨通道整合中的贝叶斯因果推理模型(Bayesian Causal Inference model,BCI)可知(Kayser&Shams,2015;Krding et al.,2007;Cao et al.,2019),实现跨通道整合,大脑首先需要根据时间和空间线索进行因果推理,确定不同的感官信号是否来自一个共同的对象,然后才能进行整合。同样,在面孔吸引力判断的跨通道整合过程中也需要首先进行因果推理,推测不同的感官信号与视觉面孔是来源于同一个目标对象。例如,当个体看到一张说话的面孔并听到声音,语音感知系统必须确定这两个信号是来自同一来源(听觉和视觉信号是由同一个人产生的),还是来自不同来源(例如房间里他人说话的声音和静音播放的视频)。首先,这个过程会受到不同感官信息的一致性的影响(Shams&Beierholm,2022)。例如听觉和视觉刺激之间的时间一致有助于跨通道信息的结合,形成一个统一的视听对象(Maddox et al.,2015)。只有当感觉信号来自一个共同的对象时,它们才能被整合,而当被试认为是这些感官刺激来自不同目标时,整合则不会发生(French&DeAngelis,2020)。研究发现,当气味在面孔之前呈现时(例如提前在房间里喷洒香水),被试不太可 能 将 气味 与 呈 现 的面 孔 联 系 起来(Chen&Spence,2017)。其次,与一般的跨通道整合过程一样,面孔吸引力判断中的跨通道整合过程同样也会受到来自不同感官刺激的强度差异的影响。整合过程遵循着逆向效应(the Inverse Effect),当一种感官输入的信息比较模糊、强度较弱时,另一种感官输入的信息则会有更强的调节作用,整合效果会更好(French&DeAngelis,2020);反之个体则会更少地参考跨通道整合的信息进行判断(Porada et al.,2019)。Feng 和 Lei(2022)在研究中通过削弱被试可感知的视觉上的面孔吸引力线索,发现愉快和不愉快的气味对个体判断面孔吸引力的影响效果的强度取决于面孔的模糊程度。最后,跨通道整合的过程会受到个体先验知识的影响(Kayser&Shams,2015;Krding et al.,2007;Badde et al.,2020),因此对不同感官信息之间存在的时空偏差才有更大的容忍度。例如,即便在不同信号没有保证空间一致性的情况下,具有视觉和触觉信号共同来源的先验知识也可以促进实现跨通道整合(Helbig&Ernst,2007)。根据上文所述,先验知识即为个体过往的知觉经验,在面孔吸引力判断的跨通道整合过程中具有重要作用,既会影响整合的效果,还会影响吸引力的判断。综上可知,面孔吸引力判断的跨通道整合与一般的跨通道整合过程基本上保持一致,遵循着相同的整合机制,感官信息和先前经验在整合过程中发挥重要作用。感官信息作为自上而下的刺激,可以捕获个体的注意力,并将不同的感官信794 心 理 科 学 进 展 第 32 卷 息汇集于目标面孔之中;依据知觉经验所形成的标准面孔作为自上而下的先前经验,可以加深不同感官信息之间的联系,促进整合的实现。但从更为微观具体的角度来看,面孔吸引力判断中的跨通道整合过程也具有其独特性。由于面孔吸引力判断更具社会性和个体差异性(Pan et al.,2022;Han et al.,2020),通过上文所述可知,情绪、感觉阈限、熟悉度在面孔吸引力判断的跨通道整合过程中也会产生重要影响,但这些因素在一般的跨通道整合过程中的作用有限。然而,当前有关情绪、熟悉度等因素是如何影响整合过程的问题,还研究尚浅,未能给出完整的机制解释。未来研究可以从面孔吸引力判断的角度出发,进一步探讨相较于一般的跨通道整合过程,在面孔吸引力判断过程中的跨通道整合的特殊性。3.2 神经基础 神经科学领域的研究发现,在跨通道整合过程中需要大规模脑网络的协调工作,不仅包括初级感觉区域,例如听觉、视觉与嗅觉皮层(Macaluso et al.,2004;Van Atteveldt et al.,2007;Porada et al.,2019),还会涉及一些对跨通道整合至关重要的高级区域,例如颞上沟(Campanella&Belin,2007;Marchant et al.,2012;Noesselt et al.,2012)、后梨状皮层(Porada et al.,2019)、前额叶皮层(Jones&Powell,1970;Romanski,2012)。在这些大脑 区域中,颞上沟(the Superior Temporal Sulcus,STS)被认为是跨通道整合和社会认知的枢纽。早有研究证明 STS 可以优先处理从面孔(Allison et al.,2000)和声音(Belin et al.,2000)中 获 得 的 社 交 信 息,并 进 行 整 合(Campanella&Belin,2007)。但 STS 主要是在视听整合中发挥作用,当涉及到嗅觉信息时是由后梨状皮层(the Posterior Piriform Cortex,PPC)处理的(Porada et al.,2019)。Porada 等人(2019)将气味、视频和声音的一种、两种和三种组合形式分别呈现给被试,发现非嗅觉信息同样能够激活 PPC,并且其活动会随着提供相关对象信息的感官数量线性增加,表明 PPC 不仅仅接收嗅觉信息,而且还接收对嗅觉处理很重要的其他感官通道的信息。同样,神经解剖学研究长期以来也一直暗示前额叶皮层(the Prefrontal Cortex,PFC)是多感官信息的汇聚区(Jones&Powell,1970),腹外侧 PFC是实现感觉融合的关联区域(Romanski,2012)。有研究者认为,在跨通道整合中 PFC 是负责评估感官信息不一致的区域,并且当感官信息模糊不确定性时,可以基于预期或先前经验进行因果推理,但其不太可能单独合并感官信息,只是选择一种最合适的感官表征来指导行为(Cao et al.,2019)。总体而言,关于面孔吸引力判断过程中跨通道整合的神经机制的研究尚且不足,只能根据以往跨通道领域的相关研究进行推论,在面孔和声音处理中占据重要地位的 STS 是否也会参与到面孔吸引力判断的视听整合中,PPC 能否参与到面孔吸引力判断的视嗅整合中,PFC 在面孔吸引力判断的跨通道整合过程中又会发挥何种作用,均需要未来进一步的研究。综上我们提出,面孔吸引力判断中的跨通道整合过程。首先,面孔吸引力的判断是基于目标面孔和标准面孔的偏差程度进行的。其次,标准面孔的形成不仅基于视觉信息,也包括其他感官信息,因此个体在接收到多个感官信息的同时,可以依据标准面孔自然将各种信息进行连接,实现跨通道整合。最后,当个体根据感官刺激和标准面孔推断不同感官信息是来自同一张目标面孔后,便自然将各种感官信息在大脑中进行整合,形成统一的目标面孔,进行吸引力的判断。另外,未来需要补充神经机制的相关研究,既为认知方面的推论提供更为直接的证据,又进一步完善面孔吸引力判断中的跨通道整合机制。4 研究展望 本文从面孔吸引力判断中跨通道整合角度出发,可以确定面孔吸引力判断中存在跨通道整合现象。表现为,个体不仅会依据视觉所见的面孔信息进行吸引力判断,听觉线索、嗅觉线索等均可能在判断中发挥作用;在跨通道整合的过程中,个体需要协调服务于自下而上、自上而下的多种机制,这些机制的神经实现涉及分布式神经网络,包括初级感觉、顶叶和额叶脑区,它们相互作用以形成和整合多种感官知觉。虽然,目前研究已取得一定的进展,但仍存在以下问题有待进一步探讨。4.1 更多感官信息的整合 在面孔吸引力判断中的跨通道整合过程中,现有研究大多数关注在视觉、嗅觉、听觉三个线索的两两整合,缺乏对触觉线索在其中作用的探第 5 期 王羽凌 等:面孔吸引力判断中的跨通道整合过程 795 讨。已有研究证明,时间和空间一致的视觉、触觉线索可以促进面孔识别(Panagiotopoulou et al.,2022)。面孔吸引力的影响因素之一就是目标面孔的皮肤健康状况,健康的面部皮肤会对面孔吸引力产生积极影响(Jones et al.,2004),而身体上的直接感受也可以丰富外在感受如视觉的感知(Kirsch&Kunde,2023),触觉感受可以让观察者更直接的体会到皮肤的状况,在判断面孔吸引力时可能需要整合触觉和视觉信息。因此,未来研究可以在要求被试进行面孔吸引力判断的同时,让其体验不同光滑或柔软程度的触觉感受,考察触觉刺激是如何与视觉面孔进行整合的,以及如何影响对面孔吸引力的判断。此外,现有研究多侧重于研究两种不同感官刺激的组合,而现实世界中会同时接收到两种及以上感官信息,并且每种感觉线索中都有大量信号。这就提出了一个问题：当存在多个感官信息以及当每种感官信息中存在多个信号时,跨通道整合是如何运作的？Debats 等人(2021)研究发现,在存在多个视觉信号的情况下,两个视觉刺激可以叠加在一起,而不是仅由一个刺激占据主导地位,这暗示了在跨通道整合过程中可能存在着复杂的交互作用和加权机制。因此,未来研究应将面孔嵌入更广泛的、多线索的环境中综合考察多种感官信息的跨通道整合,可以使用虚拟现实技术设计模拟现实世界中的多种感官环境,同时应用深度学习和机器学习技术,以处理和分析大规模的多感官数据,并且尝试构建更为完整的跨通道整合过程模型。并且,由于不同感官信息的整合既有共性,又存在差异,需要了解不同感官信息之间整合的特点,而不是简单的将所有感官信息的整合机制混为一谈。4.2 跨通道整合的边界条件 尽管越来越多的研究证明了面孔吸引力判断中的跨通道整合,但对于面孔吸引力判断中跨通道整合的边界条件尚不完全清楚。在跨通道整合领域中,意识和注意资源在实现跨通道整合中的作用也未达成共识。不少研究者认为,多感官信息的处理依赖于注意力资源的分配(Badde et al.,2020;Rinaldi et al.,2018)。在儿童的跨通道整合研究中发现,由于儿童比成人更难过滤掉不相关的刺激(Broadbent et al.,2020),他们可能需要更多的注意资源来处理和整合不同感官的信息,相较于成年人他们跨通道整合的效果更差。另一些研究者认为,跨通道整合可以在无意识中进行,无需注意资源。例如视嗅整合的研究发现,只有当嗅觉刺激低于个体的阈限水平,个体无法意识到时才会和面孔进行整合(Li et al.,2007)。但更有研究者认为,目前没有可靠的研究能证明无意识的跨通道整合,也无法证明在整合过程中不涉及注意力资源的分配,未来也不应该是去探究在没有意识的情况下是否会发生整合,而是研究整合的发生是如何随着意识水平而变化的(Yu,2023)。在面孔吸引力判断的跨通道整合过程中,可能也存在同样的争论。一方面,相关研究也表明,多感官信息能够增加个体对目标面孔的注意,进而影响对面孔吸引力的判断(Rinaldi et al.,2018;Feng&Lei,2022)。但关于该过程中注意资源的变化仅仅是间接推测,并未有研究给出确切证据表明多感官刺激能够增加对目标面孔的注意,并且注意资源的增减在面孔吸引力判断中的作用也研究尚浅。并且,关于不愉悦的嗅觉或听觉刺激对面孔吸引力判断的损害作用是如何通过改变注意资源实现的也未给出确切答案。另一方面,以往研究已经证明,个体既可以有意识也可以无意识中对面孔吸引力进行判断(Klmper et al.,2020)。但关于面孔吸引力判断中的跨通道整合过程,尚且未有研究证明也可以在无意识中进行。总之,在面孔吸引力判断的跨通道整合过程中,目前的研究没有发现无意识条件下整合处理的可靠证据,无意识呈现刺激也并不能代表现实生活中遇到的真实情况。另外关于视觉系统能够在多大程度上根据无意识感知的线索和后续目标之间的关系来引导、分配注意力仍然是一个尚未解决的问题。因此,未来研究的重点应该关注整合过程在多大程度上取决于意识感知,而不是该过程是否可以在无意识的情况下发生。4.3 社会互动中的跨通道整合 虽然人类感知中的跨通道整合没有争议,但对社会互动中的跨通道整合研究相对较少。面孔吸引力在社会交往中发挥着重要的作用(Pan et al.,2022),作为一种社会线索,其判断的跨通道整合具有复杂性,在判断过程中每种感觉通道的相对重要性可能发生动态变化。例如,视觉和声音特征在早期判断可能更为重要,而气味则需要更密切和更亲密的接触在后期判断中可能占有更大的796 心 理 科 学 进 展 第 32 卷 权重(Groyecka et al.,2017)。这表明,在社会交往的早期阶段通常涉及不同感官信息的初步加工和初级整合,吸引注意的、易得的信息更容易被整合,此时的跨通道整合是快速且自动的;随着社会互动的发展和深入,在晚期阶段,更多的社会和情感因素可能参与到面孔吸引力的判断过程中,这时嗅觉、触觉通道的作用可能显现出来。在亲密的社交情境下,气味可能扮演着更重要的角色(Groyecka et al.,2017),与视觉和声音共同构成一个更全面的面孔吸引力评价系统。其他的一些社会因素,如人际关系、情感交流等,也可能调节和影响不同感觉通道信息的整合(Scheller&Sui,2022),使整体的面孔吸引力评价更具有复杂性和深度。由此推测,在面孔吸引力判断的跨通道整合中,不同阶段的整合机制可能存在差异,早期阶段可能是一种自动化的整合过程,而在晚期阶段,整合的发生可能会受到更多情感因素的影响。不同于行为学手段,脑电研究在揭示心理加工过程中有其独特优势,且能够评估独立于行为的认知和情感过程,并确定其在神经认知系统中的功能轨迹(Liu et al.,2023)。因此,未来研究可以采用脑电技术,考察面孔吸引力判断中跨通道整合的不同阶段的整合机制,窥探社会互动中的跨通道整合机制。另外还可以采用更加生态化的材料和环境,例如采用含有“你好”等社交信号的声音作为语音素材,以增加人际互动、竞争、合作情境的真实性,研究在真实的社会互动中的跨通道整合,帮助人类更准确快速地理解外部世界,促进社会交往。参考文献 周雯,冯果.(2012).嗅知觉及其与情绪系统的交互.心理科学进展,20(1),29.Aglieri,V.,Watson,R.,Pernet,C.,Latinus,M.,Garrido,L.,&Belin,P.(2017).The glasgow voice memory test:Assessing the ability to memorize and recognize unfamiliar voices.Behavior Research Methods,49(1),97110.Allison,T.,Puce,A.,&McCarthy,G.(2000).Social perception from visual cues:Role of the STS region.Trends in Cognitive Sciences,4(7),267278.Alsius,A.,Navarra,J.,Campbell,R.,&Soto-Faraco,S.(2005).Audiovisual integration of speech falters under high attention demands.Current Biology,15(9),839843.Badde,S.,Navarro,K.T.,&Landy,M.S.(2020).Modality-specific attention attenuates visual-tactile integration and recalibration effects by reducing prior expectations of a common source for vision and touch.Cognition,197,104170.Belin,P.,Zatorre,R.J.,Lafaille,P.,Ahad,P.,&Pike,B.(2000).Voice-selective areas in human auditory cortex.Nature,403,309312.Bestelmeyer,P.E.G.,&Mhl,C.(2021).Individual differences in voice adaptability are specifically linked to voice perception skill.Cognition,210,104582.Bowdring,M.A.,Sayette,M.A.,Girard,J.M.,&Woods,W.C.(2021).In the eye of the beholder:A comprehensive analysis of stimulus type,perceiver,and target in physical attractiveness perceptions.Journal of Nonverbal Behavior,45(2),241259.Broadbent,H.,Osborne,T.,Mareschal,D.,&Kirkham,N.(2020).Are two cues always better than one?The role of multiple intra-sensory cues compared to multi-cross-sensory cues in childrens incidental category learning.Cognition,199,104202.Calvert,G.A.,Brammer,M.J.,&Iversen,S.D.(1998).Crossmodal identification.Trends in Cognitive Sciences,2(7),247253.Campanella,S.,&Belin,P.(2007).Integrating face and voice in person perception.Trends in Cognitive Sciences,11(12),535543.Cao,Y.,Summerfield,C.,Park,H.,Giordano,B.L.,&Kayser,C.(2019).Causal inference in the multisensory brain.Neuron,102(5),10761087.Chen,K.,Zhou,B.,Chen,S.,He,S.,&Zhou,W.(2013).Olfaction spontaneously highlights visual saliency map.Proceedings of the Royal Society B:Biological Sciences,280(1768),20131729.Chen,Y.C.,&Spence,C.(2017).Assessing the role of the unity assumption on multisensory integration:A review.Frontiers in Psychology,8,445.Collins,S.A.,&Missing,C.(2003).Vocal and visual attractiveness are related in women.Animal Behaviour,65(5),9971004.Cook,S.,Kokmotou,K.,Soto,V.,Fallon,N.,Tyson-Carr,J.,Thomas,A.,.Stancak,A.(2017).Pleasant and unpleasant odour-face combinations influence face and odour perception:An event-related potential study.Behavioural Brain Research,333,304313.Cook,S.,Kokmotou,K.,Soto,V.,Wright,H.,Fallon,N.,Thomas,A.,.Stancak,A.(2018).Simultaneous odour-face presentation strengthens hedonic evaluations and event-related