语言符号与知觉符号表征对外语词汇习得的影响比较：来自行为与脑电的实验证据.pdf

心理学报 2024,Vol.56,No.5,542554 2024中国心理学会 Acta Psychologica Sinica https:/doi.org/10.3724/SP.J.1041.2024.00542 收稿日期:2023-01-17*河北省教育厅科学研究项目(BJS2024082)资助。通信作者:王汉林,E-mail: 542 语言符号与知觉符号表征对外语词汇习得的 影响比较：来自行为与脑电的实验证据*任维聪1 杨 婷2 王汉林1(1河北师范大学教育学院,石家庄 050024)(2河北美术学院,石家庄 050700)摘 要 通过行为与脑电实验技术,比较外语词汇学习过程中,语言符号与知觉符号表征对词汇记忆编码与再认的影响过程,从而考察语义表征对词汇习得的影响机制。行为结果表明,语言符号与知觉符号表征条件下被试对词汇学习效果的主观判断无显著差异,但后者比前者有更高的词汇再认正确率。脑电结果表明,对于词汇编码阶段,相较语言符号表征,知觉符号表征在编码晚期诱发更正的 LPC 成分;对于词汇再认阶段,知觉符号表征条件诱发更大 N400 成分,且脑电时频分析表明该条件下出现更为明显的 波抑制及 波功率增强现象。研究结果综合表明,与语言符号表征便捷但非模态化的语义加工相比,知觉符号表征加深了词汇晚期编码的深度,并通过知觉模拟,利用多模态信息提高了词汇的形象化再认,从而推动了再认阶段的语义检索,最终内隐性地提高了词汇学习效果。关键词 语义表征,外语词汇习得,语言符号,知觉符号,EEG 分类号 B842 1 引言 1.1 语义表征及其理论发展 语义表征是指人脑将文字等信息编码并提取意义,以服务于言语、记忆等活动的认知过程。在外语词汇习得过程中,学习者需先通过语义表征完成对词汇意义的通达,以实现进一步的记忆学习,因此语义表征是进行词汇理解记忆的前提(Hulstijn,2002;Schwartz et al.,2008)。在语义表征的理论演化中存在两种分歧的观点。以语言符号表征为代表的传统认知观认为,语言符号是语义表征的载体,其带有非模态的性质,概念信息借助语言符号及符号间形成的命题网络进行传递,以一种类计算机的逻辑运算方式进行信息加工,以实现语义表征(Markman&Dietrich,2000)。而以知觉符号表征为代表的具身认知观认为,语义表征的载体是带有形象具身(或称多模态)特征的知觉符号,丰富的感知觉和情绪体验通过知觉模拟参与了表征过程,使其表现出形象的知觉特性(Barsalou,1999)。语言符号和知觉符号理论在解释语义表征的模态化性质上各执一词。随着心理语言学与相关认知神经科学研究的积累,整合两种符号表征的观点得到了越来越多的认同。这类符号整合的观点认为,人脑中存在源于抽象语言符号系统与源于感知觉神经信号的两种意义加工通路,分别涉及了语言符号与知觉符号系统,完整的知识表征体系由这两种符号系统共同塑造(Bi,2021;Borghesani&Piazza,2017)。两种符号表征模式的认知特性不同,各自适用于不同的认知活动。具体而言,语言符号表征可以通过非模态化的信息传递,实现语义的快速通达,但其认知加工程度浅且粗糙,因而在简单、表面性的语言理解活动中发挥主要作用;而知觉符号表征需通过深度知觉模拟,以多模态信息加工的方式完成语义通达,故其对材料的加工程度深且精细,但认知效率相对较低,因而在复杂深层的语言理解任务 中 占 主 导 地 位(Dove,2009;Louwerse,2011;第5期 任维聪 等:语言符号与知觉符号表征对外语词汇习得的影响比较:来自行为与脑电的实验证据 543 Paivio,1991)。符号整合观也得到了一些认知神经科学层面的证据支持。例如在脑成像领域,一些研究发现,语言加工既涉及左下额叶、颞叶前中部等与语义加工和概念编码相关的脑区,又涉及感觉皮层及运动区等处理知觉特征的脑区,而顶下小叶、左脑岛等脑结构还会负责对语言和知觉特征信息进行联合分析(Borghesani&Piazza,2017;Pulvermller,2013)。上述研究为语言加工涉及语言与知觉符号系统的联合参与提供了支持。此外,一些脑电研究又进一步揭示了人脑对两种符号信息加工的时间进程特点。例如Louwerse和Hutchinson(2012)通过EEG溯源技术发现词汇的意义分析涉及语言与知觉符号信息的共同参与,并且在对语义的分析处理上,前者早于后者。王汉林等人(2020)的脑电研究发现,语言符号信息在概念加工中优先被激活并发挥持久影响,而知觉符号信息则通过促进知觉模拟,在概念加工的中后期发挥了主要作用。综合来看,语言加工的早期阶段主要涉及语言符号简单、快速的语义处理,而晚期阶段则与知觉符号所主导的复杂知觉模拟相联系,这与符号整合观对两种表征模式认知特性的分析相吻合(Louwerse et al.,2017)。总之,在语义表征系统的构成上,两种符号表征模式并不是非此即彼的关系,二者各有优劣之处,其能否充分发挥作用取决于具体认知任务的需求。1.2 语言符号与知觉符号表征在外语学习中的作用 符号整合观对两种表征模式的分析为理解外语学习中的语义表征特点提供了启示。首先,在外语词汇习得过程中,学习者需要在掌握词义基础上,将其与词汇音、形相结合。而语言符号表征作为一种便捷的语义通达途径,能够帮助学习者迅速理解词义,以进行后续的识记。因此语言符号表征是外语学习活动中经常被利用的表征模式。以往有关研究为此提供了支持。第一,二语习得的研究表明,外语学习者常借助母语实现对外语词汇的语义通达(Linck et al.,2009;马拯,2015)。第二,来自二语认知研究发现,外语熟练度会反向调节母语在外语语义通达中的作用,外语熟练度越低,外语加工中的母语依赖现象越明显(Garbin et al.,2011;郭桃梅,彭聃龄,2002;王瑞明 等,2016;张冲 等,2015)。第三,外语熟练度亦会正向调节知觉符号信息在语义通达中的贡献,双语者在加工越熟悉的外语词汇时,越会更大程度的激活词汇所涉及的知觉符号信息(Baumeister et al.,2017;Foroni,2015;沈曼琼 等,2014)。上述研究综合表明,对于大多数人而言,在熟练度较低的外语学习阶段,母语对外语的语义表征发挥了主要影响。学习者在面对并不熟悉的外语词汇时多会借助母语获得命题化的意义信息以快速表征外语语义,而对感知运动等知觉符号信息的应用则相对较少,故外语学习过程常体现出语言符号表征的特点。其次,语言学习的效果与对学习材料的认知加工深度密切相关。而知觉符号表征通过利用多模态信息通达语义,可提供深层精细的语言加工,这对敏感于认知加工深度的外语学习亦具有重要意义。相关具身研究为此提供了支持。例如,成人通过观察实物学习新颖词汇时会将实物的空间信息编码进概念系统,以促进对词汇的回忆(ttl et al.,2017);相似的研究还发现,执行与学习材料相关的手势和身体动作会强化学习者对语言材料的理解与记忆(Casasanto&de Bruin,2019;Hald et al.,2016;王斌 等,2019)。此外,发展心理学的研究发现儿童对于词汇的学习与身体感知部位有关,与嘴、手等感知部位相关词汇的掌握时间早于与身体部位无关的词汇(Maouene et al.,2008);相较于“外语母语”关联,“外语图片”关联的词汇教学方法更有利于儿童从一开始建立外语词汇与外语语义的直接联系(Comesana et al.,2009)。以上研究表明,感知运动信息会对语言的认知加工起到辅助作用,因此在外语词汇学习过程中合理使用知觉符号表征将会促进这些知觉信息编码进词汇记忆之中,使其作为有效的语义提取线索,帮助完成外语词汇学习。1.3 两种符号表征对词汇习得的影响过程分析 虽然有关语义表征的大量研究为探明两种符号表征模式对语言学习的影响提供了启示,但就外语词汇习得过程而言,尚有以下问题需要探讨。其一,当前有关研究或多关注母语对外语词汇语义通达的影响,侧重探讨语言符号表征在外语学习过程中的作用,或多将知觉符号作为一种语言学习的辅助工具加以考察。因此尚不清楚由知觉符号系统所主导的表征模式对语言学习的影响,亦缺乏对两种表征子系统影响效应的综合比较。其二,有关语义表征的神经科学研究多针对于熟练语言或已习得词汇的加工过程,这与语言习得过程还存在区别。因此不同表征方式对外语词汇学习的影响过程及其认知神经机制尚不明确。基于上述研究现状,本研究关注的问题是,两种符号表征作用下的外语词汇学习效果是否存在544 心 理 学 报 第56卷 差异？这种差异背后的认知神经机制又是什么？鉴于知觉符号表征多模态认知特性的优势,以及大量有关感知运动经验促进学习记忆的实验证据,本研究首先预测,知觉符号相较语言符号表征应能对外语词汇学习发挥更为积极的作用。在此基础上,本研究进一步对两种符号表征影响词汇习得的过程进行如下分析预测。第一,根据符号整合理论,语言符号表征带有快速、浅层的认知加工特点而知觉符号表征的特点则相对更为深层且精细化。此外有关多模态语义记忆的研究认为,手势、图像等知觉信息可以丰富对词汇的记忆编码,使编码过程既涉及了语义处理又包含感知经验加工,同时感知经验也会引起语义处理,故丰富的感知经验可以促进语义加工并诱发对记忆词汇的深度编码(Macedonia et al.,2019;Mulligan&Hornstein,2003)。根据上述研究结论预测,在外语词汇识记过程中,两种符号系统影响下的词汇记忆加工深度应当存在区别。相较于非模态化的语言符号表征,知觉符号表征借助多模态信息通达语义的过程应当更为复杂,这会使语义记忆的编码深度增加。第二,进一步对词汇语义的记忆提取过程进行分析预测。根据记忆加工层次理论,深层的编码加工往往带来更好的记忆效果。而不同表征模式下编码深度差异的后续影响可能体现在提取过程中的知觉模拟程度及由此引发的语义形象化程度层面。以往具身记忆相关研究发现,相较于非模态的语义表征,多模态语义表征可为词汇语义网络的构建提供丰富且形象化的语义节点,使得记忆提取过程中对 词 汇的 语义 激 活阈 值更 容 易达 到检 索 要求(Capone&McGregor,2005)。此外知觉符号表征的一个显著特点是可通过知觉模拟实现先前经验的重现,这可能又会使语义节点的激活得到强化。因此进一步预测,受先前多模态语义编码的影响,知觉符号表征模式下构建的词汇语义节点更为丰富形象。同时该模式又会在记忆提取过程中诱发更为强烈的知觉模拟,这会易化先前建立的丰富形象节点的重新激活,从而促进词汇语义的提取。最终,相较依赖于抽象非模态信息加工的语言符号表征模式,知觉符号表征在丰富的多模态信息编码与更为强烈的知觉模拟的作用下,将会带来更为优势的记忆提取效果。为了验证上述有关语义表征影响词汇习得过程的预测,本研究采用词汇记忆再认范式,通过在记忆编码阶段呈现语言(母语)和非语言(方位空间与运动线索)示意材料,启动被试对外语词汇的语言符号与知觉符号表征。以记忆编码和再认阶段的外语词汇为探测目标,利用行为与脑电实验技术,系统比较两种符号表征对词汇记忆编码与再认过程的独立影响,揭示语义表征方式影响词汇习得的认知过程及相关的神经机制。1.4 关注的脑电特征 首先,对于记忆编码阶段,为检验两种符号表征对词汇编码深度的影响,本研究首先关注编码过程所诱发的晚期正成分(LPC)。以往记忆研究发现,该成分反映了对记忆材料的高级精确编码(陈燕妮 等,2011),其幅值与认知资源的投入呈正相关(Rosburg et al.,2015),并且记忆加工深度越大,LPC的振幅越高(Rugg et al.,1998)。根据上述研究结论,本研究预测相较语言符号表征快速但浅层的语义通达过程,知觉符号表征会利用空间、运动知觉等信息对词汇产生更为精细化的语义编码加工,这一过程将消耗更多认知资源并加深记忆加工深度,从而诱发更正的LPC成分。其次,对于再认阶段,为检验两种符号表征对词汇语义的形象化提取程度的影响,进一步关注词汇再认所诱发的N400成分。以往研究发现N400成分反映了长时记忆中语义表征的激活(Kutas&Federmeier,2000),其幅值与词汇的语义联想维度呈正相关(Laszlo&Federmeier,2011;Muller et al.,2010)。此外,一些研究发现N400成分能够反映词汇的形象化加工程度(Holcomb et al.,1999;Lai et al.,2019),具有高意象性的词汇能够诱发更大的N400,表示其能产生更广泛的语义联想,从而对词汇的回忆发挥了积极影响(Nittono et al.,2002)。综合上述研究结论,预测语言符号表征为词汇提供再认检索的语义节点较为抽象单一,这限制了词汇语义联想,使检索过程更为抽象化。而知觉符号表征会通过编码空间、运动等多模态信息,为词汇构建更为丰富的语义节点。同时该条件在再认阶段会通过知觉模拟激活先前构建的多模态语义节点,从而提高词汇的形象化加工,并诱发更大的N400成分。另外,为检验再认阶段两种符号表征模式的知觉模拟程度,另从脑电时频域层面对再认过程中的波(813 Hz)特征进行分析。已有研究发现,当被试执行或观察、想象某活动时,感觉运动区域神经元会出现不同步的激活,这会抑制该区域的节律震荡,使其功率减弱(Debnath et al.,2019;Fox et al.,2016)。因此,波抑制被认为可以有效标记感知运第5期 任维聪 等:语言符号与知觉符号表征对外语词汇习得的影响比较:来自行为与脑电的实验证据 545 动皮层镜像神经元的活动(Brunsdon et al.,2019;Pineda,2005;官群,2019)。而镜像神经元一直被看作是知觉模拟的神经基础,通过知觉模拟获得替代经验,实现意义理解的过程依赖于镜像神经元的活动(伍丽梅 等,2007)。在本研究中,考虑到词汇的形象化再认过程可能源于知觉模拟的作用,因此本研究另考察词汇再认阶段的波抑制现象,预测知觉符号表征将会强化语义再认阶段的镜像神经元活动,使对词汇的知觉模拟程度增强,从而产生相较语言符号表征更为明显的波抑制现象。最后,为检验两种表征模式对记忆检索效果的影响,本研究还对词汇再认所产生的频段(47 Hz)功率变化进行考察。关于记忆提取的脑电研究表明,频段(47 Hz)功率的增加与记忆的成功检索有关(Herweg et al.,2020;Solomon et al.,2019)。综合上述对编码和再认阶段两种表征方式的分析,预测在经过深度语义编码及由知觉模拟引起的形象化加工后,知觉符号表征条件下不同词汇的语义区分将更为鲜明,这会促进被试对词汇语义进行更为精确的检索。因此相较于语言符号,知觉符号表征条件下词汇的再认将会产生更明显的波功率增强现象,并最终表现出更高的再认正确率。综上所述,本研究通过对相关脑电时域、时频域特征进行考察与比较,从词汇记忆编码阶段的认知加工深度、再认阶段对词汇的知觉模拟与形象化加工程度,以及语义检索效果等方面探讨语言与知觉符号表征方式对外语词汇习得的影响效果及其认知神经机制。此外,本研究另考察编码阶段被试对词汇的学习判断(judgement of learning,JOL)评分,以及再认阶段的词汇再认正确率,从主观评价和客观成绩两方面考察两种表征方式对外显词汇学习行为的影响。2 方法 2.1 实验目的 考察并比较语言符号与知觉符号表征对外语词汇记忆编码与再认过程的影响,检验两种语义表征模式对外语词汇习得的独立影响机制。2.2 被试 根据Cohen(2013)的研究,理想的统计检验力和效应量均需高于0.8。以此为标准,使用GPower软件(http:/www.gpower.hhu.de/)进行估计,在单因素两水平组间设计中所需的总样本量为52。依据此数量招募非外语专业的在校大学生59人随机分配到两个实验组进行实验,所有被试裸眼或矫正视力均正常,母语均为汉语,其中7人因再认正确率低(正确率剔除标准见3.1)或脑电伪迹较多予以剔除,最终选取两个实验条件各26人的行为及脑电数据进行分析(其中男生共20人),平均年龄21 2.37岁。2.3 实验材料 为便于对被试的语义表征方式(特别是知觉符号表征)进行操纵,对实验材料的语义复杂程度进行控制,研究以空间方位词为例,选择“上”、“下”两类语义作为学习对象。同时,为有效模拟学习过程,并保证实验试次数量满足脑电信号处理要求,从被试群体完全陌生的语种(如俄语、阿拉伯语、泰国语、蒙古语等)中挑选词汇。最终选取80个涉及“上”、“下”含义的多国语言词汇,所有词汇中均不含“上、下、up、down”相关的笔画或字母信息,以防止被试在学习过程中进行策略加工。最后组成4组词单,每组包括“上”、“下”语义外文词各10个,用于词汇的记忆编码阶段。对4组词汇的长度,知觉特征等进行匹配。另按以上标准选取若干其他意义的外文词汇作为再认阶段的填充材料(每组词单10个)。实验的两种表征条件下均使用相同的词单。2.4 实验设计和程序 采用单因素被试间设计。自变量为记忆编码阶段的语义表征模式,分为语言符号表征和知觉符号表征两个水平;因变量为被试对外文词汇的记忆效果,行为指标包含被试在编码阶段对词汇的JOL评分,以及再认阶段的正确率;脑电指标包括编码阶段诱发的LPC成分;再认阶段诱发的N400成分以及时频域的波和波。实验流程分为对外语方位词的记忆编码阶段和再认阶段。编码阶段通过相继呈现示意材料与外语词汇的方式,让被试对词汇进行学习。为有效操纵两种语义表征方式,实验程序进行了如下考虑:首先,根据符号整合的相关理论,两种符号表征的主要区别在于:(1)语言符号与知觉符号表征分别代表了源于语言输入与感知觉经验的认知系统(Bi,2021),前者一般可直接被言语刺激激活,而后者一般可直接被知觉客体或图画激活(Paivio,1991);(2)在表征过程中,二者的差异体现在知觉模态信息的参与程度上(Louwerse,2011)。据此,本研究分别选择中文与知觉线索作为语言与知觉符号表征条件下的示意材料。通过呈现中文,以相对抽象的字符信息来传递外语词汇的语义,从而促进被试对词汇的语言编码并减少被试对语义的多模态加工,546 心 理 学 报 第56卷 以实现对外语词汇的语言符号表征;通过移动的箭头以及词汇呈现的空间位置,以相对形象的知觉线索来传递语义,从而促进被试利用非语言系统进行多模态语义加工,以实现对外语词汇的知觉符号表征。其次,为尽可能在词汇学习过程中剥离两种表征方式,研究采用被试间设计,被试仅重复接受一种示意材料,通过对单一符号启动刺激的重复程序化的学习,以尽可能使两种实验条件下的词汇学习侧重使用不同的表征方式,达到实验性分离;最后,在正式实验开始前,主试会对不同表征条件的学习要求进行说明,被试均需接受练习,以熟悉不同学习过程。实验流程具体如下。编码阶段:被试佩戴好电极帽坐在电脑前,首先在屏幕中央呈现注视点“+”,5001000 ms的随机时间后,呈现示意材料1200 ms,指示其后需要记忆的外文词汇的意义。语言符号表征条件下的示意材料为呈现在视野中央的汉字“上”或“下”,通过汉字诱发被试对随后外语方位词的语言符号表征;知觉符号表征条件下的示意材料为呈现一段向上或向下运动的箭头动画,指示相应的空间方位,进而通过空间知觉诱发被试对随后外语方位词的知觉符号表征。随后,在示意材料的位置呈现一个相应意义的外文词汇,为控制被试的学习时间,词汇统一呈现5000 ms,要求被试对其进行记忆,同时记录被试记忆词汇时的EEG信号。最后,进行学习判断(JOL),呈现指导语:“判断你有多大把握在接下来的测验中回忆出刚才的词汇(“0”是完全没把握,“10”是完全有把握)”,要求被试对刚呈现的外文词的记忆把握程度进行11点评分。再认阶段:被试在记忆阶段需要连续记忆20个词汇(即一个词单),记忆结束后,进行30 s的心算,然后进入再认阶段。在再认阶段中,首先呈现中央注视点500 ms,然后随机呈现一个外文词汇(可能是编码阶段学习的词汇,即旧项目,或填充材料),要求被试对词汇进行再认并对语义作分类,即“上”按“F”键、“下”按“J”键、没学过(即填充材料)按“空格”键。再认过程中记录被试的EEG信号。被试在正式实验前会进行一组练习以熟悉实验流程(练习材料与正式实验材料不同)。正式实验分4个block,每个block完成一组词单的记忆(“上”、“下”外文词汇各10个)和再认(“上”、“下”及填充材料各10个)。为了防止被试疲劳,在block之间会让被试进行充分休息。实验流程图见图1。脑电记录:采用NeuroScan 4.5软件进行脑电数据的采集与分析。使用国际1020系统扩展的64导电极帽记录EEG。在采集过程中,参考电极放置于左侧乳突,在进行离线分析时转为双侧乳突平均作为参考。头皮与电极接触的电阻值维持在5千欧以下,同时记录垂直眼电(VEOG)和水平眼电(HEOG)。采样频率为1000 Hz,在线滤波带通为0.05100 Hz,并在离线分析时对数据进行30 Hz(24 dB/oct slope)的无相移低通滤波。离线分析时矫正眼电伪迹,并在分段和基线校正后排除错误反应分段以及波幅在 75 V以外的伪迹信号。时域ERP分析:以外文词汇出现前200 ms(作为基线)到词汇出现后的1000 ms进行脑电分段,通过平均波幅的测量方法测定各实验条件下的LPC成分(编码阶段400800 ms)和N400成分(再认阶段200400 ms)。在对两个ERP成分的分析中划定5个 图1 知觉符号表征(上图)与语言符号表征(下图)条件实验流程 第5期 任维聪 等:语言符号与知觉符号表征对外语词汇习得的影响比较:来自行为与脑电的实验证据 547 电极区域,分别为:前额区(F3、F1、FZ、F2、F4)、额中央区(FC3、FC1、FCZ、FC2、FC4)、中央区(C3、C1、CZ、C2、C4)、中央顶区(CP3、CP1、CPZ、CP2、CP4)、顶区(P3、P1、PZ、P2、P4)。将每个区域内记录电极的数据进行平均。时频分析:在进行时频分析之前,重新截取预处理后的正确再认旧项目的EEG数据(截取分段时长:5001000 ms)。使用letswave7工具包(https:/ 数 据 转 化 为 时 频 域 数 据,使 用Complex Morlet小波函数,分别设置带宽和中心频率为1和1.5,分析频段范围为130 Hz。小波变换后将单个试次的时频表征进行平均,以得到每个被试在每个条件下的平均时频表征。计算每个频带上的事件相关 频 谱 震 荡(event-related spectral perturbation,ERSP),从而获得EEG节律的神经震荡。为了避免小波变换时边缘伪迹对基线的影响,在计算 ERSP 时,以再认词汇出现前500200 ms为基线,利用公式ER%=(Xi Mb)/Mb,进行基线校正,其中Xi指在特定时间和特定频带下的信号能量,Mb指特定频带基线的平均能量。根据事件相关频谱振荡的数据统计图确定再认阶段中的波(813 Hz,200800 ms)和波(47 Hz,200800ms)的分析时长。使用与ERP分析中相同的电极区域划分,将相应时频范围内的数据平均值进行统计分析。在时域和时频域数据的方差分析过程中,当球形假设不成立时,采用Greenhouse-Geisser法校正p值。3 结果 3.1 行为结果 首先为进一步排除实验不认真的被试数据,根据二项分布性质计算再认正确率的剔除标准:被试 在每个再认block中均需要对30个项目进行三选一的判断,每个项目完全猜测对的概率为0.33,此时完全凭猜测所构成的再认成绩的二项分布接近正态分布,据此计算被试的再认正确率需高于47.5%才能认为词汇学习过程有效。剔除再认正确率在此标准以下以及ERP伪迹较多的被试数据。然后对被试在两个条件下的JOL评分以及再认正确率(图2)进行独立样本t检验。结果表明,被试在知觉符号表征条件下的再认正确率(0.74 0.10,平均数 标准差,下同)显著高于语言符号表征条件(0.67 0.11),t(50)=2.53,p=0.015,95%CI 0.02,0.13,d=0.68;而知觉符号表征条件下的JOL评分(5.87 1.05)与语言符号表征条件(5.83 1.20)不存在显著差异,t(50)=0.14,p=0.89。3.2 脑电时域结果 记忆编码阶段:对记忆编码阶段LPC平均波幅(图3)进行2(知觉/语言符号表征)5(电极位置)因素的重复测量方差分析,结果表明,两因素交互作用不显著,F(4,200)=0.07,p=0.87;表征方式主效应显著,F(1,50)=4.85,p=0.032,95%CI 0.13,2.80,2p=0.09,知觉符号表征条件下的LPC平均波幅(5.64 2.23 V)显著高于语言符号表征条件(4.17 2.56 V)。此外,电极主效应显著F(4,200)=129.78,p 0.001,2p=0.72。再认阶段:对正确再认的旧项目所诱发的N400平均波幅(图4)进行2(表征方式)5(电极位置)因素重复测量方差分析,结果表明,两因素交互作用不显著,F(4,200)=0.79,p=0.40;表征方式主效应显著,F(1,50)=5.08,p=0.029,95%CI 0.17,2.98,2p=0.09,知觉符号表征(5.26 2.13 V)比语言符号表征(6.84 2.86 V)诱发了更明显的N400;此外,电极主效应不显著,F(4,200)=1.31,p=0.26。图2 语言符号与知觉符号表征条件下被试对外语词汇记忆效果的主观评价(学习判断JOL评分,左图)与客观测评(再认正确率,右图)结果 548 心 理 学 报 第56卷 图3 两种表征条件下词汇记忆编码阶段诱发LPC及其差异波(虚线实线)地形图 图4 两种表征条件下词汇再认阶段诱发N400及其差异波(虚线实线)地形图 3.3 脑电时频域结果 再认阶段,对正确再认的旧项目的ERSP结果(图5)进行分析如下。对频段ERSP的重复测量方差分析结果表明,图5 两种表征条件下频段(实线框)和频段(虚线框)的ERSP结果 第5期 任维聪 等:语言符号与知觉符号表征对外语词汇习得的影响比较:来自行为与脑电的实验证据 549 表征方式和电极的交互作用显著,F(4,200)=4.76,p=0.018,2p=0.09。进一步简单效应分析表明,在各电极位置,知觉符号表征下的波能量均显著低于语言符号表征条件,ps 0.001(而另一个简单效应方向上,两种表征条件下各自电极位置之间的差异则有所不同,不再赘述)。此外,表征方式主效应显著,F(1,50)=25.60,p 0.05。此外,表征方式的主效应边缘显著,F(1,50)=3.60,p=0.064;电极位置主效应显著,F(4,200)=20.16,p 0.001,2p=0.29。相较语言符号表征,知觉符号表征条件下出现了更明显的额区波功率增强现象。4 讨论 本研究通过行为与脑电实验技术考察了外语词汇学习过程中,语言符号与知觉符号表征对词汇记忆编码及后续再认过程的影响。行为结果表明,知觉符号表征条件下,被试对词汇的记忆效果优于语言符号表征,表现为前者的词汇再认正确率显著高于后者。脑电结果进一步提供了两种表征方式对词汇记忆产生不同影响的神经电生理活动证据。具体而言,在记忆编码阶段,知觉符号表征相较语言符号表征在编码晚期诱发更大的LPC成分。此外,两种表征方式对词汇记忆的影响又延续到再认阶段,表现为知觉符号表征相较语言符号表征诱发了更大波幅的N400成分;在脑电时频域层面,知觉符号亦比语言符号表征条件出现更强烈的波抑制与额区波能量增强现象。值得注意的是,从行为结果上看,虽然知觉符号表征条件下的词汇再认正确率显著高于语言符号表征条件,但两种表征条件下的JOL评分没有显著区别,这说明被试对知觉符号表征的记忆优势效应并没有明显的主观感受,两种表征方式对词汇记忆的影响差异可能更多体现在内隐的认知过程之中。而这种内隐认知过程的差异从本研究的脑电结果中得到了进一步解释。下面分别就表征模式对外语词汇记忆编码和再认阶段的影响进行讨论。4.1 语言符号与知觉符号表征对外语词汇记忆编码过程的影响 对词汇记忆编码阶段的脑电分析发现,外语词汇的记忆加工所诱发的LPC成分在两种符号表征条件下出现了实验性分离,更正的LPC成分表明知觉符号表征强化了对词汇的晚期深度编码。以往有关两种符号信息加工时间进程的研究也表明,相较于能够快速分析加工的语言符号,知觉符号信息的处理更为复杂,因此其效应的发挥更为滞后(Louwerse&Hutchinson,2012;王汉林 等,2020)。在本研究中,由于语言符号表征具有快捷通达语义的认知特性,这使得被试对词汇的晚期语义分析变得相对容易。被试可以借助母语迅速通达外语词汇语义并进行记忆,虽然这一过程无需进行复杂的认知加工,但其对外语词汇语义的分析处理也较为粗糙,使晚期记忆编码处于相对浅加工的状态。而知觉符号表征条件下被试需要通过示意箭头与词汇空间位置等知觉信息理解外语词汇意义,因此相较母语快速传递语义而言,该条件下词汇的语义通达过程更为复杂。被试利用带有多模态性质的知觉信息对外语词汇的意义进行分析,使对词汇的语义编码加工更为精细化,同时这一过程消耗了更多的认知加工资源,这使知觉符号表征条件在词汇加工晚期诱发了更大的与认知负荷及语义综合分析相关的LPC成分。而考虑到加工层次对记忆效果的影响,在编码阶段更多认知资源投入的意义在于可为记忆材料提供更深层次的加工,从而为后续的记忆提取产生积极影响(Craik&Tulving,1975)。一些研究也证实,语义表征的深度是影响单词检索的重要因素(Capone&McGregor,2005)。因此知觉符号表征条件下词汇记忆编码的认知负荷虽然更大,但由其产生的深层精细的语义编码会对语言学习发挥积极的效应,这将具体体现在对词汇的再认过程中。4.2 语言符号与知觉符号表征对外语词汇再认过程的影响 首先,通过对词汇再认过程的脑电时频域分析可以发现知觉符号相较语言符号表征条件下出现了更明显的波抑制现象。以往研究表明,波抑制是镜像神经元活动的神经特异性指标(Pineda,550 心 理 学 报 第56卷 2005;官群,2019),而镜像神经元又是知觉模拟的神经物质基础(伍丽梅 等,2007)。通过知觉模拟实现情境化、仿真化的多模态认知加工,其底层基础反映的是镜像神经元的活动。本研究中,由于知觉符号表征条件促进了被试在编码阶段将知觉信息融入词汇语义网络,同时得益于先前精细化的语义编码过程,因此当词汇再次出现时,被试对词汇的知觉模拟得到了强化,先前编码的空间知觉信息随之激活以促进被试对词汇语义的检索。这一过程伴随着镜像神经元的活跃,使与词汇语义相关的感知运动联结增强,从而产生了较强烈的波抑制现象。而语言符号表征条件下,被试仅能以先前母语的语义作为词汇的再认线索,这使得再认过程更多依赖于对抽象语言符号信息的检索。多模态语义信息的缺失以及更为抽象化的再认加工模式使语义检索过程中镜像神经元活动减弱,被试对词汇的知觉模拟相应受到了限制,因此语言符号表征条件下未见明显的波抑制。其次,两种表征条件对词汇再认的影响进一步体现在脑电时域层面诱发的与语义加工相关的N400成分上。虽然在本研究的两种表征条件下,被试学习和再认的外语词汇相同,但词汇再认所诱发的N400却出现显著差异,说明不同表征条件对词汇语义加工方式产生了影响。受先前多模态语义编码的影响,知觉符号表征条件下词汇的语义联想维度更加丰富。同时相较于对非模态化语言符号信息的检索,知觉符号表征条件通过知觉模拟使得与语义相关的知觉信息得到了充分激活,最终使再认过程中对词汇的形象化加工程度提高,并诱发了更大的N400。总之,N400成分所指示的再认加工的形象化程度与波抑制所指示的镜像神经元活跃相互映证,共同反映出词汇再认阶段,两种符号表征条件所引起的语义检索模式存在差异,而这种差异可归因于不同程度的知觉模拟。最终,不同表征方式的编码与语义提取差异影响了词汇语义检索的效果,使两种表征条件下词汇再认阶段的波产生区别。相较语言符号,知觉符号表征条件下被试对词汇的正确再认过程中出现了更为强烈的波能量,且这一现象集中出现在额叶区域。以往研究表明,波的振荡与成功学习和记忆相关(Herweg et al.,2020),同时一些研究指出,额叶参与了工作记忆和情景记忆的编码和检索过程,其功率会随工作记忆保留需求的增加而增加(Eschmann et al.,2020;Hsieh&Ranganath,2014)。在本研究中,相较语言符号信息,知觉符号表征所提供的多模态语义信息在保持过程中对工作记忆资源的需求会更多。同时在再认阶段,知觉符号表征又会促进被试综合调用这些与词汇语义相关的多模态记忆线索,通过知觉模拟“重现”编码阶段词汇呈现的情景,从而完成对词汇的语义提取。此外具身记忆研究表明,由于多模态信息的编码特征更为明显,故由此产生的记忆痕迹会更少受到记忆项目间的干扰(Casasanto&de Bruin,2019)。因此相较于依赖抽象非模态化的母语语言符号检索,知觉符号表征条件所启动的空间、运动等信息为词汇塑造了鲜明化的语义特征,使不同语义词汇之间的相互干扰减弱。以上因素促进的词汇语义的精确再认,从而使知觉符号表征条件下波能量得到增强,并最终反应在外显行为层面,提高了外语词汇的再认正确率。值得注意的是,为能有效操控语义表征方式,达到足够的研究精确性,本研究的实验材料仅采用了“上”、“下”两种语义概念。这可能会使学习过程产生一定的质疑,即在重复对两种简单语义的多国外语词汇进行学习时,由于语义较单一,被试可能仅需辨析不同的词形而不用理解词汇语义。但是由于本研究的再认阶段即需要区分学习/未学习过的词汇,又要对学习过的词汇进行语义回忆方能做出判断。故单纯的词形辨析不足以使被试完成再认测试。受测试程序影响,被试在学习阶段既需要识记不同的词形,亦需要仿照真实外语学习情境,将各词汇与对应语义建立形义连接。因此有理由相信,实验任务可以有效检验外语词汇学习过程以及语义表征对这一过程的影响。当然,受实验材料与程序严格控制的影响,本研究确实与真实外语学习情境存在一定差异。未来研究可进一步考察语义表征对包含更多概念的外语词汇学习的影响,并进一步考虑如何在真实学习情境中对语义表征方式进行操纵与检验。4.3 基于语义表征视角的外语教学思考 本研究通过综合比较语义表征的两个子成分,即语言符号与知觉符号表征对外语词汇记忆编码及语义再认的影响,揭示了知觉符号表征对外语词汇学习的积极作用,因此日常语言(特别是外语)教育教学应注重对知觉符号表征模式的强化训练,使学习者能够灵活运用感知觉、运动觉等多模态经验提高语言表征的丰富性,以实现对语言材料的深层加工,并避免由单一抽象的语言符号表征所导致的第5期 任维聪 等:语言符号与知觉符号表征对外语词汇习得的影响比较:来自行为与脑电的实验证据 551 机械枯燥的学习过程。同时也需注意到,在本研究中,虽然知觉符号表征能够带来更高的词汇再认正确率,但被试在记忆编码阶段的JOL评分并未在两种表征条件下出现显著差异,表明至少在学习过程中,知觉符号表征未能引起更为自信的主观学习感受。语言符号表征所具有的快速通达语义的优势可能平衡了JOL评分的差距。这可以从现实学习情境中得到支持,即外语学习者往往倾向于借助母语信息来学习外语词汇,这在一定程度上可以减轻词汇学习的认知负担,给被试带来便捷流畅的学习体验,从而提高学习判断。因此在证明知觉符号表征为外语学习提供了认知优势后,应进一步思考的是如何在实际学习过程中让学习者自觉主动地利用这种优势。此外,对两种表征模式的应用需考虑现实情况:根据符号整合理论及相关实证研究,一方面,语言符号相较知觉符号便于学习者快速获取学习材料的语义信息(Louwerse et al.,2017;王汉林 等,2020),实际外语学习也不可能完全脱离语言符号信息(例如很难在学习外语时摆