手势影响认知活动的作用机制探析.pdf

收稿日期：2023-03-26作者简介：姚志刚（1976），男，讲师，硕士，研究方向：教育心理，贫困心理。通信作者：刘凤英（1976），女，副教授，博士，研究方向：教育心理，认知心理。基金项目：河北省研究生课程思政示范课程“心理发展与教育”（YKCSZ2021161）；河北省社会科学基金项目“精准扶贫背景下贫困农民心理资本与经济行为的研究”（HB17JY041）；河北省社会科学发展研究课题“阻断贫困代际传递视野下贫困青少年家庭教育问题研究”（2019030401029）。手势影响认知活动的作用机制探析姚志刚1，毕熙2，刘凤英1（1.河北科技师范学院 教育学院，河北 秦皇岛 066004；2.哈尔滨师范大学 教育科学学院，哈尔滨 150025）摘要：手势与实际动作来源于同一个动作系统，但二者间存在本质差异。手势对个体的问题表征、空间信息编码及问题解决策略有重要影响。文章基于已有理论及研究成果，明确了手势的内涵，分析了手势与实际动作的认知功能差异，进一步剖析了手势影响认知活动的作用机制。未来研究应当关注手势使用的个体差异、手势在教学情境下的应用、手势影响认知活动的神经机制、手势的适应性以及手势功能的文化差异等问题。关键词：手势；认知活动；具身认知中图分类号：B842.1文献标志码：A文章编号：1673-3118（2023）03-0053-06第37卷 第3期2023年6月白 城 师 范 学 院 学 报Journal of Baicheng Normal UniversityNo.32023Vol.37Jun.人们在言语表达、问题解决过程中常常伴随手势。手势通过手部形态及运动来表示具体事物或思维的内容，具有表征性。目前关于手势的概念界定存在不同的观点。McNeill（1992）认为，手势是伴随言语自发产生的手部动作，是一种抽象的表征，能够实现对信息的转化。1Hostetter 等（2008）从具身认知的角度出发，提出手势是一种具身的表达方式，为认知活动提供物理的和视觉的表征，进而促进认知活动的完成。2还有一些理论关注手势对言语过程的影响。词汇提取假说认为，说话者的手势有助于激活特定词汇语义表征中的空间特征，因而促进词汇的提取和理解。3图像激活假说（Hadar&Butterworth，1997）提出，手势可以维持时-空表象。4信息封装假说认为，手势帮助说话者将空间-运动信息分解成适合听觉编码的小单元（Kita，2000）。5认知负荷降低假说主张，手势可以降低言语过程中的认知需求量。6以上理论都局限于手势对言语交流的影响，然而，进一步研究发现手势的认知功能不仅局限于言语过程，在学习及问题解决等认知活动中同样会运用手势。当人们解释问题的解决方案或在问题解决中进行出声思维时，经常使用手势表达空间策略。手势能够产生新策略，促进学习效果，导致持久学习。手势可以降低认知负荷，从而提高学习效率。Kita等（2017）整合了以上理论，提出了概念化手势假说。该假说认为，表征性手势决定了个体对信息概念化的方式。手势表征具有图式化特征，因而手势可以促进认知过程，产生易于加工的、适应性强的新观念。7第37卷白城师范学院学报一、手势与实际动作的认知功能差异已有研究关注了手势与实际动作的联系与区别。一方面，有学者认为实际动作手势与实际动作密切关联，实际动作产生的潜能或者经验能够提高手势使用的频率，手势同目标性实际动作类似；另一方面，也有研究者提出手势与实际动作存在本质差异，手势是表征性的手部动作，兼有具体与抽象的特点，是一种图式化的行动，而实际动作不具有表征性。（一）手势与实际动作的联系很多理论关注手势与实际动作的关系。Kita（2000）提出，伴随言语手势产生的认知过程与产生实际动作的认知过程相同。8信息封装假说认为，手势产生的基础是想象环境中的动作。界面假说提出，手势产生于一般目的的“动作产生器”，该“动作产生器”决定实际动作和手势的内容。模仿动作手势框架理论认为，手势的心理表征是模仿动作和知觉状态。以上理论解释了伴随言语手势与实际动作的关联。动作产生理论进一步提出，伴随思维手势也以动作为基础。概念化手势假说整合以上理论进一步提出，手势与实际动作产生于同一个系统，手势是动作产生系统的表征性使用。9（二）手势及实际动作对认知活动的影响差异尽管手势与实际动作有紧密的关联，但是二者之间存在本质差异。手势是表征性的，而动作不是。手势可以表征物理世界，但不直接影响或改变物理世界。概念化手势假说提出，手势表征具有图式化的特点，手势通过对信息的图式化过程丰富思维，去除心理表征中的无关要素而保留其他相关要素，因而可以促进认知过程。10手势表征的图式化可以促进知识的迁移、信息加工的效果，使心理表征更灵活。所以，手势对认知活动的影响大于实际动作对认知活动的影响。首先，手势比实际动作对问题解决者心理表征的影响更大。Beilock等（2010）要求被试使用真实的圆盘解决河内塔问题，并且解释他们的解决方案。在解释阶段，手势组被试口头解释解决方案并伴随手势，动作组真实移动圆盘来表明解决方案。随后，所有被试使用真实物体再次解决河内塔问题。每组有一半被试使用原来的圆盘（非转换组），有一半被试使用的盘子重量发生了变化，最小的盘子变成最重的，最大的盘子变成最轻的（转换组）。重量的变化影响手如何参与到问题解决中，即最重的盘子需要两只手来移动，而最轻的盘子只需一只手移动。动作组被试并没有受到重量转换的影响，他们的问题解决时间在两种条件下是相似的。但是，手势组被试在转换条件下问题解决的时间要长于非转换条件。此结果表明，相比实际动作，手势对动作相关信息的心理表征影响更大。换句话说，对于手势组被试，重量信息已经被整合进入图式化的空间-运动表征（一只手或两只手的动作），因此，重量的转变对于他们来说就会出现问题。11其次，手势比实际动作更能促进空间信息的编码。So等人（2014）研究中，先让被试熟悉一张空间路线图，然后撤走该图片。手势组的被试在空中用手势回忆路线，动作组被试在纸上画出该路线，心理模拟组被试在脑中想象该路线且不能移动他们的手，非回忆组被试大声读一些随机字母。然后要求所有被试口头回忆该路线，手势组被试的回忆正确率高于动作组，动作组被试的回忆正确率高于心理模拟组和非回忆组。这些结果表明，手势的产生有助于路线关键信息的编码，手势将路线关键信息图式化了，从而导致对信息牢固的记忆。12最后，手势比实际动作更能够促进数学策略的归纳。Novack 及其同事们（2014）要求小学三年级的孩子完成数学等式任务，如2+3+6=+6。每个数字上都用有磁性的相同数字覆盖着。实验分为练习阶段和测试阶段。被试分为动作组、具体手势组、抽象手势组三组。在练习阶段，三组被试都要重复用言语表述等式解决策略（即“等式的54姚志刚，等：手势影响认知活动的作用机制探析第3期两边要相等”）。在口头表述解决策略的同时，被试需要做动作或手势。动作组被试要把等式左侧有磁性的数字2和3取下来，并放到等式右侧空格处。具体手势组被试模拟动作组被试的动作，但不需要移动数字。抽象手势组先用食指和中指指向等式左侧的数字2和3，然后用食指指向等式右侧的空格处。测试阶段所有被试完成结构不一样的等式题（空格在不同的位置）。结果表明，具体手势组、抽象手势组成绩优于动作组；抽象手势组被试在没有重复加数的等式题上的成绩是最好的。因此，相比动作组被试，手势组被试在概括练习阶段学习到的知识并运用到解决不同结构的等式问题方面完成得更好；图式化抽象手势组受益最大。可见，手势可以帮助被试关注等式的有关信息而忽视无关信息，从而促进对数学等式的深层次理解。13二、手势对认知活动的影响机制如前所述，手势表征具有图式化的特点，信息的图式化保留关键信息而去除无关信息，可以显著降低认知负荷，有助于将信息分解为小单元，14同时还可以促进观念的探索。因此，手势对于空间-运动信息相关的认知活动有重要影响。（一）手势可以激活空间-运动信息在问题解决任务中，手势激活更多空间-运动表征。Alibali等人（2010）的研究中，要求儿童解决“皮亚杰守恒任务”并解释解决策略，研究结果表明，允许使用手势的儿童倾向于调用任务的知觉特征（如，任务中物体的高度、宽度或形状），而不允许使用手势的儿童则关注情境的非知觉特征（如，数量守恒性）。15Alibali等人（2011）的研究要求成人预测齿轮的前进方向，结果发现，允许使用手势的被试使用模拟齿轮运动的策略，而不允许使用手势的被试则依赖抽象策略，即根据齿轮的数量来判断。由此可见，手势帮助被试模拟齿轮的运动，从而激活新的空间运动表征。16抽象推理任务中，手势还可以通过激活新的空间-运动表征，使抽象的概念具体化或空间化，从而促进抽象推理任务的完成。如Beaudoin-Ryan等人（2014）的研究中，让五年级学生判断道德两难问题中（如欺骗与偷窃）哪一种道德行为更坏。在推理的过程中，对学生被试分别实施三种要求：鼓励使用手势、不允许使用手势或者允许自发地使用手势。研究结果表明，手势鼓励组被试在他们的言语中表达了更多视角，其次是手势允许组，最后是手势禁止组。因此，通过手势激活抽象概念的空间-运动表征促进了被试在推理过程中的视角转换。17（二）手势影响空间-运动信息的操纵在Atit等人（2015）的研究中，要求被试用橡皮泥制作地质块图的立体版并且解释产生的横截面，该任务需要采用一种新的空间表征视角。相比在解释过程中不允许使用手势的被试，允许使用手势的被试在插入式思维后测中成绩有更大的提高。因此，手势促进了空间转换的心理操纵。18此外，手势可以提高个体在心理旋转任务中空间转换的能力。Chu等人（2008）的研究中让被试完成两阶段相同的心理旋转任务。实验的第一个阶段，研究者设置了三种条件：鼓励使用手势、禁止使用手势与无指示条件，结果发现，鼓励使用手势的被试（实验中产生了更多手势）问题解决正确率显著高于没有接到手势指示的被试（实验中产生的手势较少）及禁止使用手势的被试（实验中未出现手势）。可见，手势提高了心理旋转任务的表现。在实验的第二个阶段，所有被试在解决相同的心理旋转任务时被禁止使用手势。结果表明，第一个阶段被鼓励使用手势的被试在第二个阶段的问题解决正确率依然高于其他条件的被试。所以，手势不仅可以降低当前工作记忆信息表征的认知负荷，而且还具有延时作用，在随后不使用手势时依然可以促进人们对空间信息的心理旋转任务表现。1955第37卷白城师范学院学报（三）手势影响空间-运动信息的分解在认知活动中，信息需要被分解成适合认知加工的小单元。根据概念化手势假说，手势帮助人们将信息分解成小的单元以促进当前任务的解决。研究表明，手势影响空间-运动信息的分解。操纵手势编码的信息，言语单元中承载的信息也相应改变。Mol等人（2012）让被试描述运动事件（如球滚到山下），被试的描述要包含方式（滚）及路线（下）。在单独手势条件下，要求被试在描述过程中单独做出描述方式的手势（如在一个位置重复转动手）和描述路线的手势（如手势斜向下）。在混合手势条件下，要求被试用一个手势同时描述方式及路线（如手向下运动的同时重复旋转手）。研究结果表明，混合手势条件下被试产生了更多单一句子描述（如它滚下山），单一手势条件下产生了更多双语句描述（如它下去了，当它滚动时）。因此，改变手势分解信息的方式，信息被组织成句子的方式也改变了。20研究还发现，手势的内容影响认知活动中的信息分解。Goldin-Meadow等人（2019）的研究中，要求儿童解决数学等式问题（如438=8），并指导他们做出正确解决策略手势（先用食指和中指指向4和3，然后用食指指向空格）或者部分正确解决策略手势（先用食指和中指指向3和8，然后用食指指向空格）。在后测中，正确策略手势组被试的成绩好于部分正确策略手势组被试的成绩。可见，在学习过程中用手势表达一个特定的问题解决策略，可以帮助被试对数学等式信息进行分解，并且在随后问题解决中正确使用该策略。21（四）手势促进空间-运动信息的探索问题解决时人们需要探索信息以促进问题解决。即从大量信息中找到有用信息，进而找到编码以及整合信息的最佳方式。当探索问题解决最佳思路时，扩大信息探索的观念范围可以有效促进问题解决。研究证明，人们在完成复杂任务时会出现手势-言语不匹配情况，即言语表达的是错误的解决策略，手势表达正确的解决策略，手势正在探索信息、探索问题解决策略。利用手势还可以产生更多观念。Broaders等人（2007）探讨在解决数学等式问题时手势是否可以导致更多解决策略。该研究中，儿童解释他们如何解决数学等式问题。在第一个阶段的基线问题中手势没有被操纵，在第二个阶段手势被操纵。比较基线阶段，在第二个阶段鼓励使用手势的被试比禁止使用手势的被试提出了更多的问题解决策略，而且这些策略几乎都是在手势中而不是在言语中表达出来的。22三、研究展望手势与实际动作来自同一个动作系统，而手势表征的图式化特征导致手势与动作实质上的不同。手势决定了个体对信息进行概念化的加工方式。手势通过四种方式影响认知活动，即手势通过激活、操纵、分解以及探索空间-运动信息来促进认知活动的完成，手势表征的图式化特征决定了手势的以上四种影响机制。手势对认知活动具有重要影响，揭示手势对认知活动的影响机制具有重要意义。未来研究应当关注以下几个方面。（一）关注手势使用的个体差异问题手势可以促进认知活动，不同的个体在使用手势方面可能存在个体差异。如哪些人更多使用手势？语言能力、思维水平程度不同的个体在使用手势方面是否存在差异？孤独症儿童与正常儿童在手势使用上是否不同？对于手势使用的个体差异问题的分析，有助于进一步剖析手势的认知机制。（二）手势在教学情境下的应用在教学情境下手势具有多重功能。教师利用手势可以影响自身的言语及思维加工、影响学生对所接收信息的心理表征。学生在学习及问题解决过程中借助手势可以促进他们的思维加工过程。深入探讨教师如何借助手势进行高效教学及学生如何积极主动借助手势促进其思维加工，对56姚志刚，等：手势影响认知活动的作用机制探析第3期于学校教育具有重要意义。另外，研究如何帮助幼儿从小养成借助手势进行思考的习惯对于幼儿认知能力的提高也具有重要实践意义。（三）深入探究手势影响认知活动的神经机制已有关于手势的研究基本上采用行为实验，对于手势影响认知活动的神经机制的探讨还非常少。通过fMRI研究发现，使用手势可以激活前额叶，23而无关动作不会激活前额叶区域。因此，表征性手势与一般动作具有本质差异。可见，对于手势认知功能神经机制的研究可以深入剖析手势在认知活动中的独特功能。除了以上几方面之外，未来研究还应关注手势的适应性问题。诸多研究发现，手势可以促进心理旋转、珠算及数学等式等任务的完成，但Al-ibali等人（2011）的研究表明，手势的使用干扰了齿轮任务的完成。那么手势什么情况下会促进或干扰任务的完成，还需进一步深入探讨。另外，研究已表明，在言语交流中手势的表达具有明显的文化差异，但是在认知活动中文化背景是否影响被试的手势使用，对于此问题也需进一步研究。24参考文献：1MCNEILL D.Hand and mind：What gestures revealabout thoughtM.Chicago：University of ChicagoPress，1992：8.2HOSTETTER A B，ALIBALI M W.Visible embodi-ment：Gestures as simulated actionJ.PsychonomicBulletin&Review，2008，15（3）：495-514.3RAUSCHER F H，KRAUSS R M，CHEN Y.Gesture，speech，and lexical access：The role of lexical move-ments in speech production J.Psychological Science，1996，7：226-228.4HADAR U，BUTTERWORTH B.Iconic gestures，imag-ery，and word retrieval in speech J.Semiotica，1997，115：147-172.5 8KITA S.How representational gestures help speak-ing.In D.McNeill（Ed.），Language and gestureC.Cambridge，UK：Cambridge University Press，2000：162-178，179-185.6GOLDIN-MEADOW S，NUSBAUM H，KELLY S D，et al.Explaining math：Gesturing lightens the load J.Psychological Science，2001，12：516-522.7 10KITA S，ALIBALI M W，CHU M.How do ges-tures influence thinking and speaking?The Gesture-for-Conceptualization HypothesisJ.PsychologicalReview，2017，124（3）：245-250，260-266.9CHU M，KITA S.Co-thought and co-speech gesturesare generated by the same action generation processJ.Journal of Experimental Psychology：Learning，Memory，and Cognition，2015，42（2）：1-14.11 BEILOCK S L，GOLDIN-MEADOW S.Gesturechanges thought by grounding it in action J.Psycho-logical Science，2010，21（11）：1605-1610.12SO W C，CHING T H W，LIM P E，et al.Producinggestures facilitates route learningJ.PLOS One，2014，9（11）：1-21.13NOVACK M A，CONGDON E L，HEMANI-LOPEZN，et al.From action to abstraction：Using the hands tolearn mathJ.Psychological Science，2014，25（4）：903-910.14张恒超.交流手势认知理论 J.心理科学进展，2019（3）：499-507.15ALIBALI M W，NATHAN M J，FUJIMORI Y.Ges-tures in the mathematics classroom：Whats the point?In N.Stein&S.Raudenbush（Eds.），Developmentalcognitive science goes to school C.New York：Rout-ledge，Taylor and Francis，2010：219-234.16 24ALIBALI M W，SPENCER R C，KNOX L，et al.Spontaneous gestures influence strategy choices inproblem solving J.Psychological Science，2011，22（9）：1138-1140，1141-1144.17BEAUDOIN-RYAN L，GOLDIN-MEADOW S.Teach-ing moral reasoning through gesture J.Developmen-tal Science，2014，17（6）：984-990.18ATIT K，GAGNIER K，SHIPLEY T.Student gesturesaid penetrative thinking J.Journal of Geoscience Ed-ucation，2015，63：66-72.19CHU M，KITA S.Spontaneous gestures during mentalrotation tasks：Insights into the microdevelopment of57第37卷白城师范学院学报the motor strategyJ.Journal of Experimental Psy-chology：General，2008，137（4）：706-723.20MOL L，KITA S.Gesture structure affects syntacticstructure in speech.In N.Miyake，D Peebles，R P Coo-per（Eds.），Proceedings of the 34th annual confer-ence of the Cognitive Science SocietyC.Austin，TX：Cognitive Science Society，2012：761-766.21GOLDIN-MEADOW S.From action to abstraction：Gesture as a mechanism of change J.Developmen-tal Review，2019，38：167-184.22BROADERS S C，COOK S W，MITCHELL Z，et al.Making children gesture brings out implicit knowl-edge and leads to learning J.Journal of Experimen-tal Psychology：General，2007，136（4）：539-550.23NEWCOMBE N S.Picture this：Increasing math andscience learning by improving spatial thinkingJ.American Educator，2010，34（2）：29-35.An analysis of the effect of gesture on cognitive activityYAO Zhi-gang1，BI Xi2，LIU Feng-ying1（1.School of Education，Hebei Normal University of Science&Technology，Qinhuangdao 066004，China；2.School of Education Science，Harbin Normal University，Harbin 150025，China)Abstract:Gestures and actual movements come from the same movement system，but there are essen-tial differences between them.Gesture has an important effect on individual problem representation，spatialinformation encoding and problem solving strategies.Based on the existing theories and research results，thispaper clarifies the connotation of gestures，analyzes the cognitive function differences between gestures andactual movements，and further analyzes the mechanism of gestures affecting cognitive activities.Future stud-ies should focus on the individual differences in gesture use，the application of gesture in teaching contexts，the neural mechanism of gesture influence on cognitive activities，the adaptability of gesture and cultural dif-ferences in gesture function.Key Words:gesture；cognitive activity；embodied cognition（责任编辑：管晓莉）58