自闭症儿童互动界面艺术设计中的注意力分析研究.pdf

Design 设计设计,2023,8(2),788-797 Published Online June 2023 in Hans.https:/www.hanspub.org/journal/design https:/doi.org/10.12677/design.2023.82097 文章引用文章引用:许婷.自闭症儿童互动界面艺术设计中的注意力分析研究J.设计,2023,8(2):788-797.DOI:10.12677/design.2023.82097 自闭症儿童互动界面艺术设计中的注意力分析自闭症儿童互动界面艺术设计中的注意力分析研究研究 许许 婷婷 大连工业大学艺术设计学院，辽宁 大连 收稿日期：2023年5月6日；录用日期：2023年6月23日；发布日期：2023年6月30日 摘摘 要要 该项目该项目是正在是正在开展的自闭症儿童关爱开展的自闭症儿童关爱项目项目中中的一部分，该项目的一部分，该项目旨在探究旨在探究自闭症儿童自闭症儿童互动式互动式系统的潜在应系统的潜在应用。用。IMA科研团队就自闭症儿童专注力不集中问题进行了探索，科研团队就自闭症儿童专注力不集中问题进行了探索，开发开发了计算机界面了计算机界面平台帮助自闭症儿童平台帮助自闭症儿童改善改善专注专注力。力。在在此研究此研究中，中，IMA团队团队介绍了注意力分析系统，介绍了注意力分析系统，该该系统适合系统适合每一位儿童每一位儿童，都是可重复的，都是可重复的，并且是根据设计开发者定义的特定场景进行演并且是根据设计开发者定义的特定场景进行演变变的。这个场景考虑了每的。这个场景考虑了每位位自闭症自闭症儿童的儿童的年龄、能力和程年龄、能力和程度。度。为了让儿童为了让儿童注意注意力关注力关注到相关到相关的物体上，的物体上，IMA团队团队的系统显示或播放的系统显示或播放具体的界面艺术设计图形，具体的界面艺术设计图形，刺刺激每激每一位一位特定的特定的儿童儿童。儿童通过行为或儿童通过行为或声音声音将其将其情感情感反馈出来，并反馈出来，并通过通过对对定义定义了了的的专注力进行测量专注力进行测量，分，分析注视方向和面部方向，结合析注视方向和面部方向，结合儿童儿童的特定轮廓的特定轮廓进行进行定义。根据定义。根据所设计的互动界面艺术设计所设计的互动界面艺术设计，系统帮助孩，系统帮助孩子们对基本感知进行分类子们对基本感知进行分类，以便于解决自闭症，以便于解决自闭症儿童专注力问题。儿童专注力问题。关键词关键词 自闭症儿童，注意力分析，行为研究自闭症儿童，注意力分析，行为研究 Attention Analysis in Interactive Interface Art Design of Autistic Children Ting Xu School of Art and Design,Dalian Polytechnic University,Dalian Liaoning Received:May 6th,2023;accepted:Jun.23rd,2023;published:Jun.30th,2023 Abstract The project is part of an ongoing project to explore the potential use of interactive systems for children with autism.IMA research team has explored the problem of inattention in autistic child-许婷 DOI:10.12677/design.2023.82097 789 设计 ren and developed a computer interface platform to help autistic children improve their concentra-tion.In this study,the IMA team introduced an attention analysis system that is suitable for every child,is repeatable,and evolves according to the specific scenarios defined by the design developer.This scenario takes into account the age,ability and degree of each autistic child.To keep childrens attention focused on relevant objects,the IMA teams system displays or plays specific interface art designed graphics that stimulate each particular child.Children feedback their emotions through behavior or voice,and through the measurement of defined concentration,analysis of gaze direction and facial direction,in combination with the childs specific profile definition.According to the in-teractive interface art design,the system helps children classify basic perception,so as to solve the attention problem of autistic children.Keywords Children with Autism,Attention Analysis,Behavioral Studies Copyright 2023 by author(s)and Hans Publishers Inc.This work is licensed under the Creative Commons Attribution International License(CC BY 4.0).http:/creativecommons.org/licenses/by/4.0/1.引言引言 自闭症典型性特征是受损的社会互动。自闭症儿童归类为神经发育紊乱，表现为明显的不正常社会互动，沟通能力，兴趣模式和固有模式的行为1。自闭症儿童社交行为有障碍。通常情况下，不愿意人们围绕着他们。自闭症儿童有极其重复的、自我伤害的或有激进的行为2。对于自闭症儿童不同行为缺陷的干预方法有应用行为分析(ABA)法，自闭症和沟通障碍儿童的结构化的教育方法(TEACCH)，儿童提升疗法(Son-Rise)，强化互动项目，还有音乐、艺术治疗法等。随着科学技术的发展，艺术与科技相结合3，在艺术与科技相结合的交叉领域，出现了虚拟现实艺术、开发机器人设计4、互动艺术环境等方法进行干预治疗。然而这方面的先行研究不论在国内还是在国外都甚少。近年来，计算机科学与艺术设计相结合，呈现出新的发展趋势，也应用在自闭症儿童干预治疗中。IMA 团队以互动艺术为主要工具在中国、国外开展项目、产品研发以及活动等5。在正在开展的自闭症儿童关爱项目中，主要采用的是结构化的教育方法(TEACCH)(治疗和教育自闭症儿童和相关有沟通障碍的孩子)。这个方法能够较好地回应自闭症儿童的需求，目前用这些被人所熟知的方法教育自闭症儿童，并为他们提供他们能获得自主权的最大限度。在教学策略方法上使用虚拟环境，让自闭症儿童在对人机界面互动设计上感兴趣。虽然针对自闭症儿童干预治疗有不同的方法。然而，没有一种在教育内容中考虑设计开发者指示的适应性模型方法，为了弥补这方面的不足，IMA 科研团队创建了模型，用户配置文件及其互动的界面设计。在如何用艺术设计与科学技术相结合帮助这类群体的研究中，IMA 团队找到了少有的可用于治疗干预自闭症儿童的先行研究6。例如，Gepner 教授为自闭症儿童感知快速运动有困难所进行的研究和 Fabri教授在使用情感编码中用情感表达的化身解决自闭症儿童情感障碍等。艺术与计算机科学技术成为自闭症人群结构化教育的一个有趣的研究领域。在这里，基于心智理论，IMA 团队介绍了导致自闭症儿童精神障碍的综合级联(串联)反应(见图 1)。IMA 团队致力于科学地开展这个自闭症儿童项目。在下一部分，IMA 团队将介绍针对自闭症儿童设计开发的注意力界面设计项目。Open AccessOpen Access许婷 DOI:10.12677/design.2023.82097 790 设计 Figure 1.The complex cascade that leads to mental disorders 图图 1.导致精神障碍的综合级联反应 2.自闭症儿童项目设计自闭症儿童项目设计 2.1.构建系统背景构建系统背景 IMA 团队开展的自闭症项目与自闭症儿童精神心理科合作。IMA 团队的研究目标是希望通过用界面互动设计这种工具软件和硬件系统可以在康复过程中帮助自闭症儿童。它存在于在帮助孩子和系统之间建立多模型和多媒介之间的对话，在计算机互动艺术和训练期间帮助他们专注于自己所要做的事情，帮助他们提高自己的理解力和对他周围环境的理解力。设计系统的作用是为自闭症儿童提供用互动界面设计教育他们的个性化活动。在每一个会话中，系统通过设备(摄像头、触摸屏、鼠标，键盘)捕捉儿童的反应，为了了解他的行为。根据设计开发者的指示系统考虑用准确的行为对儿童进行实时捕捉与信息反馈。这些指令关注了破裂、回避，刻板等行为例如，这个系统可能会通过儿童熟悉的画面或通过播放音乐来吸引他们的注意力。每一位儿童的特点是其具体的能力和兴趣偏向，所以他需要一个适应性的治疗干预。IMA 团队推广的这个项目有利于系统的适应性，它兼顾到观察到每位儿童的特殊性缺陷，这对项目的普及化是有意义的，按顺序定位和仔细解释这些内在行为是很重要的，帮助他们康复。在应用该工具的大的环境下，IMA团队的架构旨在用灵活性和模块化方式帮助自闭症儿童实现个性化康复治疗。2.2.实验过程实验过程 IMA 团队在自闭症儿童的互动体验过程中更关注他们的注意力面部特征。图 2 展示了自闭症儿童整个界面互动艺术实现示意图(见图 2)。通过儿童的行为来控制界面。一开始，电脑界面的互动艺术设计给儿童提供视觉互动刺激，之后系统接受信号刺激相关儿童有不同的反映。这种行为最初与破裂和回避有关，带有特殊意义：破裂是计算机系统对儿童互动行为的不反应。破裂的发生，表明儿童的行为表达不许婷 DOI:10.12677/design.2023.82097 791 设计 准确。在这种情况下，平台会转换到另一个平台。回避是儿童对系统传递信息的不反应，即界面设计的刺激对相应的自闭症儿童信息传递不准确。有两种类型的回避，暂时的和视觉上的。暂时的回避意味着被动的在某个特定的时间面对屏幕进行回避；视觉上的回避是指当儿童凝视时，发生了视觉回避，即不看向屏幕；避免发生主要是系统通过信息刺激儿童和儿童行为反馈之间的不准确性。在这种情况下，系统必须改变调整自身或互动体验目标。Figure 2.Behavior analysis control 图图 2.行为分析控制 在这个项目设计中，凝视和面部指向是限定和量化注意力的非常重要的指标。在下一部分，IMA 团队将阐述目标人群、注意力的定义、注意力的分类包括如觉醒、选择性注意力、保持注意力、分享注意力等。2.2.1.自闭症儿童自闭症儿童的的概况概况 儿童的概况用于界面艺术设计所反馈的不同的行为体验。体验群体自闭症儿童需要考虑以下几个方面信息：每位儿童的基本信息，儿童的喜好；儿童自身知识所属的领域；儿童的成长背景等7。基本信息包括儿童的身份，如儿童所属的机构、学校、他自身有什么样的特征标志；儿童的个人喜好和主要所学习的领域知识则是对孩子概况的描述。2.2.2.注意注意力力 在这个部分，IMA 团队提出了不同类型的注意力，介绍了其在心理学和认知神经学领域的分类。通常情况下，注意力被定义为认知过程选择性地专注于一件事而忽略其他的事情。觉醒是一种新陈代谢的状态，它以意识为特征，与睡眠相反。选择性注意力是一种涉及到专注于一个场景的特定方面而忽略其他方面的注意力。选择性注意力可以是有意识的(当一个人选择关注一个有趣的物体而不是一个不那么有趣的物体时)，也可以是无意识的。自闭症儿童无法选择哪个事情重要哪个事情不重要，他们经常因为外界太多的刺激而饱和。因此总展现出一种极端重复的、不正常的、自我伤害的或有激进的行为。保持性注意力会在选择性注意力出现之后出现。它是在体验过程中，监护人/老师让儿童集中，避免分散注意力的一种方式。分享注意力是面对两种或两种以上不同信息类型儿童所表达出来的行为(声音、运动、动作)。内部或外部的心智缺乏：内部或外部强大的全神贯注力以至于忽略了许婷 DOI:10.12677/design.2023.82097 792 设计 在注意力上的普通需求。警惕是对发生某事的一种观察行为，是对危险事物的一种观察行为。如果没有一些外在的刺激，很难长时间保持这种注意力。对于 IMA 团队所做的这个自闭症儿童干预项目，从上述注意力种类中考虑了选择性注意力和保持性注意力。选择性注意力让 IMA 团队了解儿童是否愿意参与这个项目。运用保持性注意力，IMA 团队能够评估该项目。接下来，IMA 团队介绍了系统架构，特别是开发界面互动设计分析、研究注意力。2.2.3.系统架构系统架构 正如上面所述，每位儿童都有自己的特点，能力和喜好，所以需要一个适应每位不同个体的干预治疗。因此，IMA 团队需要开发设计一个适应性系统，以便于适合每一位儿童的情况。为了帮助他们康复，定位、仔细的观察和分析对于研究注意力项目是必要的。IMA 团队设计的架构旨在为自闭症儿童的个性化康复治疗带来灵活性和模块化，为了更好地适用于这群儿童，IMA 团队提出如下的系统架构(见图 3)。Figure 3.Overall framework 图图 3.整体架构 建立一个协议，满足儿童想要/必须达到的考虑他自身情况的教育目标。儿童的概况被身份所定义(姓名，出生日期等等)，能力(获得的水平，高度，(感知，中度)，等等)和参数设置(体验持续时间，5 分钟，颜色，绿色)。观察儿童会话期间的行为为了理解他的行为。观察是在外部设备上进行的，操作鼠标、触摸屏、键盘通过摄像机捕捉手势，动作，眼睛的方向，注意力，观察儿童的行为，系统检测他运动的行为，不用系统给予回应，系统可根据儿童体验的情况进行数据模型更新。图 3 给出了系统的整体架构，其中包括三个部分，行为观察和分析系统、决策系统、行为系统。第一个系统是构成观察的观察过程，分析、解释了儿童的行为。第二个系统构成适合于每位参与的自闭症儿童，并且检测了互动艺术的执行情况。第三个系统构成了运行的互动艺术。如何避免破裂和回避，这就需要提高儿童的理解力，还要让儿童具有且保持注意力。儿童在实验中提高注意力主要可以分为以下两个步骤：第一步是获得学习到的知识与信息。在这一步中，每个被拍摄到的儿童从计算机系统的信息刺激中进行体验行为，所表现出来的行为特征用于理解反应和刺激之间可许婷 DOI:10.12677/design.2023.82097 793 设计 能存在的联系。第二步是观察和分析。分析每位被拍摄儿童的行为和注意力。在应用程序中，IMA 团队使用了一个跟踪的系统，不需要测试者佩戴跟踪装置。没有用头盔或电线来分散、影响或刺激被测试者。取代了视频摄像机，内置一张小桌子观察体验者(见图 4)。关于校准，通过让体验者观看互动艺术来建立参考点数(见图 5、图 6)。通过追踪系统观察体验者的脸，用视频图像和计算机进一步记录眼睛运动来定位眼睛，而且也有面部定位。Figure 4.System for analyzing eye and face location 图图 4.用于分析目光和脸部定位的系统 无论在现场或通过视频提取，设计开发者们可以看到体验者在哪里看屏幕和确切的看屏幕的时间有多久。体验者的脸，物体和动作作为测量注意力和儿童行为的指标。事实上体验者与眼睛追踪系统没有任何身体上的接触，不需要穿任何特殊的设备。因此对年幼的儿童，特别是自闭症儿童使用该工具是比较适合的。Figure 5.Interface for determining stimuli to focus attention and calibrate the system 图图 5.用于集中注意力和校准系统的确定刺激的界面 许婷 DOI:10.12677/design.2023.82097 794 设计 Figure 6.Overlay(in time and space)stimuli(stars)used for calibration and detection measurements of childrens staring behaviour(dots behind stars)图图 6.叠加(在时间和空间中)刺激(星星)用于校准和对儿童凝视行为进行检测测量(星星后面的小点)3.实证测量分析实证测量分析 3.1.测量注意力测量注意力 IMA 团队设计开发的模型与系统在大连特殊教育学校进行测试。通过自闭症儿童参与这个项目，对孩子们的注意力进行测量。在标记了不同的互动艺术会话后，IMA 团队提出基于在目光和对象之间准确性的测量。例如，设计开发者/老师引导儿童看并且跟随定义的在计算机界面上的图像(例如星星)。让这个物体沿着一个特定的轨迹移动，如沿着一个椭圆形的轨迹移动，系统会自动地捕捉儿童的视线方向(见图 7)。Figure 7.Overlay(in time and space)motion stimulus(stars on ovals)and gaze detection measurement(points behind stars).This is the screen that is presented to the design developer at the end of the interactive experience 图图 7.叠加(在时间和空间中)运动刺激(椭圆上的星星)和凝视检测测量(星星后面的点)。就是这个屏幕在互动体验结束后呈现给设计开发者 许婷 DOI:10.12677/design.2023.82097 795 设计 IMA 团队认为是否凝视物体的轨迹与儿童有专注力息息相关。在界面互动艺术设计会话中，设计开发者做了一个由儿童的凝视可以控制的对象。下面 IMA 团队将详细阐述如何对注意力进行衡量。注意力与儿童的兴趣密切相关。IMA 团队希望不仅能够对儿童注意力进行测量，同时也能够适应每一位儿童。给调取儿童进行界面艺术设计体验的影像进行分析，设计开发者能够粗略地量化参与者专注且不看屏幕的时间，专注于屏幕的时间，过了多少秒儿童才会不专心。一旦知道了这个参数，IMA 团队就能更好地衡量自闭症儿童的专注力。在这期间，设计开发者用距离衡量凝视和感兴趣的区域。当距离小于某个百分比 p1 时(适应于每位儿童)，儿童有较少的专注力，当它下降到另一个百分比 p2 时，IMA团队认为系统必须重新关注儿童的注意力。如果距离测量在 p1 和 p2 之维持了很长一段时间，那么 IMA团队也估计儿童注意力不集中(见图 8)。Figure 8.Childrens attention usage during an interactive interface art design session.The lines represent two thresholds for children defined by the design developer 图图 8.在互动界面艺术设计会议中儿童注意力使用方法。线代表由设计开发者定义的与儿童有关的两个阈值 该系统主要解决自闭症儿童注意力的问题。设计开发者提前用算法对系统进行开发，进行参数设置，对界面进行设计。图 8 是根据自闭症儿童行为进行的一个体验会议。这些值适用于每一位儿童，系统参数设置随着时间的积累儿童行为的改变而改变。为了考虑每位个体行为的复杂性与互动界面艺术设计目许婷 DOI:10.12677/design.2023.82097 796 设计 标的演变，设计开发者考虑需要设计一个能手动调节的界面。图 8 显示了对在互动界面体验后一位自闭症儿童注意力变化的测量，IMA 团队对注意力曲线进行分析。摄像头捕捉并记录儿童对互动界面艺术设计的体验过程，计算机系统数据采集自闭症儿童对屏幕的跟踪结果及长期被测试的结果(见图 8、图 9)，项目关注计算机信息传递与自闭症儿童行为反馈之间的相互作用。Figure 9.Example of an interactive art session execu-tion trace 图图 9.互动艺术会议执行跟踪的例子 3.2.测量测量结果结果 在这个项目中，IMA 团队开发的互动界面艺术设计工具主要用于评估每一位自闭症儿童的注意力程度，了解他们自身的适应程度，在考虑每位儿童特征的基础上，运用虚拟和互动的环境慢慢改变儿童自身的问题。例如他们对感知快速运动有困难，总习惯于固守一个特定的事物，才会让他们有安全感，IMA团队在设计时会考虑上述元素，但也会穿插不同的元素避免自闭症儿童行为的机械重复。实验结果是有趣且有预见性的，他们已经在一些方面得到了改进。一方面随着时间的积累，注意力参数增加了。另一方面是儿童概况数据的积累，设计开发者在数据库中存储了许多参数如 t 和 p。数据的积累将会更好的应用并分析这类群体，如通过数据能够科学可靠的辨别儿童细心与粗心地专注计算机界面图形，更精确科学地分析注意力测量。IMA 团队基于行为观察和行为分析提出了一个动态反应系统。建构原理基于信息提取优化这个系统。系统需要考虑设计开发者的指令和自闭症儿童概况，行为观察和行为分析从他们自身的行为出发，对该方法构建模型，用户概况和互动的动态。通过 IMA 团队建立及设定的模型，用计算机互动界面艺术设计平台跟踪儿童的注意力，进行对他们注意力的分析，评估每位儿童的注意力程度，平衡、改善自闭症儿童注意力不集中问题。注意力的提升有助于帮助儿童更好的娱乐以及学习。当然，也需要让他们避免行为过度的重复。修订模型，修正计算机系统的指令、功能等。通过测试评估认证了IMA团队将该系统开发与应用在自闭症儿童身上的有效性。4.结语结语 该项目针对自闭症儿童专注力不集中问题设计开发了互动界面艺术设计，在这篇文章中进行了阐述与探讨，它也是 IMA 科研团队用艺术与科技相结合的新方式帮助干预自闭症儿童的阶段性汇报。通过构许婷 DOI:10.12677/design.2023.82097 797 设计 建模型、设计开发互动界面艺术设计平台，考虑如何适用于不同的自闭症儿童群体，尝试用这种新的方法诊断、训练、改善自闭症和有精神障碍儿童的专注力，这种方法未来可能会被放在更广阔的互动环境中，目前设计开发的模型与系统已在大连特殊教育学校进行测试与评估，该案例预计还会在青岛妇幼儿童医院、北京、上海等城市进行测试，投入应用。该项目旨在用科学技术与艺术设计相结合的新方法探索改善自闭症儿童专注力的可行性，从而进一步认证该方法的有效性。基金项目基金项目 辽宁省社会科学规划基金项目(项目编号：L20BXW013)。注注 释释 文中所有图片均为作者自绘。参考文献参考文献 1 American Psychiatric Association(2000)Diagnostic and Statistical Manual of Mental Disorders.4th Edition,Ameri-can Psychiatric Association,Washington,DC.2 Asperger,H.(2019)Die schizoiden Psychopathien im Kindesalter.Archiv fr Psychiatrie und Nervenkrankheiten,60,248-261.3(美)迪克斯.人机交互M.蔡利栋,方思行,周继鹏,张庆丰,译.北京:电子工业出版社,2006.4 Robert,D.and Breazeal,C.(2012)Blended Reality Characters.HRI12 Proceedings of the Seventh Annual ACM/IEEE International Conference on Human-Robot Interaction,Boston,359-366.5 许婷.互动媒介艺术M.沈阳:辽宁美术出版社,2012.6 加藤浩平.自閉症児対人相互交渉促進関研究:(TRPG)会話支援D:博士学位论文.东京:学芸大学,2017.7 山田洋子,小嶋秀夫速水敏彦(編).子発達探M.东京:福村出版,1990:67-92.