人工智能时代图书馆的人机交互用户体验研究.pdf

中文科技期刊数据库（全文版）图书情报 22 人工智能时代图书馆的人机交互用户体验研究 黄镇钊1 黄 兴2 1.广东省肇庆市封开县图书馆，广东 封开 526500 2.广东海洋大学图书馆，广东 湛江 524000 摘要：摘要：本文旨在综述人工智能时代图书馆的人机交互用户体验研究，特别关注多元和二元交互中的用户体验方面。通过分析数字图书馆中的相关论文，总结了多元和二元交互中的设计实践、关键问题和未来研究方向。多元CA 的设计具有更多的复杂性，涉及关系类型和社交规模等方面的考虑，而二元 CA 主要关注用户与 AI 之间的单一交互。研究表明，多元 CA 的用户体验研究仍相对有限，需要更多的关注和深入研究。希望可以为研究人员和从业者提供了有关 AI 与人机交互用户体验领域的重要见解。关键词：关键词：人工智能；人机交互；用户体验 中图分类号：中图分类号：G258.6 0 引言 人工智能（AI）在今天的社会中扮演着日益重要的角色，与人机交互的方式也日益多样化。AI 系统已经成为我们生活的一部分，从虚拟助手到在线客服，再到社交媒体平台上的智能机器人，它们正在影响着我们的生活方式和工作方式。与 AI 系统的交互不再仅限于传统的键盘和鼠标输入，而是包括语音识别、自然语言处理、计算机视觉等多种形式。这种多样性引发了对 AI 与人机交互用户体验的广泛研究兴趣。本文着重关注 AI 与人机交互的用户体验研究，特别关注多元和二元交互中的用户体验方面。多元交互通常涉及多个用户与 AI 系统之间的交互，例如在线协作、团队合作或社交媒体互动。而二元交互则是指单一用户与AI 系统之间的交互，例如与虚拟助手的对话。旨在总结当前关于多元和二元交互中的AI与人机交互用户体验的研究进展，揭示设计实践、关键问题和未来研究方向。1 对话型人工智能（CA）的现状 CA 的现状非常复杂。它的历史可以追溯到 20 世纪60 年代，当时出现了基于文本的对话系统，用于回答问题和模拟日常对话。随着时间的推移，出现了各种术语和分类方式，使得对 CA 的研究和理解变得复杂。目前，CA 的研究和应用领域广泛，涵盖了多种交互方式、社交规模、知识领域、目标、控制方式、具身特征、设计方法、平台和应用领域。研究者根据多个标准对 CA 进行分类，如交互方式、社交规模、知识领域、目标、控制方式、具身特征、设计方法、平台和应用领域等，这增加了 CA 领域的复杂性。近年来，CA 已经商业化，并在多个领域得到广泛应用。例如，它们用作个人助手、客户服务代理、医疗伙伴等。同时，一些具有情感智能的 CA 被设计用于支持团队协作和社交互动，从而引入了新的研究挑战1。然而，尽管 CA 在各个领域都有应用，但在实际使用中仍存在许多问题，包括用户体验、任务完成效率、用户参与度等方面的问题。这些问题需要进一步的研究和改进。总的来说，CA 领域具有广泛的研究兴趣和应用潜力，但也面临着术语和分类的复杂性以及用户体验和效果的挑战。未来的研究将需要更多关于 CA 的质量用户体验以及多元人-CA 交互的研究，以不断改进和发展这一领域。2 研究方法 本文采用了一个在人机交互（HCI）领域的先前研究中广泛应用的方法，该方法包括四个阶段：1)定义：制定包含和排除标准，并确定合适的数据来源；2)搜索：制定具体的查询并通过数据来源收集论文；3)选择：根据包含和排除标准检查搜索结果，确定最终的论文，包括双向和多向工作；4)分析：通过应用混合方法分析所选论文。2.1 定义 中文科技期刊数据库（全文版）图书情报 23 2.1.1 包含和排除 研究人员通过多轮讨论制定了一系列标准。标准的选择是为了包括最能代表研究范围（即关于人机对话的用户体验研究）的作品，并过滤掉不相关的作品。采用了以下的包含和排除标准。对于双向对话论文，定义了以下的包含标准：1)选择的文章需要研究仅与一个人类用户在会话中互动的 CA；2)文章中的 CA 互动是双向的；3)CA 的用户知道CA的存在；4)文章是带有用户研究的研究论文；5)主要的设计特征是基于对话的，例如排除基于感知的 CA；6)文章包含在所选的数据库中。仅评估 CA 任务性能而没有有意义地探讨人-CA 作为对话技术的互动体验的文章被排除。对于多向对话论文，包含标准共享了 2)-7)中选择双向对话论文的要求，不同之处在于所选择的文章需要研究与多于一个人类用户互动的 CA，而不是仅与一个人类用户互动。排除标准包括：1)仅评估 CA 任务性能而没有有意义地探讨人-CA 或人-人作为对话技术的互动体验的文章；2)文章中的CA与多个用户互动，但没有人-人互动。2.1.2 数据来源 为了确定数据来源，首先从五个数据库中随机检索了 200 篇论文，这些数据库包括 ACM 数字图书馆、IEEE、Web of Science、Scopus 和 ScienceDirect。在探索初始搜索结果后，选择了计算机协会数字图书馆（ACM DL）作为最终数据来源。在所有五个数据库中对每个来源的 40 篇论文进行了回顾，使用包含和排除标准。各数据库的资格率分别为 ACM DL（23.5%）、IEEE（12.5%）、Web of Science（14.6%）、Scopus（17%）和 ScienceDirect（4.9%）。具体来说，52%的IEEE论文是没有用户评估的技术论文；59%的Web of Science 论文没有 CA 设计。由于其他来源的资格率较低，最终决定选择 ACM DL 作为这次文献综述的数据来源。这一决策也是考虑到 ACM DL 具有广泛可靠的 HCI作品选择，已被用作文献综述工作的唯一来源2。2.2 搜索 搜索查询由两部分组成。搜索的第一部分涵盖了对话代理的同义词，第二部分指定了可能与识别多方论文相关的术语。搜索词汇列表受到了几个 CA 研究综述的启发，并通过研究团队的多轮迭代和完善来开发，符合先前的 HCI 研究。具体来说，搜索查询包括 15 个术语，即“conversational agent”、“conversational AI”、“intelligent assistant”、“intelligent agent”、“chatbot”、“chatterbot”、“chatterbox”、“socialbot”、“digital assistant”、“conversational UI”、“conversational interface”、“conversation system”、“conversational system”、“dialogue system”和“dialog system”。为了探索从检索结果中获得的多方作品，还搜索了 13 个术语，如“human-human”、“human human”、“multi-user”、“multi-users”、“multi user”、“multi users”、“multi-party”、“multi-parties”、“multi party”、“multiparty-based”、“multi parties”、“multi model”和“multi-model”。2.2.1 数据准备 通过两个步骤搜索了论文，首先，于 2021 年 3 月3 日使用查询和连接器在 ACM DL 上进行搜索，删除重复后共获得了 1,302 篇 CA 论文。其次，通过网络爬虫获取了这些论文的元数据和 PDF，并构建了数据库。为了提高爬行过程的稳定性和效率，还将论文的 DOI 保存到一个文件中，然后按顺序爬行了相应 DOI 的元数据和 PDF3。2.2.2 数据库 数据库分为两部分。第一部分是一个包含了论文元数据的 CSV 文件，包括 10 列：论文 DOI、标题、作者、摘要、出版日期、来源、出版商、引用、关键词和作者隶属机构。第二部分包括了论文的 PDF 以及相应的文本文件。使用PyMuPDF项目中的Fitz模块将PDF转换为文本，因为该工具已经在许多工作中得到了应用。2.3 选择 有了数据库后，通过两个步骤筛选论文记录，检查满足标准的双向和多向 CA 作品。寻找潜在包含用户研究的论文，通过搜索所有带有关键词“user study”、“user studies”、“interview”、“interviews”和“user experience”的论文全文，共找到了 449 篇论文。为了开始多向论文集合，还通过使用 13 个关键词，如“human-human”、“human human”、“muli-user”，搜索了所有论文，结果得到了一个初中文科技期刊数据库（全文版）图书情报 24 步的多向论文集合，共 27 篇论文。然后，在两个筛选结果之间去除了重复的论文。在两个阶段之间有 6 篇（1.3%）重复的论文，最终获得了 470 篇唯一的全文。然后，进一步根据双向和多向论文的包含和排除标准审查了全文。如果对特定论文的资格仍存在歧义，将征求第三位合著者的意见。最终，收集了36篇（21.1%）多向论文和 135 篇（78.9%）双向论文。2.4 分析 为了研究关于对话式人机交互的用户体验研究的研究领域以及 ACM DL 上发表的多向和双向作品之间的差异，采用了混合方法来分析所选的论文。2.4.1 主题分析 先前的工作在审查对话式AI研究时提出了几个方面，例如关于交互方式的问题、体现的特性、应用领域、评估方法和社交规模。发现这些方面可以用于编码多向 CA 的研究实践。然而，先前的方案不足以让对多向 CA 支持的人-人互动的独特方面进行分类，例如解决的基本挑战、已验证的效果和未解决的问题。因此，作者采用了“扎根理论方法”，并使用主题分析对作品的属性进行编码。主题建模的数学公式通常基于非负矩阵分解（NMF）方法，其中 TF-IDF（词频-逆文档频率）分数用于构建主题模型4。假设有一个文本文档-词汇矩阵 V，其中文档数量为 D，词汇数量为 W。矩阵 V 中的元素vij 表示文档 i 中词汇 j 的出现频率或权重。NMF 的目标是将文档-词汇矩阵 V 分解成两个非负矩阵 W 和 H，其中：矩阵 W（D K）包含文档与主题之间的关系。矩阵 H（K W）包含主题与词汇之间的关系。NMF 的数学公式如下：V WH 其中，K 表示主题的数量，是一个用户定义的参数。NMF 的目标是找到最佳的矩阵 W 和 H，以最小化近似误差。NMF 的优化问题通常可以表示为以下形式：minimize|V WH|,subjecttoW 0,H 0 这里，|V WH|表示矩阵 V 与重构矩阵 WH 之间的差异。通过迭代优化算法，可以逐步更新矩阵 W 和 H，以找到最小化误差的解，从而得到文档和主题之间的关系，以及主题和词汇之间的关系，从而构建主题模型。审查所有论文的全文，并进行了开放编码，然后一起讨论和整理他们的编码。这些编码被添加为新的属性，以回答提出的研究问题。分别对其余论文进行编码，比较了他们的编码，并讨论了可能的修订，最终实现了 91%的最终评分一致性。2.4.2 主题建模 除了对学者在设计多向CA时忽视的研究挑战和问题进行编码外，还应用了主题建模方法来探索两组论文之间讨论主题的差异。主题建模方法已广泛应用于先前的工作。这种方法可以如下应用。首先，进行文本预处理，去除标点符号、符号和停用词。然后，对文本进行标记化和词形还原，以进行规范化处理。使用词形还原将具有类似语义含义但不同语法形式的单词（例如复数和时态）进行分组。尝试了进行词形还原和不进行词形还原两种方式，结果发现在对样本论文进行解释时，进行词形还原的结果更具解释性，更连贯。然后，使用非负矩阵分解(NMF)基于 TF-IDF 分数进行主题建模。分别为双向和多向作品构建了两个主题模型，以探索这两组论文中讨论的主要主题。这为双向和多向CA论文频繁讨论的主题提供了更深入的见解。所有的文本分析步骤都使用 Python（NLTK 和Scikit-learn 库）完成5。3 设计多人交互的对话型人工智能（CA）实践 在下面的部分中，将介绍多元和二元 CA 之间的共享方面，以及多元 CA 的独特之处。3.1 多元和二元 CA 之间的共享方面 在下面介绍了多元和二元 CA 共享的方面，即应用领域、模态、代理特性、设计独创性、设计方法和评估方法。应用领域：在审查的 36 篇 ACM 论文中，多元 CA的应用领域多种多样。其中有 8 篇论文关注了教育和协作学习，比如Dike 等人，2013；5 篇涉及在线社区，例如Savage 等人，2016；3 篇研究了小组讨论，如Kim 等人，2021；7 篇探讨了工作和生产力，比如Toxtli 等人，2018和Avula 等人，2018；2 篇关注了虚拟会议，例如Isbister 等人，2000；3 篇处理引导服务，如Zheng 等人，2005；2 篇关注了游戏，比如Rehm，2008；1 篇研究了家庭情境，即Luria等人，2020b，还有 5 篇未明确定义的应用领域，具 中文科技期刊数据库（全文版）图书情报 25 表 1 进行用户体验研究的 CA 论文示例 年份 作者 ACM 引用 Google Scholar 引用 2011 Medhi,I.,Patnaik,S.Brunskill,E.Gautama,S.N.N.Thies,W.,&Toyama,K.Medhi 等，2011 166 275 2018 Jain,M.,Kumar,P.,Kota,R.,&Patel,S.N.Jain 等，2018a 75 187 2013 Lisetti,C.,Amini,R.,Yasavur,U.,&Rishe,N.Lisetti 等，2013 85 168 2005 Bickmore,T.W.,Caruso,L.,&Clough-Gorr,K.Bickmore 等，2005 62 143 2009 Schulman,D.&Bickmore,T.Schulman 和 Bickmore，2009 50 99 2018 Liao,Q.V.,Hussain,M.M.,Chandar,P.,Davis,M.,Khazaeni,Y.,Crasso,M.P.,Wang,D.K.,Muller,M.,Shami,N.S.,&Geyer,W.Liao 等，2018 37 48 2019 Kim,S.,Lee,J.,&Gweon,G.Kim 等，2019 35 84 2017 Vtyurina,A.,Savenkov,D.,Agichtein,E.,&Clarke,C.L.A.Vtyurina 等，2017 30 81 2019 Lovato,S.B.,Piper,A.M.,&Wartella,E.A.Lovato 等，2019 32 65 2018 Kocielnik,R.,Avrahami,D.,Marlow,J.,Lu,D.,&Hsieh,G.Kocielnik 等，2018 47 46 2010 Smyth,T.N.,Etherton,J.,&Best,M.L.Smyth 等，2010 37 86 2015 Tanaka,H.,Sakti,S.,Neubig,G.,Toda,T.,Negoro,H.,Iwasaka,H.&Nakamura,S.Tanaka 等，2015 31 48 2019 Zhou,M.X.,Mark,G.,Li,J.,&Yang,H.Zhou 等，2019 30 54 体取决于论文的主要焦点6。交互模态：有22篇多元论文采用了纯文本交互，比如Peng 等人，2019；9 篇研究了基于视频的交互，例如Nakanishi 等人，2003；只有少数几篇采用了纯音频交互，如Luria 等人，2020b，还有一些采用了音频和文本的混合模态，例如Isbister 等人，2000。需要注意的是，这些模态类别不是相互排斥的，因为一些研究采用了多种不同模态的混合设计，例如Shamekhi 等人，2018。代理特性：被审查的论文中，有 22 篇研究了被体现的多元 CA，例如Isbister 等人，2000，这些代理可以通过动画和肢体语言展示某些社交特性Casell，2000。然而，也有一些论文研究了未被体现的 CA，比如Chaudhuri 等人，2009。设计创意：多数研究提出并评估了原创设计，例如Chaudhuri 等人，2009，但也有三个研究采用了现有系统。其中一篇论文使用了现有系统（即 Google Allo）Hohenstein 和 Jung，2018，另外两篇论文研究了推特平台上的现有机器人Seering 等人，2018和Abokhodair 等人，2015。设计方法：在指定其设计方法的论文中，有五篇采用了基于框架的方法，这意味着所设计的特性是在先前框架、模型或理论的指导下进行的概念验证设计Dyke 等人，2013、Tegos 等人，2015、Kim 等人，2021、Wang 等人，2021、Nakanishi 等人，2003。同时，大多数设计特性是由研究人员在没有利用先前设计或迎合特定用户需求的情况下提出的，例如Toxtli 等人，2018、Dohsaka 等人，2009、Seering等人，2020。此外，二元 CA 采用了参与式设计方法，包括需求访谈，例如Kim 等人，2020、Zhang 和Cranshaw，2018。评估方法：在审查的研究中，最常见的评估方法是实验性的，共有 16 篇论文采用这种方法。其他评估方法包括六篇采用调查，六篇采用访谈，五篇采用实地研究，三篇采用数据分析，两篇采用互动日志分析，两篇采用观察，还有一篇采用焦点小组讨论。这些评估方法并不相互排斥，因为一些研究在评估中采用了多种不同的方法7。这些共享方面展示了多元和二元CA研究之间的一些相似之处，但也反映出了多元 CA 研究在特定领域和设计方法方面的多样性。3.2 多元 CA 的独特之处 下面，介绍了涉及多用户交互的方面，这是多元CA 独有的，即关系类型和社交规模。此外，还报道了先前多元著作中使用的相关理论和框架。关系类型：具体的关系类型在很大程度上取决于互动的背景，其中包括八篇论文将多元 CA 设计为共同学习者，例如Chaudhuri 等人，2009，四篇论文设计中文科技期刊数据库（全文版）图书情报 26 为同事，例如Cranshaw 等人，2017，七篇论文设计成合作者，例如 Slack 上的合作者Avula 等人，2018，三篇论文设计成第一次见面的人，例如Isbister 等人，2000，四个是在线社区成员，例如Savage 等人，2016，三个是公众访客和访客，例如Zheng 等人，2005，六个是游戏中的共同参与者，例如Rehm，2008，一个是 SMS 联系人，例如Hohenstein 和 Jung，2018，还有一个是家庭成员，例如Luria 等人，2020b。由于多元 CA 是为多个用户设计的，而不是为一对一交互设计的二元 CA，用户之间的关系类型是研究多元人际互动的一个独特维度。社交规模：多元 CA 的社交规模也各不相同，其中一些研究侧重于小组互动，例如在小组讨论或合作项目中，而另一些研究则关注更大规模的社交互动，例如在线社区或虚拟会议。这种多样性反映了多元 CA 可以适应不同社交规模的能力，这是与二元 CA 不同的一个独特方面8。相关理论和框架：在多元 CA 的设计和研究中，一些先前的研究使用了相关的理论和框架，以帮助理解和指导多用户交互。这些理论和框架可以包括协同学习理论、团队动力学、社交网络理论等。这些理论和框架有助于研究人员更好地理解多元CA在不同社交背景下的行为和影响。4 结束语 人工智能时代图书馆的人机交互用户体验研究 领域正在不断发展和演变，随着 AI 技术的不断进步和应用领域的扩展，研究者和从业者面临着新的挑战和机遇。本文总结了多元和二元交互中的设计实践、关键问题和未来研究方向，为该领域的进一步探索提供了有价值的见解。多元 CA 的设计具有更多的复杂性，涉及关系类型和社交规模等方面的考虑，而二元 CA 主要关注用户与 AI 之间的单一交互。然而，多元 CA 的用户体验研究仍相对有限，需要更多的关注和深入研究。未来的研究可以集中在多元交互中的关系建立、信任建设以及团队协作等方面，以更好地理解多用户环境下的 AI 与人机交互。总之，AI 与人机交互的用户体验研究是一个充满活力和前景的领域，期待看到更多有关如何优化 AI 系统以提供更好用户体验的研究，以及如何应对不断变化的 AI 技术和应用挑战的探索。希望本文可以为研究人员和从业者提供有关AI与人机交互用户体验领域的重要见解，并促进该领域的持续发展和创新。参考文献 1黄凯.人工智能生成内容(AIGC)助力图书馆高质量发展J.文化产业,2023(24):97-99.2梅庆玲,黄亚平.人工智能赋能高校图书馆资源建设 与 服 务 研 究 J.河 南 图 书 馆 学刊,2023,43(08):48-50.3赵静萍.基于 AI 赋能的智慧图书馆:数据挖掘与精准 服 务 J.西 安 文 理 学 院 学 报(社 会 科 学版),2023,26(03):79-83.4朱东亮.人工智能时代图书馆图情服务的转型与创新研究J.江苏科技信息,2023,40(20):62-64,68.5金梅娜.人工智能技术在图书馆中的应用J.内蒙古科技与经济,2023(13):132-134.6杨东妮.基于人工智能技术的图书馆音乐资源数据库 建 设 方 法 研 究 J.信 息 与 电 脑(理 论版),2023,35(10):180-182.7崔晓慧.高校图书馆智慧服务中人工智能运用分析J.山西青年,2023(09):157-159.8陶雪琼.人工智能时代人机社会性交互设计研究D.江南大学,2020.作者简介：作者简介：黄镇钊（1988），男，广东封开人，汉族，职称为助理馆员，毕业于华南师范大学增城学院，本科学历，从事工作为图书资料等工作。黄兴(1964)，男，汉族，广东湛江人，职称为馆员，毕业于华南农业大学农业与农业管理专业(自考)，从事工作为图书情报工作。