基于不同采集方式和设备的智能盘点系统应用研究.pdf

46探索与创新基于不同采集方式和设备的智能盘点系统应用研究陆祝政 梅 影（浙江图书馆 浙江杭州 310007）摘 要：智能盘点系统是现代图书馆的重要组成部分，主要由图书加工、数据识别与采集、数据处理、书架管理后台、智能盘点设备管理后台、寻书导航六部分组成。文章对传统盘点方法和智能盘点技术进行了比较分析，并从使用技术、应用情况、存在问题、使用成本等方面，对不同的采集方式与不同采集设备组合的智能盘点系统进行了详细的研究分析，并提出了智能盘点系统的未来发展方向。关键词：智能盘点；视觉识别；人工智能；图像识别；RFID中图分类号：G250.7；G252.3 文献标识码：AResearch on the Application of Intelligent Inventory System Based on Different Collection Methods and DevicesAbstract The intelligent inventory system constitutes a vital component of modern libraries,encompassing six main components:book processing,data recognition and collection,data processing,shelf management backend,intelligent inventory equipment management backend,and book locating navigation.This article conducts a comparative analysis of traditional inventory methods and intelligent inventory technologies.Considering aspects such as technological usage,application scenarios,existing challenges,and operational costs,the research delves into a comprehensive analysis of intelligent inventory systems formed by combining different collection methods with diverse collection devices.The future development direction of the intelligent inventory system is put forward.Key words intelligent inventory;visual recognition;artificial intelligence;image recognition;RFID*本文系国家社会科学基金一般项目“图书馆服务智能化及机器人应用研究”（项目编号：17BTQ036）的研究成果之一。*1 引言图书馆收藏着海量的纸质图书资源。在传统模式下一般由馆员人工盘点，不仅需要消耗大量的人力，而且误差率和漏检率较高，后期甚至要投入更多人力进行结果复查和校正。同时，盘点周期较长，往往一次盘点还没有结束，图书情况就已经发生了变化。图书定位以索书号、种次号、出版年份等图书标签信息作为排序依据，依靠人工排架、人工通架、纠架来确保图书的排架位置正确。传统方法下，由于频繁的图书流通、阅览、上架容易导致图书错架，尤其是流通量较大的图书错架情况更严重。一旦错架，读者就很难找到想要的图书，造成不良的图书馆利用体验。据统计，我国图书馆藏书总量超过34.3亿册，其中平均错架率高达7.5%，即有2.57亿册图书难以找到1，导致此类图书借阅率低下，甚至长期零借阅，造成图书资源隐形浪费严重。图书盘点、定位是图书馆的刚性需求，在数字化转型走向智能图书馆的过程中，RFID（RadioFrequencyIdentification，无线射频识别）技术的发展、图像识别技术的成熟和人工智能技术的突破，使472023 年第 9 期图书馆盘点、定位技术也得到了突破性的提升和发展。越来越多的图书馆尝试采用更智能化的手段来盘点和定位。RFID技术、图像识别技术结合智能机器人、智能摄像头融合物联网感知、人工智能、大数据处理等各种技术手段，通过叠加组合使用，让精准的全自动化盘点成为可能，大大提升了盘点效能，提高了定位精度，解决了图书馆传统人工盘点方式落后、精度差、效率低、人力成本高等痛点问题。相较于人工盘点，智能盘点系统最突出的特点是通过智能化的手段自动采集图书信息，盘点信息整理输出，继而更加做到自动采集、自动比对纠错。2 智能盘点系统基本构成框架完整的智能盘点系统一般都包含以下六个主要部分。（1）图书加工。在图书加工时进行RFID标签、二维码（条码）关联设备操作。（2）前端数据识别与采集。针对不同的书架形式和时效性要求，可使用盘点机器人、固定摄像头、无人机和移动设备进行图书在架数据的识别与采集。（3）数据分析处理算法与程序。对前端采集的在架图书数据进行匹配、纠错与优化处理，生成最终的盘点数据运算结果，输出给管理后台与其他相关应用系统。（4）书架管理后台。负责管理书架位置、汇总各种渠道采集的盘点数据，以可视化的方式进行呈现和管理操作。（5）智能盘点设备管理后台。对数量众多的前端采集设备进行接入认证、状态监控、统一管理、作业调度、巡逻轨迹管理。（6）智能盘点系统寻书导航。基于智能盘点系统的盘点结果数据，迅速导航出图书的物理位置。工作人员纠错、读者检索到图书后，寻书导航应用可以展示图书最新的在架位置，规划合理路径，通过定位导航功能，帮助快速直达图书所在书架。3 不同技术组合的智能盘点系统比较分析前端数据识别与采集方式不同，对系统第一部分加工方式和第三部分数据分析处理算法与程序会有不同的要求，而第四至第六部分基本功能和需求类似。图书信息前端数据识别方式目前使用最多的是通过RFID芯片获取图书信息，而AI视觉图像识别崛起势头明显。采集设备也越来越多样化，智能机器人、智能摄像头、手持设备、无人机等各类设备在不同场景被使用。我们从主要使用技术、应用情况、存在问题、使用成本等方面，分析研究不同的采集方式+不同采集设备组合的智能盘点系统（见表1）。表 1 各类智能盘点产品盘点产品采集方式RFID 芯片读取图书图片信息采集采集设备智能机器人智能盘点机器人盘点智能机器人自动巡逻盘点手持设备盘点车盘点手持终端移动设备盘点智能摄像头智能摄像头监控式盘点无人机无人机拍摄盘点3.1 基于 RFID 芯片读取的智能盘点系统3.1.1 主要使用技术智能图书盘点机器人一般采用的采集方式是基于RFID芯片，主要技术构成为RFID技术+机器人技术+计算机视觉+定位巡航。现阶段，使用RFID技术盘点图书方式越来越多地被图书馆所采用。RFID技术盘点图书不仅准确性高，盘点效率也是原来传统盘点方式的几倍，大大减轻了工作量。随着机器人技术的日渐成熟，图书馆积极地将机器人技术应用至日常盘点中，以机器人代替人工馆员，突破传统盘点方式缺陷。将RFID感知和智能机器人技术进行有机结合，智能图书盘点机器人沿书架逐层扫描图书，通过RFID阅读器定位图书内嵌的RFID芯片，实现了精确、可靠的全自动图书盘点，一旦发现图书错架，可以实时显示其错架位置。机器人同时结合定位导航技术和图像感知技术，通过多传感器融合的自主定位导航技术实现自主寻找可通行的路径，激光雷达和视觉影像实现自主路径规划和避障功能，使得智能图书盘点机器人可应对不同情况分析判断出不同的导航路径。图像感知系统包括视觉图像分析、红外测距，用于观察设备在行进过程中是否遇到障碍物，设备是否在轨道中运行以及基于不同采集方式和设备的智能盘点系统应用研究48观察书架号，用来确定自身实际位置。导航定位系统由无线接收器、地图构建系统、偏移归位系统组成，在系统初始化阶段需要对整个室内环境进行地图初始化构建，并规划好行进的线路，在偏离轨道时需要通过无线接收器找到最近的初始化点位置，重新进入轨道行进。盘点书架时根据图像识别系统，先确定有无书架标签，一旦找到书架标签，即对该书架进行盘点，可在无人干预情况下自动完成盘点定位工作。等盘点动作结束后，将对这次盘点工作进行汇总呈现给图书馆员2。3.1.2 应用的情况我国一些图书馆和研究人员在此领域进行了积极的探索，研发设计出各类智能图书盘点机器人，还原真实应用场景。“图客”是南京大学智能机器人研究院联合南京大学图书馆自主研发设计3的智能图书盘点机器人。“图客”沿书架逐层扫描图书，通过RFID阅读器定位图书内嵌的RFID芯片，一旦发现图书错架，可以实时显示其错架位置以实现精确、可靠的全自动图书盘点，并可自主充电。目前，“图客”已研发到第五代产品，图书盘点效率每小时超过20000册，漏读率低于1%，定位精度高达99%，实现了厘米级图书定位。当前南京大学图书馆、武汉大学图书馆、中国农业大学图书馆、同济大学图书馆、香港中文大学（深圳）图书馆、华东师范大学图书馆、宁波大学园区图书馆等20多家高校图书馆已经部署使用“图客”4。天津中新友好图书馆2019年启动智能盘点机器人的研发，2020年6月投入试运行，成为国内第一家全面应用盘点机器人的公共图书馆5。目前中新友好图书馆有3台智能图书盘点机器人，一晚上就能精确地扫描全馆所有在架图书，并将错架图书报表自动发送给图书馆员。为保障不间断盘点，智能图书盘点机器人还实现了自动充电功能，24小时不停歇。苏州图书馆采用RFID“书童”盘点机器人，打造智慧阅读场景。苏州图书馆外借室共约38排书架，含六层、七层等不同形态书架，藏书约8.6万册，“书童”可根据自定义路线自动巡航，自动盘点并同步更新图书架层精确信息，自动充电，充电一次可完成全场盘点，识准率平均超95%6。长沙图书馆智能图书盘点机器人，每小时可巡检扫描55个书架，相比人工节约了每小时4个书架，按每个书架360册书计算，每小时可扫描近两万册书7。3.1.3 存在问题基于实验和数据分析，验证了智能图书盘点机器人与传统人工盘点方式相比，在盘点效率、定位准确率方面确实得到了很大的提高，有效解决了长期困扰图书馆的图书盘点效率低、成效差、耗时耗力，读者无法及时、准确获取图书定位信息等难题。同时也存在一些不足：虽然图书定位准确率接近96%，但仍出现少数读取到背面图书的情况，定位算法需进一步优化；由于盘点定位数据的计算在云端服务器上进行，对网络连接的依赖性较强。另外，图书馆所使用的UHFRFID无源标签，其读取过程依赖于接收阅读器发出特定频率的射频信号，天线获得感应电流后，激活标签芯片并返回数据。UHFRFID标签虽然可读取距离较远，但也更容易受金属对电磁波屏蔽、反射效应的影响，其中屏蔽效应直接影响对标签的读取率，如在人工盘点中，一些书籍因紧靠书架钢质隔板或为金属封面，其标签很难被读取到；而反射效应则会造成读取过程中RSSI（ReceivedSignalStrengthIndicator,接收信号强度指示）、相位等数据的异常，如在机器人自动盘点过程中，因金属反射造成的异常值影响了算法模型的正确求解，进而造成少数图书被错误地定位或排序8。图书上架方面，智能图书盘点机器人还不能实现自动上架图书的功能；智能图书盘点机器人对环境的感知还主要依靠虚拟地图和底部激光定位，对环境要求较高，在人数比较多的情况下，智能图书盘点机器人的定位可能会受到干扰。3.2 基于 AI 图像识别的智能盘点系统3.2.1 主要使用技术基于AI图像识别的智能盘点系统，需要在视觉识别算法、图书数据集、图像处理硬件技术三方面同时具备理论可行性的基础上才能得以实现。（1）视觉识别算法。计算机视觉算法在近年来取得了许多重要的进展，并在各个领域得到广泛应用，其中对于AI图书盘点场景来说最为重要的2个突破如下：第一是深度学习。深度学习在计算机视觉领域的应用取得了巨大的突破。通过使用深度神经网络，可以自动学习图像和视频数据中的特征表示，从而实现目标检测、图像分割等。深度学习的发展也促进了计算机视觉算法在实时性和准确性方面的492023 年第 9 期提升。第二是目标检测与定位。目标检测与定位是计算机视觉中的核心任务之一。最新的目标检测算法，如FasterR-CNN（RegionbasedConvolutionalNeuralNetwork）、YOLO（YouOnlyLookOnce）、SSD（SingleShotMultiBoxDetector）等，具有更高的检测速度和准确性，使得对于速度和准确率要求较高的图书盘点应用成为可能。同时，多目标定位算法也得到了改进，能够在复杂场景下准确跟踪与定位多个目标，满足了图书馆中大量图书密集摆放的复杂场景要求。（2）图书数据集。在进行图书盘点时，大规模图书数据集是一个基础且重要的组成部分，它主要由以下几部分组成。一是图书信息数据库。具备完善的图书数据库是进行图书盘点的基础。图书数据库应包含所有图书的基本信息，如书名、作者、出版社、出版日期、ISBN号等。这些信息需与图书扫描信息匹配，大规模图书数据集可以包含数以万计的图书条形码或二维码，以便进行快速扫描和识别。这些数据集可以通过图书馆自动化管理系统、馆藏系统、自助流通系统等渠道进行获取。二是图书图像数据集。在某些情况下，图书盘点可能需要对图书的侧脊或其他特定部分进行图像识别。这就需要建立一个包含大量图书侧脊图像的数据集。这些图像在传统的渠道无法批量获取，但是可以通过智能硬件进行收集与完善。三是元数据集。除了基本图书信息外，从图书馆馆藏系统、电子书资源库等还可以建立一个包含其他元数据的数据集，如图书的分类、标签、评分等。这些元数据可以为图书盘点提供更多的信息，帮助进行更准确的盘点和分类。在当下的图书馆信息化环境中，大规模图书数据集也已经具备了定期更新和维护的条件，能够确保其中的信息和馆藏图书库保持同步。这些图书数据集在图书盘点中扮演着重要的角色。它们提供了图书的基本信息、条形码、实体图像等数据，为图书盘点提供了基础。通过定期更新和维护数据集，可以保证盘点的准确性和实时性。（3）图像处理硬件技术。基于AI图像识别的盘点中前端的图像采集和后端的图像处理都需要先进的硬件技术支撑。随着硬件技术的不断进步，如高清图像传感器、GPU（GraphicsProcessingUnit，图形处理单元）等的发展，收集图像、处理图像的质量和效率都大大提高。这为实时或近实时的图书盘点提供了可能性。首先是图像采集。图像传感器是用于捕捉图像的硬件设备，如相机、摄像头等。在图书盘点的场景中，第一步就是要收集到足够清晰的图书在架影像。随着技术的发展，图像传感器的分辨率、动态范围和噪声性能得到了显著提升，使得图像的质量和细节更加清晰，为采集影像后进行精密的图像处理与计算提供了坚实的基础。其次是图像处理。为了满足对实时图像处理的需求，专门设计的图像处理芯片逐渐得到应用。这些芯片具有高度并行的计算能力和低功耗特性，能够快速执行图像处理算法，如图像滤波、边缘检测等，这使得时效性较高的图书盘点运算成为可能，这也是AI图书盘点能够成为现实的重要基础。再次是神经网络加速器。随着深度学习在图像处理中的广泛应用，神经网络加速器成为一种重要的图像处理硬件。这些加速器专门设计用于执行神经网络模型，能够高效地进行卷积运算和矩阵乘法，加速图像识别、目标检测等任务。图书盘点场景中各个步骤的算法都需要结合深度学习模型，得益于深度学习的广泛应用，使得成本和效率都能够被大多数图书馆所接受与采用。3.2.2 应用情况我们通过基于AI图像识别的智能盘点方式在图书馆实际环境中测试的具体测试数据，来比较各种盘点方式的准确性。（1）智能摄像头监控式盘点。在书架区域的上方，可以安装固定的智能摄像头。摄像头可实时监控书架变化。笔者在浙江图书馆（曙光路馆区）文学借阅室抽取了2列单面书架进行测试。智能摄像头盘点在测试中抽样书架2列，共14个格子，总计487册图书样本。经3轮测试，时效性10分钟，召回率99%，准确率99%。（2）无人机拍摄盘点。使用带有摄像头的无人机作为图像采集地设备，有效地解决了异形架、高层架盘点的问题。笔者在浙江图书馆（曙光路馆区）社科借阅室抽取了1列双面书架进行测试，抽样书架有正反面高低分布的7个格子，总计221本图书样本。经5轮测试，召回率99%，未出现误识别情况，准确率99.9%。（3）手持终端移动设备盘点。对于无法安装智基于不同采集方式和设备的智能盘点系统应用研究50能摄像头的少部分区域，可以由馆员使用手持盘点设备，作为智能图书盘点的补充，快捷方便。（4）智能机器人自动巡逻盘点。通过给图书盘点机器人加装摄像头，智能机器人按照设置好的时间周期和覆盖书架区域，自动进行轮询拍摄上传盘点图像数据到中心服务器进行识别分析处理。智能机器人的优势在于可以移动到书架较近位置进行拍摄，图像清晰度远超远距离拍摄的摄像头，同时通过正对书架拍摄，在图书摆放不整齐时，受干扰较小。通过AI图像识别采集图书信息，相较于RFID芯片读取，可有效避免金属书架对信号的干扰。3.2.3 存在问题实际的AI图像识别基础上的图书盘点应用仍需要考虑以下挑战：（1）图书的多样性、光照条件的变化和图书摆放的复杂性等，会造成识别率的降低。（2）存量图书二次加工。目前主流图书加工方式没有将用于识别的二维码信息贴到书脊处，而测试中盘点准确率在99%以上的场景中，图书均二次加工外贴识别二维码。（3）采集设备自身也存在着一定的不足。首先，智能摄像头监控式盘点，可实现多摄像头并发盘点，盘点效率高，但同时也需要大量安装摄像头，也会遇到拍摄距离较远、图像清晰度不足等问题。另外，摄像头一般安装在较高的天花板上，拍摄的横向范围也比较大，拍摄角度倾斜度较高，遇到书本不整齐时，容易出现相互遮挡。此外，还应考虑摄像头安装与整体建筑风格协调等问题。其次，机器人盘点存在不能实时感知书架的变化，机器人数量远少于摄像头，总体盘点效率低于摄像头并发盘点的问题。再次，手持终端移动设备盘点这种非全自动化的盘点方式耗费人力大。最后，无人机拍摄盘点会有噪音，只能在闭馆期间运行。无人机电池续航时间一般在2030分钟，影响了盘点的效率。3.3 智能盘点设备应用效果对比经过测试比较，发现智能摄像头适用于间距在80CM以上的规则排布且区域层高在2.1m到5m的单面书架。从使用效率上看，某册图书的盘点时效性最高可达5分钟以内。覆盖范围较大且有读者活动的情况下，时效性在正常情况下为15分钟以内。盘点机器人适用于规则排布的阅览室或者高度小于2.7m的沿墙书架，其中儿童区域因为易受孩子干扰并不适用。一般1台机器人需要覆盖1层或者1个阅览室，盘点效率在30分钟至2小时。闭馆时盘点效率较高，开馆时会受到读者干扰。无人机适用于机器人无法达到、摄像头无法安装的超高书架或者台阶阅览区域。手持盘点设备适用于馆员在巡馆、整架时，对在架图书信息进行快速盘点更新。从使用效率角度来看仅次于摄像头，缺点是增加了 人工成本。4 智能盘点系统成本分析智能盘点系统的成本因使用设备和盘点方式的不同而存在差异。成本通常涉及以下构成因素：（1）图书加工成本，约为每册0.2元。（2）系统后台与识别处理程序，根据软件功能要求会有不同，范围为20万50万元。（3）计算服务器，根据计算处理量需要的配置不同，每50万本图书的服务器成本在5万元左右。（4）前端数据采集设备，不同类型的成本差异较大。（5）智能摄像头。平均一个摄像头可以覆盖6列7层的书架共42格，规则排布区域摄像头可以通过电子云台旋转照射相邻书架的2面，共计84格，以平均一格放置35册图书计算，共计2940册图书；摄像头硬件及配套的实施和交换机成本平均为4500元，得出每册图书盘点成本为1.53元。（6）智能图书盘点机器人。考虑盘点时效在半小时内的场景，1台机器人理想情况下可以覆盖约180列书架（7层），共1260格，以平均一格放置35册图书计算，共计44100册图书；盘点机器人硬件及配套的实施成本平均为100000元，得出每册图书盘点成本为2.26元。（7）无人机。受限于无人机的续航，1台无人机单次可运行20分钟，理想情况下盘点1格需要3秒左右，加上格子之间移动的时间，按4秒1格计算，可盘点300格，以平均一格放置35册图书计算，共计10500册图书；无人机硬件及配套的实施成本平均为30000元，得出每册图书盘点成本为2.85元。（8）手持设备。手持设备比较灵活，按照正常的操作效率计算，半小时可以盘点600格，以平均一格放置35册图书计算，共计21000册图书；手持设备的硬件成本平均为3000元，得出每册图书盘点成本为0.14元。5 智能盘点系统的未来发展方向512023 年第 9 期5.1 完善应用场景利用RFID技术的智能图书盘点机器人，对受钢质书架屏蔽、反射影响而无法盘点和定位的少量图书，以及异形书、超大开本无法正常摆放的图书，可辅以图像采集手段，基于图像识别和机器学习等技术，进一步提高自动盘点、定位的准确率。目前机器人的首书定位法只适用于按排架规则（如按索书号排架）上架的图书，对于不按排架规则排架的图书、因障碍无法按常规路径盘点等场景，需要扩展其定位算法和路径规划，提升其对场地、环境的兼容能力。根据不同实际场景，采取多种设备方案配合的盘点模式，是目前最为合理、现实的一种解决方案。智能摄像头可应用于大面积书架盘点；智能机器人、无人机对运行环境要求比较高，对干扰敏感，且有续航问题，需充电，更适合在闭馆环境中进行；手持设备更适合作为补充手段，满足特殊区域和其他设备故障时的临时盘点需要。5.2 提高采集设备性能，优化关键算法随着图像传感器、镜头、芯片等硬件的不断进步，摄像头的分辨率、画质、动态范围等都会有所提升，从而实现更高清、更细腻、更真实的图像效果。摄像头有更多的差异化和个性化的设计和功能，可以根据不同的场景和需求提供不同的拍摄模式和效果，根据不同的用户和目标提供不同的交互方式和服务。这些图像采集设备硬件的提升必然会对盘点效率提升有很大帮助。同时，图像预处理、目标检测、特征值提取与匹配等系统应用的关键算法，也在不断发展优化，可以有效提高图像采集质量，降低服务器算力资源要求。5.3 增加实时纠错功能目前，智能图书盘点机器人具有超强的馆藏信息“识错”能力，但对非正常状态的图书只能依靠人工纠正。未来的机器人应具有实时纠错功能，如通过机械手臂取下非正常状态的图书或修改相应图书状态，实现真正的全流程无人干预。5.4 改进人机界面增加人机互动功能，引入指令语料库，馆员只需发出语音指令，智能图书盘点机器人便通过语音识别启动相应的盘点模式。另外，机器人在盘点完成后的大部分时间处于闲置状态，还可引入服务语料库，在“休息时间”通过语音识别，为读者提供智能化的语音导航服务。5.5 优化数据分析智能图书盘点机器人在盘点过程中会记录大量馆藏数据及日志数据，馆员把这些数据纳入图书馆管理系统，获取结构化数据，通过大屏、PC或移动终端，以实时动态数据图表方式进行展示。同时馆员应加深数据挖掘、加强数据分析，使这些数据变成“聪明数据”（SmartData），以各类报表等形式输出，为管理者和读者提供更加精准的服务8。参考文献：1图书错架：亟待解决EB/OL.2022-12-20.https:/