准确识别门急诊药品包装盒的YOLO-V5深度学习预测模型的建立及初步应用.pdf

准确识别门急诊药品包装盒的 深度学习预测模型的建立及初步应用王玉群孟名柱(南京医科大学附属常州第二人民医院.药剂科.医学影像科常州)摘 要 目的 开发能够准确识别门急诊药品包装盒的 深度学习预测模型以期实现药师药品调配“零差错”方法 共收集门急诊药房 类药品的包装盒图像 幅并对不同类别的药品进行标注制作深度学习数据集 将标注好的图像按照 分为训练集和测试集 采用 深度学习算法对数据进行训练训练 轮回批量大小 学习率.以精确度()和均值平均精确度()作为模型性能的主要评价指标 结果 的 个子模型在训练集中的 均达到.模型的.为.高于(.)、(.)和(.)和 模型的.:.均为.高于 和(.)的训练耗时(.)和模型大小(.)均高于其他 个模型 的单幅图片检测速度 是 个模型中速度最快的 结论 能够精准识别门急诊药品包装盒信息 人工智能辅助药师发药系统的部署是辅助药师实现药品调配“零差错”的可行方法关键词 药房调配差错深度学习药师中图分类号 文献标识码 文章编号()./.开放科学(资源服务)标识码()(.)“”.(:.).()().(.)(.)(.).:.(.)(.).“”.医院门急诊药房药品调配差错的防控依然是当前收稿日期 修回日期 基金 项 目 常 州 市 科 技 局 应 用 基 础 研 究 项 目()作者简介 王玉群()女安徽全椒人主管药师学士研究方向:临床药学:电话:通信作者 孟名柱()男安徽凤阳人主治医师讲师硕士研究方向:人工智能辅助医学图像分析:电话:的热点话题 调配差错通常是指药房调配的药品与医师处方内容不一致分内差和外差 种情况 內差为前台核发药师发现后台药师调配的处方有错在发给患者之前予以纠正的差错外差为前台药师没有发现后台药师调配的处方有错发给患者之后发现的差错 降低内差的发生率是提高门急诊药房药品调配质量与降低外差发生率的重要环节其不仅直接影响到患者用药的安全性和有效性而且是提升门急诊药学服务质量的重要举措 调配差错的原因集中在人员因素和药品因素两方面 数据显示调配差错中拿医药导报 年 月第 卷第 期错药品占调配差错的比例高达.随着医院信息化自动化建设逐步完善药品管理自动化及智慧门诊药房已成大医院发展的必然方向本文依据“你只看一次”第 版本()算法开发能准确识别门急诊药品包装盒的 深度学习预测模型以期能够最大程度减少门急诊药房的药品调配差错的发生率最终实现药品调配“零差错”资料与方法.数据收集与处理使用智能手机(华为)收集我院门诊、急诊药房常用药品包装盒照片(.格式)资料 通过多角度、不同距离进行拍摄 照片拍摄时模拟药房发药过程例如使用或不使用发药框发药框内摆放不同药品种类和数量等 共拍摄照片 张收集药品种类 个.研究方法.建立人工智能辅助药师发药系统 将基于 预测模型的人工智能辅助药师发药系统(智能辅助发药系统)与医院医嘱信息平台进行对接智能辅助发药系统通过摄像头获取预发放的药品信息并与处方信息进行核对当智能辅助发药系统发现预发放的药品信息与处方信息不一致时就会及时发出错误提示药师根据提示信息进行纠错后再进行药品发放.数据标注 使用离线数据标注工具()对照片进行分类标注标注格式为 格式 共标注标签 个.计算机环境配置 采用 企业版 位操作系统处理器为酷睿 核心 线程 为 显存 数据存储硬盘为西部数据 .高速固态硬盘.损失函数与交并比交并比()为 个方框相交区域面积()与相并部分面积()的比值 计算 系列损失函数需要使用矩形框左上角、右下角的坐标假设预测矩形框的左上角、右下角坐标分别为()、()标签矩形框的左上角、右下角坐标分别为()、()见图 所示 ()()()()()()()()()()()()()()()()()()()的取值范围为 当 个矩形框完全没有交集时 为 当它们完全重合时 为 即重合度越小 越接近 重合度越大 越接近 本文采用 算法 是在 的基础上把包围矩形框 和矩形框 的最小矩形框(图)的面积也加入到计算中 可按下式计算:()其中 为、相交部分的面积(红色区域)其中 为包围、的最小矩形框的面积 为、相并区域的面积(蓝色红色灰色区域)的取值范围是当、完全没有重叠区域时 为 那么 取负值极端情况当、无重叠区域且距离无限远时此时()/那么 取另一个极端情况当、完全重叠时()/等于 为 那么 取 因此 解决了当、完全没有重叠区域时 恒为 的问题 最后得到图 损失函数与交并比计算示意图./损失值的计算公式为:().模型结构及超参数设置可以根据模型的复杂度分为 个子模型分别为、和 见表 表 个子模型的比较.模型网络深度网络宽度网络层数卷积核数.本文使用相同的数据集和相同的训练超参数对 的 个子模型的性能进行比较研究 的模型结构(图)由体部和头部组成 在体部由卷积模块、模块和 模块对输入图像的特征进行提取然后再输入模型头部继续运算并进行分类预测 训练超参数设置见表 深度学习程序运行时关闭其他所有应用程序.模型性能评价指标 以下指标用来衡量 模型的性能分别为精确度()、召回率()和均值平均精确度()计算公式如下:()()()和 分别表示模型正确识别的目标图像数量 和 分别表示模型错误识别的目标图像数量 召回率指的是模型正确识别的图像数占这个类别图像的比例 平均精确度()是某模型由体部和头部组成输入图像经过不同模块进行特征提取及计算最后输出检测结果图 模型结构简图 :.医药导报 年 月第 卷第 期表 的超参数设置.超参数数值输入图像大小训练轮回批量大小学习率.数据增强 图像旋转 上下翻转是 左右翻转是 图像嵌套是 图像复制是一类别的精确度召回率曲线下的面积表示精确度和召回率所包含的区域的双轴映射 是各个类别的均值平均精确度是检测模型精确度的最常用参数 结果.智能辅助发药系统的流程智能辅助发药系统由对接、信息获取、信息识别与核对、错误信息报警、人工纠错等步骤组成 在没有错误信息报警的情况下无需人工纠错步骤 见图.模型的训练和验证结果损失值均随着训练轮回的增加而逐渐减低、.及.:.均随着训练轮回的增加而逐渐增高(图)个模型在训练第 个轮回时 均达到.模型的.为.高于其他 个模型说明 模型精确度相对较高 模型精确度曲线图和精确度召回率()曲线分别见图 和图 和 模型的.:.均.高于(.)和(.)的训练耗时、模型大小、单幅图片检测速度均高于其他 个模型(表).模型实例化检测结果为了进一步测试 模型泛化能力选取 种不同包装的氯吡格雷来对模型进行实例化测试分别为硫酸氢氯吡格雷片(波立维)每片 、硫酸氢氯吡格雷片(帅信)每片 和硫酸氢氯吡格雷片(帅泰)每片 这 种药品通用名相同商品名和规格不同外包装也非常相似其中波立维和帅信颜色、图案最相近帅信和帅泰包装盒大小相似 测试结果显示模型对 种药品全部检测准确并归类正确(图)讨论在门急诊药学服务实践中会经常遇到包装相似的药品和药品名称相同但厂家与包装不同的药品 对于这些药品通过人的视觉都是可以完全识别开来但是人的视觉容易疲劳尤其在日处方流量高峰期的时候难免会产生调配差错 药学服务的精细化管理例如品管圈方法已经在一定程度上减少了调配差错的发生 但是由于每个医疗单位的管理水平不一品管圈最大功能的发挥还需要经过时间的考验随着计算机视觉领域的不断发展尤其是在深度学习技术的推动下已经出现了更加精确的深度学习解决方案来区分不同图像之间的细微差别从而为解决难以避免的药品调配差错提供了新的思路 是集成目标检测和分类于一体的一步式神经网络模型具有速度快、精确度高的特点已经在工业检测、农业检测以及医学图像检测领域有所研图 人工智能辅助药师发药系统流程图./:训练集/验证集检测框的损失值/:训练集/验证集目标检测损失值/:训练集/验证集目标分类损失值.:.:表示在不同 阈值(从.到.步长.即.、.、.、.、.、.、.、.、.、.)上的平均 .:表示阈值为.的平均 图 学习曲线图/:/:/:/.:.:.(.).:.蓝色曲线为所有类别的平均值曲线图 精确度结果图 .究 本研究使用 作为深度学习框架来对门急诊药房药品包装数据集进行训练和验证数据显示 个模型在训练集中的 均达到.值在 个子模型中也相差不大.最高的是 模型(.)比 模型(.)高.这个差别可能表 个子模型比较.模型.:.训练耗时/模型大小/单幅图片检测速度/.和.:.注释参照图:.:.:.会随着数据量的增加以及训练轮回的增加而逐渐减小还有待于进一步研究 模型的训练耗时最长是其缺点之一这个缺点可以通过提升计算机硬件的性能来弥补 虽然 模型的精确度相对较低但是在单幅图片检测速度方面要优于 笔者挑选了 个通用名相同、外包装盒也非常相似的药品进一步地对模型进行实例化测试结果模型对 种药品均准确率识别并进行了分类进一步验证了模型具有较高的泛化能力 在门急诊药学服务实践中日处方流量高峰期会出现排长队现象 本组数据显示 模型对单张图像的最快检测速度可医药导报 年 月第 卷第 期 蓝色曲线为所有类别的平均值曲线 曲线下面积即为平均精确度.注释参照图 图 精确度召回率曲线图 .:.种药品全部准确检测 数字 为药物类别.和.为预测的置信度图 实例化检测 .达 最慢也有 这样的检测速度即使是在处方流量高峰期也不会影响药品发放速度而导致高峰期排队现象的加剧 对药品包装的分类检测相对于其对医学图像(例如医学影像图像中肿瘤的检测)的分类检测不同前者的任务更容易完成 首先前者的数据比较容易获取而后者较难 药品种类虽然众多但是门急诊药房的药品品规数量还是有限的这些药品的包装盒图片资料很容易完全获取 其次同一类别的药品(剂量相同)包装盒大小、形态相对固定这为深度学习模型高准确率奠定了充分的基础 最后在门急诊发药窗口布置图片获取装置也比较容易只需要在合适的位置安装捕捉药品包装盒信息的摄像头就能完成 等使用 算法(具体版本未指定)对 种门诊泡罩包装药品进行深度学习其准确率高于.本研究与其不同之处重点在于本研究采用的是药品包装盒数据而后者采用的是药品的泡罩包装 布置泡罩包装药品分类的深度学习任务较盒装药品包装盒的难因为泡罩包装药物相似度更高且需要检测的目标更小本研究的不足之处主要是数据的采集没有包括门急诊药品的全部类别 更深入的研究需要采集门急诊全部药品的包装盒资料当然这需要花费更多的人力成本和时间成本 人工智能辅助临床药师发药系统将有力地推动医院药学分级服务模式迈向一个新的高度 深度学习模型能够精准识别门诊药品包装盒信息人工智能辅助药师发药系统的部署能够辅助药师减少药品调配差错是最终实现药品调配“零差错”的可行方法参考文献 姜疆李媛柴昱等.门诊药房药品调配差错及防范措施的系统性分析.药学实践杂志():.曹文佳杨婉花阮晓芳等.我院门诊药房药品不良事件管理的信息化实践.中国药房():.李海涛张东梅高莉萍等.门急诊药品处方及药品调配常见差错原因与防范策略.重庆医学():.陈井泉刘燕.智慧门诊药房的建立与实践.医药导报():.梅康康蔡和平.智慧药学在医院药学中的应用进展.医药导报():.:.温正旺董佳宁梁鹏等.基于 的住院摆药单优化与摆药差错预警系统的设计与应用.中国药房():.徐晓涵颉博闻蔡峥等.精细化管理法在优化我院门诊药房工作中的应用及效果评价.中国药房():.穆殿平徐彦贵解晓帅等.品管圈在提升我院 质量管理中的实践.中国药房():.():.():.:.():.周博雅赵志刚史卫忠等.基于国内外药学分级服务模式提升我国药师服务价值探讨.中华医院管理杂志():.医药导报“数智药学”栏目征稿启事 随着人工智能、云计算、大数据、物联网和互联网等为代表的数字化、智能化技术的发展药物的研发和临床应用正在经历前所未有的变革数智技术成为药学创新的主要驱动力药学信息学从传统的情报检索工作向兼具数智技术与药学学科融合发展的数智药学方向转变为深入探索和研究数智药学领域的研究成果交流实践经验推动药学学科的创新发展提升药事质控管理、药事运营管理、药学需求管理、药学科研、药学政策转化和药学服务水平医药导报拟设立“数智药学”栏目现面向国内外公开征集稿件一 征文内容互联网药学服务研究人工智能、脑机接口及数字治疗等新技术在药学的研究与应用机器学习建模与预测模型研究药学知识图谱和网络药理应用与开发真实世界数据研究数字化、智能化药学服务的新技术、新方法、新进展药师信息能力建设与实践药学数据中心建设与药学数据治理研究智慧药房建设与医疗机构信息化相关评级管理药事管理相关算法和运营决策技术研究与应用药房自动化办公技术研究与应用计算机辅助药物设计数据挖掘与临床决策支持技术在精准药学方面的研究与应用其他数智药学相关主题二 征文要求论文内容与数智药学有关即可每篇文章字数 万字以内论文撰写格式请参照医药导报 年第 期插页 医药导报简介与投稿须知或登陆医药导报网站(网址:.)首页“投稿指南”查看 投稿请通过医药导报网站在线操作请在投稿时说明投稿“数智药学”栏目论文经三审通过后将安排在正刊发表三 通信联络地址:武汉市蔡甸区同济医院专家社区 栋平层医药导报编辑部邮政编码:联系电话:投稿网址:.邮箱:.医药导报编辑部医药导报 年 月第 卷第 期