基于知识图谱联合ERNIE-DPCNN模型的药品不良反应自动关联性评价方法研究.pdf

中国药物警戒 第 21 卷第 2 期 2024 年 2 月 February,2024,Vol.21,No.2163DOI:10.19803/j.1672-8629.20230632 中图分类号：R954;R994.11文献标志码：A 文章编号：1672-8629（2024）02-0163-04基金项目：国家重点研发计划（2020YFC2005501）。作者简介：贾晋生，男，本科，工程师，药品不良反应监测。*通信作者：李馨龄，男，主任药师，药品不良反应监测。E-mail：lixinlingcdr-个例药品不良反应报告是药品不良反应报告和监测的重要内容，关联性评价是综合个例安全性报告内容的全部信息做出的归因或相关程度的评价。通过开展关联性评价以确定发生的不良反应是否与目标药物相关、相关程度有多少、是否与其他药物或疾病进程密切相关等1。目前药品不良反应关联性评价主要通过人工开展，该方式可以满足某种程度的准确性要求，但比较耗时耗力。如何通过建立自动化的评价方法，快速获取具备一定可靠性的评价结果用于辅助评估药品安全性是一直在探索的问题2-3。知识图谱是一种以语义网络和图结构为基础进行知识表示与管理的技术，揭示了实体间的相互联基于知识图谱联合 ERNIE-DPCNN 模型的药品不良反应自动关联性评价方法研究贾晋生1，刘红亮1，王青2，侯永芳1，李馨龄1*（1国家药品监督管理局药品评价中心，国家药品监督管理局药物警戒研究与评价重点实验室，北京 100076；2清华大学药物警戒信息技术与数据科学创新中心，北京 100084）摘要：目的针对当前药品不良反应关联性评价存在的效率较低和主观性评估问题，通过建立药品不良反应关联性评价模型，探索药品不良反应自动关联性评价方法。方法利用文献及互联网来源，对获取的不良反应报告标注数据（7 301条）进行知识抽取，构建药品不良反应知识图谱，建立知识驱动的ERNIE-DPCNN自动关联性评价模型。结果 提出的知识图谱联合 ERNIE-DPCNN 模型在测试集中的精确度、召回率和 F1 值分别达到 82.18%、81.40%、81.21%，相对于其他基线模型各项评估指标均取得了最高值。结论 知识图谱联合 ERNIE-DPCNN 模型的方法能提高药品不良反应关联性评价效率，具备较强的准确性，并在一定程度上减少主观性评估误差，对基于人工智能的自动化评价有一定参考价值。关键字：药品不良反应；ERNIE-DPCNN 模型；知识图谱；关联性评价；文本分类；深度学习；人工智能Evaluation of the relevance of adverse drug reaction based on ERNIE-DPCNNJIA Jinsheng1,LIU Hongliang1,WANG Qing2,HOU Yongfang1,LI Xinling1*(1Center for Drug Reevaluation,NMPA/NMPA,Key Laboratory for Research and Evaluation of Pharmacovigilance,Beijing 100076,China;2Research Center for Pharmacovigilance IT and Data Science,Tsinghua University,Tsinghua University,Beijing 100084,China)Abstract:Objective To establish a model for evaluation of ADR correlations in order to make the related evaluation more efficient and objective.Methods A total of 7 301 pieces of annotated data on adverse reaction reports obtained from literature and Internet sources were used for knowledge extraction to construct a knowledge graph about adverse drug reactions before a knowledge-driven automatic evaluation model of ERNIE-DPCNN relevance was established.Results The precision,recall and F1 value of the knowledge graph combined with the ERNIE-DPCNN model in the test set reached 82.18%,81.40%and 81.21%,respectively,which yielded higher values than other models.Conclusion The method based on knowledge graphs combined with the ERNIE-DPCNN model can effectively improve the efficiency and accuracy of correlation evaluation of adverse drug reactions and reduce errors that arise from subjective evaluation,which is of referential value for automated evaluation based on artificial intelligence.Keywords:adverse drug reaction(ADR);ERNIE-DPCNN model;knowledge graph;correlations of evaluation;natural language processing;deep learning;artificial intelligence系，能对现实世界的事物以及事物之间的关系进行形式化的描述4-5。知识图谱在医学领域已广为使用，应用于医学领域如知识问答、辅助诊断、病历识别等领域6-7。文本分类是信息应用与管理中最重要的方法之一，其目的是将给定文本按照预定义的判定标准或体系，依次归类于某个类别或添加多个标签的过程，近年来基于深度学习和神经网络的文本分类方法飞速发展8-9。基于此，本研究探索并提出一种知识图谱联合 ERNIE-DPCNN 药品不良反应关联性评价的深度学习模型，以期对药品不良反应关联性评价自动化提供参考。1 资料与方法1.1 原始数据集本研究为构建药品不良反应知识图谱和训练分类模型以实现药品不良反应自动关联性评价，原始数据主要来源于文献和互联网，共包括 7 301条药品法规与管理研究中国药物警戒 第 21 卷第 2 期 2024 年 2 月 February,2024,Vol.21,No.2164不良反应报告数据。根据数据存储的形式，数据包括半结构化数据和非结构化数据。其中半结构化数据对应每条不良反应数据的基本信息，主要包括患者信息、不良反应信息等，其中不良反应关联性评价的结果信息由 2 位资深临床药师进行质控确认，对无标注的部分进行标注，此部分数据存储于结构化表格中。非结构化数据是对不良反应过程的描述，为大段自然语言文本描述，难以直接利用，需要进行清洗和结构化等数据预处理操作。由于不良反应过程描述包括对不良反应症状的描述和对于患者本身病症的描述，因此数据处理的主要工作内容为从文本中解析出药品不良反应症状相关描述，并利用处理后的数据进一步构建知识图谱。1.2 方法1.2.1 知识图谱构建及评估 知识图谱的构建包括知识抽取、知识融合和知识存储等环节10。本研究中药品不良反应知识图谱的构建包括知识抽取和知识存储 2 个步骤，不涉及知识融合。知识抽取主要对预处理后的数据进行实体、关系和属性的定义与抽取，然后通过知识存储把抽取出的实体、关系和属性存储到 Neo4j 数据库中。知识抽取是构建知识图谱过程中最重要的一个环节。本研究利用 ERNIE（enhanced representation through knowledge integration）知识抽取预训练模型从不良反应过程中抽取实体、关系和属性。知识抽取过程中样本集为从文献及互联网来源的药品不良报告数据共 7 301 条，训练知识抽取模型时使用的数据集从公开数据集获取。抽取过程中设定实体类型共 3 种：患者、药品和不良反应，共包含 10 种属性（表 1）。构建节点间关系共 3 种：患者、使用、药品；患者、发生、反应；药品、导致、反应，其中“导致”关系按照已经进行过关联性评价的结果进行构建，分为“肯定”“很可能”“可能”“可能无关”“无法评价”“待评价”6 类关系。由于“无法评价”和“待评价”均为因果关系难以定论，因此本研究将二者归类为“无评价”。知识存储是知识图谱构建的完成环节。目前知识图谱主流的存储工具为图数据库 Neo4j，作为一种基于图形数据库的 NoSQL 数据库，其采用了图形理论和基于图形的查询语言 Cypher，已广泛应用于医学领域各类信息的存储11-12。Neo4j 数据库的优势是能够快速、高效地处理大量复杂的数据，提供更优秀性能、更好可扩展性和更高可靠性。本研究将知识抽取后得到的药品不良反应知识图谱存储在Neo4j 图数据库中，通过 py2neo 模块对 Neo4j 进行批量导入操作（图1）。对构建完成的知识图谱进行实体和关系规模统计，得到实体数量合计16 438 条，包括患者4 265 名，药物7 301种，不良反应4 872例次。关系数量为38 948条，其中药品不良反应关联性等级，“药品、导致、反应”三元组中的“导致”关系为 7 301条，其中“肯定”282例次、“很可能”1 120 例次、“可能”3 051例次、“可能无关”1 002 例次，“无评价”1 846 例次。在药品不良反应知识图谱构建完成后，对构建的知识图谱进行质量评价以验证其可信度。本研究随机选取 100 条数据作为测试组，由资深临床药师表1 构建 ERNIE-DPCNN 模型中对应实体和属性信息及示例Table 1 Information on entities and attributes and examples in the process developing an ERNIE-DPCNN model实体类型（归属节点）属性类型含义示例Reaction不良反应Name不良反应名称 突破性出血、药物性肝损害、注射部位肿块Rea_time反应发生时间 2020-05-19、第 3 天Rea_process 反应过程Medicine药品Name药物名称注射用头孢曲松钠、屈螺酮 炔雌醇片Quantity药品用量每日 250 mL、每日 3 IU、每日 0.5 gDelivery_way 给药途径口服、皮下注射、静脉滴注Med_time用药时间2020-05-19、第 6 天Patient患者仅作为存储患者属性的 节点，以编号表示Name患者编号Gender患者性别男/女Age患者年龄35图 1 构建 ERNIE-DPCNN 模型中药品不良反应知识图谱可视化效果图Figure 1 Visualization of the adverse drug reaction knowledge graph in the course developing an ERNIE-DPCNN model中国药物警戒 第 21 卷第 2 期 2024 年 2 月 February,2024,Vol.21,No.2165对这 100 条数据中的不良反应过程文本进行分析并逐条标注实体，然后将本研究自动构建的结果与人工构建的验证组进行比较，统计所有构建正确的三元组数量 T、构建错误的三元组数量 F 和未构建出来的三元组数量 N，并分别计算知识图谱的精确度P（precision）、召回率 R（recall）和可信度 F1 值（F1-score），其计算公式分别如公式 13 所示。P=TT+F公式(1)R=TT+N公式(2)F1=2PRT+N公式(3)从结果中可看出，本研究所构建的知识图谱的精确度 P、完整度 R 和可信度 F1 的值分别达到了88.81%、91.47%和 90.12%（表 2），其可靠性可以作为进一步进行分类模型训练的数据。1.2.2 ERNIE-DPCNN 模型搭建 利用知识图谱技术构建药品不良反应知识图谱后，可实现将半结构化和非结构化数据处理为结构化的图数据，以实现构建知识驱动的自动关联性评价模型。本研究提出ERNIE-DPCNN建模方案，该模型主要分为输入层、ERNIE 层、DPCNN 层和输出层，输入层将原始输入文本转化为词嵌入表示后输入 ERNIE 层。ERNIE 层包括文本编码器和知识编码器，利用多头注意力机制得到新的语义信息输出。ERNIE 层的输出将作为新的输入特征输入 DPCNN 层，DPCNN（deep pyramid convolutional neural networks）13模型采用 2 个等长卷积来生成文本特征，在每个卷积层中加入 ReLU 激活函数，并采用残差连接将卷积层与池化层相连，最终的池化层会将整个文本转化成一个向量输出到输出层。输出层采用全连接层和 softmax 分类器对提取的特征向量进行分类，从而得到模型的最终预测结果（图 2）。ERNIE 是一种基于 Transformer 架构的知识增强的文本特征表示方法。ERNIE 模型训练过程中引入了大量的外部知识，包括实体级别和句子级别知识，从而能够更好地捕捉文本语义信息。实体级别知识通过使用实体链接和实体属性等方式来抽取，并将其融合到 Transformer 编码器中。句子级别知识则通过与上下文相似的句子进行对比，从而得到句子相似性的特征表示，并将其融合到 Transformer 解码器中。ERNIE 在各领域文本分类任务中应用广泛，在医疗文本分类中也有大量应用14-15。DPCNN 是 1 种基于卷积神经网络的文本分类模型。通过利用多个不同尺寸的卷积核和池化操作，建立了1 个深层次的金字塔结构，使得模型能够快速捕捉文本的局部和全局信息，并且可以通过池化操作将文本表示为固定长度的向量。相比于传统的卷积神经网络模型，DPCNN 在处理长文本时具有更好的稳定性和鲁棒性，同时也可以有效地缓解梯度消失问题。同时，DPCNN 具有较少的参数数量和高效的计算性能，可在大规模文本分类任务中实现快速训练和推断。这些优势使得 DPCNN 成为了文本分类领域中一种强有力的基准模型。本研究中模型训练参数设置如下：ERNIE 隐含单元为 768，DPCNN 卷积核为 250；每批次处理的数据量大小为 64，样本最大长度为128，学习率为0.000 1，学习衰减率为 0.2，使用自适应矩估计优化器（adaptive moment estimation，adam）优化训练参数。预训练模型使用 ERNIE2.0 模型。1.2.3 实验数据与评价指标 对构建的知识图谱按照预设定的格式进行样本生成，并对生成的样本按照关联性评价信息进行标签标注，组成实验数据集。其中标签按照药品不良反应关联性评价等级肯定，很可能，可能，可能无关，无评价 5个等级分别对应标签 0,1,2,3,4 。模型的训练和验证需将实验数据集切分为训练集、测试集和验证集，为更好训练模型、调整模型参数，在保证验证集和测试集的评估效果基础上，本研究将尽可能多的数据集分配至训练集（表 3）。本研究对模型结果评价采用常用分类任务评估指标，包括精确率 P（precision）、召回率 R（recall）、F1 值（F1-score）以及准确率 Acc（accuracy）。精确率指的是某一类标签中分类正确的样本数与所有被模型判为该类型的样本数的比值，召回率是指某一类标签中分类正确的样本数与属于该类型所有样本的比值。F 值则是评价分类模型性能的一个综合指表 2 构建 ERNIE-DPCNN 模型中知识图谱可信度验证结果Table 2 Validation results of reliability of knowledge graphs in the process ofof developing an ERNIE-DPCNN model三元组正确数 T错误数 F丢失数 N精确度 P/%完整度 R/%可信度 F1/%患者-药品146141191.2592.9992.11药品-不良反应140201787.5089.1788.32患者-不良反应11116987.4092.5089.88合计397503788.8191.4790.1中国药物警戒 第 21 卷第 2 期 2024 年 2 月 February,2024,Vol.21,No.2166表 3 ERNIE-DPCNN 模型下不良反应关联性评价数据集划分信息Table 3 Dataset splitting information about correlation evaluation of adverse drug reactions in the ERNIE-DPCNN model标签总样本训练集测试集验证集肯定2822441919很可能1 1209677776可能3 0512 633209209可能无关1 0028 656869无评价1 8461 592127127合计7 3016 301500500图 3 ERNIE-DPCNN 模型训练 Acc/Loss 曲线Figure 3 Acc/Loss curve for training of the ERNIE-DPCNN model表 4 ERNIE-DPCNN 模型测试集结果Table 4 Results of the testset of the ERNIE-DPCNN model关联性精确度 P/%召回率 R/%F1 值/%肯定76.9252.6362.50很可能86.4466.2375.00可能74.8088.0480.88可能无关79.4681.6280.52无评价90.2487.4088.80加权均值(avg)82.1881.4081.21准确率(Acc)81.40表 5 ERNIE-DPCNN 模型对比结果Table 5 Results of comparison ofERNIE-DPCNN models 对比模型精确度 P/%召回率 R/%F1 值/%BERT-BiLSTM75.5077.5876.53BERT-DPCNN75.7477.6877.70ERNIE-DPCNN82.1881.4081.2原文+ERNIE-DPCNN61.7360.6461.18标，既考虑了召回率也考虑了精确率，可以表示为他们的调和平均数。准确率是被正确识别的样本占所有样本的比例。2 结果及评价基于 ERNIE-DPCNN 模型，训练前 20 轮模型得到验证集上的准确率 Acc 和损失 Loss 值（图 3）。由图 3 可知当 Epoch=3 时该模型在验证集上的 Loss值最低，Acc 最高，故本研究最终选取第 3 轮训练的模型。训练而不经过知识抽取的训练结果明显差于其他经过抽取的效果。同时，相较于 BERT-BiLSTM 模型，BERT-DPCNN 模型的准确率 P 值、召回率 R 值和 F1 值分别提高了0.24%、0.10%、1.17%。之后将BERT-DPCNN 模型中的预训练模型替换为 ERNIE预训练模型，可以看出相较于其他模型，本研究提出的 ERNIE-DPCNN 能更好地描述语义信息特征，提升了文本分类各项性能，取得了较高的 P 值、R 值和F1值，分别为 82.18%、81.40%、81.21%。3 结论本研究首先采用自然语言处理和知识图谱技术，对冗杂的不良反应相关的重要信息进行了知识提取和存储，然后通过训练深度学习模型对文本进行分类，探索了能够对药品不良反应报告进行快速评价的自动化关联性评价方法，具备一定的可靠性。本研究也存在局限性，虽然知识图谱的自动化构建可靠性较高，但构建技术仍有完善空间。未来建议在知识抽取框架上进一步改进，也可以建立专门的不良反应知识抽取数据集，增加各个关联性等级的数据量，继续训练模型，提高其在各个关联性等级的预测效能。参考文献1 CHEN SQ,ZHENG R,LI YP,et al.Causality assessment of adverse drug reactions and its guiding significance for post-evaluation of chinese patent medicineJ.World Science and Technology/Modernization of Traditional Chinese Medicine and Materia Medica(世界科学技术中医药现代化),2018,20(10):1729-1733.2 LI B,GAO R,LI R,et al.Causal determination of the adverse events and adverse drug reactions in drug clinical trialsJ.Chinese Journal of New Drugs(中国新药杂志),2014,23(12):1465-1470.3 HUANG Q,WEN ZH.An initiative to establish coordinated and consistent causality assessment criteria for adverse drug reaction in clinical trialsJ.Chinese Journal of New Drugs(中国新药杂志),2021,30(12):1132-1136.图 2 ERNIE-DPCNN 模型结构图Figure 2 Structure of the ERNIE-DPCNN model（下转第180页）选取最佳模型后，将模型对测试集进行预测，将预测结果与测试集标签进行对比，对模型进行精确率 P 值、召回率 R 值、F1值和 Acc 进行计算（表 4）。在本研究设定的数据语料基础上，选用经典的 BERT-BiLSTM 模型和 BERT-DPCNN 作为基准，额外添加了用未经知识抽取的反应原文+ERNIE-DPCNN 进行了对比实验（表 5）。从对比实验结果中可看出，直接使用原文进行中国药物警戒 第 21 卷第 2 期 2024 年 2 月 February,2024,Vol.21,No.2180Medicine(云南中医中药杂志),2022,43(9):70-73.61 XIAO CH,WANG YH,LIU ML,et al.The protective effect of propofol on lipopolysaccharide-induced acute kidney injury in mice and the effect of Nrf2/HO-1/NLRP3 pathwayJ.Chinese Journal of Integrated Traditional and Western Nephrology(中国中西医结合肾病杂志),2022,23(7):624-627,661.62 DING R,WANG KL,SHEN MD,et al.Mechanism of n-butanol position of vinegar-processed Phytolacca acinosa on reducing hepatorenal toxicityJ.Chinese Traditional and Herbal Drugs(中草药),2023,54(3):798-807.63 WANG SS,LU H,RONG J,et al.Pathological study on tissue injury of oxytropis kansuensis bunge in SD ratsJ.Chinese Journal of Veterinary Science(中国兽医学报),2013,33(2):246-249.64 JIA X,FU ZZ,RU QG,et al.Study on anti-inflammation,analgesia and nephrotoxicity of different doses of asarum decoctionJ.Information on Traditional Chinese Medicine(中医药信息),2022,39(11):55-59.65 ZHANG PP,WU Q,GE XX,et al.Research progress in toxic components and toxic mechanism of Dioscorea bulbifera L.J.Modern Chinese Medicine(现代中医药),2023,43(2):8-12.66 WEN XY,ZHOU PF,WEI XJ,et al.Toxic chemical components and detoxification methods of traditional Chinese medicineJ.Journal of Traditional Chinese Veterinary Medicine(中兽医医药杂志),2023,42(2):34-38.67 WEI JP,GAO SJ,WANG JR,et al.Metabonomic study of radix tripterygii wilfordii processed with raphani semen to reduce nephrotoxicity based on LC-MS/MSJ.Pharmacology and Clinics of Chinese Materia Medica(中药药理与临床),2022,38(4):126-131.68 HE TM,ZHANG JY,LIU L,et al.Research advances of mylabris-induced hepatorenal toxicity in recent yearsJ.Chinese Journal of Modern Applied Pharmacy(中国现代应用药学),2022,39(24):3310-3315.69 HUANG KE,LI XB.Analysis of the properties of traditional Chinese medicine with nephrotoxicity J.Traditional Chinese Drug Research and Clinical Pharmacology(中药新药与临床药理),1996,7(3):49-50.70 CHEN B.The kidney toxicity Chinese medicine property of a medicine and the relation of effective composition to the analysis report of kidney toxicity Chinese medicine document datumJ.Proceeding of Clinical Medicine(临床医药实践杂志),2008,17(S5):975-976.71 DANG LM,YIN AW,LIU SS,et al.Related research between nephrotoxicity and four properties,five tastes and channel tropismJ.Guangdong Chemical Industry(广东化工),2017,44(15):65-67.（收稿日期：2023-06-05 编辑：徐璐雨）Republic of China，Volume （中华人民共和国药典二部）M.Beijing:China Medical Science Press,2020:19.9 ZHANG ZT.Antibiotic drug testing（抗生素药品检验）M.Beijing:China Medical Science Press,1991:1-2.10 XIN J，LI W.Analysis of related substances in erythromycin estolate tabletsJ.Chin J Pharm Anal（药物分析杂志）,2017,37(12):2231-2237.11 ZHONG HT，XIAO J，WANG LP.Analysis of uncertainty in determination of erythromycin estolate by microbiological assayJ.Strait Pharmaceutical Journal(海峡药学),2022,34(4):107-111.12 The United States Pharmacopeial Convention.U.S.Pharmacopeia 43/National Formulary 38M.Baltimore:United Book Press,2020.13 LIU L,ZHOU XS.Determination of erythromycin ointment by HPLCJ.Journal of North Pharmacy(北方药学),2019,16(5):2-3.14 MARTN-ORTIZ A,RUIZ-MATUTE AI,SANZ ML,et al.Separation of di-and trisaccharide mixtures by comprehensive two-dimensional liquid chromatography.Application to prebiotic oligosaccharidesJ.Analytica Chimica Acta,2019,1060(7):125-132.15 ZHU XY.Research and application progress of two-dimentional liquid chromatography on quality control for traditional Chinese Herbal MedicinesJ.Chinese Journal of Pharmacovigilance(中国药物警戒),2020,17(9):643-646.16 JONAS CC,ISRAEL DS,CAROLINE FG,et al.Recent advances in column switching high-performance liquid chromatography for bioanalysisJ.Sustainable Chemistry and Pharmacy,2021,21(6):100431.17 ARMENTA S,GARRIGUES S,ESTEVE-TURRILLAS FA,et al.Green extraction techniques in green analytical chemistryJ.TrAC Trends Anal Chem,2019,116(7):248-253.（收稿日期：2023-07-17 编辑：朱蓓）（上接第155页）（上接第166页）4 JI S,PAN S,CAMBRIA E,et al.A survey on knowledge graphs:representation,acquisition,and applicationsJ.IEEE Transactions on Neural Networks and Learning Systems,2021,33(2):494514.5 SINGHAL A.Introducing the knowledge graph:things,not strings EB/OL.(2012-05-16)2023-10-01.https：/goo- FAN YY,LI ZM.Research and application progress of chinese medical knowledge graphJ.Journal of Frontiers of Computer Science and Technology(计算机科学与探索),2022,1(10):2219-2233.7 DONG WB,SUN SL,YIN MZ.Research and development of medical knowledge graph reasoningJ.Journal of Frontiers of Computer Science and Technology(计算机科学与探索),2022,16(6):1193-1213.8 PENG QQ,WANG D.Medical text classification model based on deep learningJ.Electronic Design Engineering(电子设计工程),2023,31(5):51-54,60.9 XU L,LI DW,ZHANG HQ,et al.Medical text classification based on neural networkJ.Computer Engineering&Science(计算机工程与科学),2023,45(6):1116-1122.10 ZHANG JX,ZHANG XS,WU CX,et al.Survey of knowledge graph construction techniquesJ.Computer Engineering(计算机工程),2022,48(3):23-37.11 XU AY,HU KF,YANG TAO.Construction of knowledge map of TCM diagnosis and treatment of lung cancer based on neo4jJ.Modernization of Traditional Chinese Medicine and Materia Medica-World Science and Technology(世界科学技术中医药现代化),2023,25(4):1456-1461.12 XU ST,SUN M.Construction and application of knowledge graph in chinese electronic medical records based on name entity recognition and neo4jJ.Journal of Medical Informatics(医学信息学杂志),2022,43(12):50-56.13 JOHNSON R,ZHANG T.Deep pyramid convolutional neural networks for text categorizationC.Proceedings of the 55th Annual Meeting of the Association for Computational Linguis