柯氏评估模型在临床药师培训考核中的应用效果.pdf

51上海医药 2023年 第44卷 第17期（9月上）医药论坛柯氏评估模型在临床药师培训考核中的应用效果侯幸赟1 葛卫青2 陈燕红1 王志鹏1 余年喜1 冯瑾1 伊佳1 徐德铎1 温燕1 陶霞1（海军军医大学第二附属医院 1.药剂科；2.信息科 上海 200003）摘 要 目的：评价柯氏模型在临床药师培训考核中的应用效果，为进一步完善临床药师培训考核评估体系及提高临床药师学员岗位胜任能力提供借鉴。方法：选取 98 位进修药师为研究对象，根据柯氏评估模型构建临床的评估体系，分别评估反应层、学习层、行为层、结果层的培训效果。结果：反应层评估显示不同职称、学历及工龄的学员对培训基地的带教老师、培训内容、教学模式和考核方式比较满意，对教学安排及教学环境满意度相对欠缺（P 0.05）；学习层评估显示在培训后，学员的药学专业知识和药学服务技能评分均高于培训前（P 0.05）；行为层评估显示学员在培训后，学员的药品熟悉程度、药学问诊、药学服务及其他能力评分均高于培训前（P 0.05）；结果层评估显示学员在一定时间内药学服务满意度、开展合理用药工作、与医护的临床协作能力、个人发展情况评分均高于培训前（P 0.05）。结论：柯氏评估模型规范了临床药师培训评估方法，有利于全面考核学员的培训效果，提高培训质量及临床药师岗位胜任能力。关键词 临床药师培训 柯氏评估模型 培训质量中图分类号：G712;R192.8 文献标志码：A 文章编号：1006-1533(2023)17-0051-06引用本文 侯幸赟,葛卫青,陈燕红,等.柯氏评估模型在临床药师培训考核中的应用效果 J.上海医药,2023,44(17):51-56.Application effect of Kirkpatrick evaluation model in the assessmentof clinical pharmacist training HOU Xinyun1,GE Weiqing2,CHEN Yanhong1,WANG Zhipeng1,YU Nianxi1,FENG Jin1,YI Jia1,XU Deduo1,WEN Yan1,TAO Xia1(1.Department of Pharmacy;2 Department of Information,the Second Affiliated Hospitalof Naval Medical University,Shanghai 200003,China)ABSTRACT Objective:To evaluate the application effect of the Kirkpatrick model in the assessment of clinical pharmacist training,and to provide reference for the further improvement of the training assessment system and the enhancement of competency of clinical pharmacist students.Methods:Ninety-eight training pharmacists were enrolled,and the training effects were evaluated based on four layers including the response layer,learning layer,behavior layer and result layer according to the Kirkpatrick model.Results:The response layer evaluation showed that the students with different professional titles,educational backgrounds and working years were more satisfied with the teachers,training content,teaching mode and assessment methods in the training base,and less satisfied with the teaching arrangement and teaching environment(P0.05).The learning layer evaluation showed that the scores of pharmaceutical professional knowledge and pharmaceutical service skills were higher after training(P0.05).The behavior layer evaluation showed that the scores of drug familiarity,pharmaceutical consultation,pharmaceutical care and other abilities were higher after training(P0.05).the result layer evaluation showed that the scores of students satisfaction with pharmaceutical care,rational drug use,clinical cooperation ability with medical staff and personal development in a certain period of time were higher than those before(P0.05).Conclusion:The Kirkoff evaluation model standardizes the evaluation method of clinical pharmacist training and is of benefit to comprehensively evaluating the training 基金项目：上海市教育科学研究项目（C20085）；海军军医大学第二附属医院教学成果培育项目（JXPY2021C08）作者简介：侯幸赟，主管药师。研究方向：临床药学共同第一作者：葛卫青，工程师。研究方向：软件开发及数据统计通信作者：陶霞，主任药师、教授。研究方向：临床药学与心血管药理学52上海医药 2023年 第44卷 第17期（9月上）医药论坛培训效果评估有很多方法，目前国内外运用最为广泛的培训效果评估方法是美国唐纳德L柯克帕特里克（Kirkpatrick）提出的培训效果评估模型，也称“柯氏评估模型”。很多企业、公务员及在职教育培训等单位常采用柯氏评估模型来指导教学实施和评估培训效果1-4。Kirkpatrick 把培训评估分为 4 个递进层次，分别是“反应层”“学习层”“行为层”“结果层”5。医疗机构尤其在护理和住院医师规范化培训方面，也常应用柯氏评估模型来评估培训质量和效果，通过理论与实践相结合，不断提升护士和住院医师的岗位胜任能力6-9。临床药师培训效果评估目前还处于探索的过程中10，传统的考核方法以理论考核和案例汇报考核 2 种方式为主，较为单一化和固定化，无法全面考核每个学员在培训过程中的进步和成长程度，而且临床药师培训带来的后期效益也较少有评估指标来衡量。此外，临床药师培训效果评估涉及许多方面，单独一两个评估指标不能完整地描述其具体情况。因此，笔者所在的临床药师培训基地基于柯氏模型理论及结合实际临床药学培训情况，制定了精细化的临床药师培训考核和评估体系，并设计培训效果各个层次的专属性评估表，具体流程见图 1；各层评估目的、评估内容、评估方法、时机及主要评估指标则如表 1 所示。本研究是将构建的临床药师培训效果评估体系运用于上海某三甲医院临床药师培训基地的学员，以期不断提高培训质量及药师的岗位胜任能力。图1 临床药师培训效果评估流程图1 资料与方法1.1 一般资料选取在上海某三甲医院临床药师培训基地完成培训的 98 名学员参与此次的教学结果评估，具体的学员资料如下：女生 74 名，男生 24 名；职称是副主任药师 3 名，主管药师 42 名，初级药师 53 名；博士 2 名，硕士 36 名，本科 60 名；工龄 20 年 6 名，10 且 20 年 24 名，5 且 10 年 31 名，5 年 37 名。1.2 方法1.2.1 实施方法根据图 1、表 1 及结合临床药师培训基地实际情况，针对反应层评估，研究团队制定了临床药师培训满意度问卷调查表，主要是培训学员对带教老师、教学安排、教学环境、培训内容、教学模式、考核方式及总体感觉进行满意度调查，分为很满意，基本满意、一般、不满意等 4 个等级，基本满意和满意表示培训“满意”，一般或者不满意即对此培训“不满意”。学习层评估是考察学员整个培训期间的学习成效，临床药师培训涉及的主要学习内容包括药学相关知识的学习及药学服务技能的培养，考核的方式比如阶段专业知识考核、结业考核、药学问诊、用药监护、情景模拟应答等，满分为 100 分，各项考核结果制表登记成绩；对于不能定量评估的考核项，比如药学相关知识自主学习态度、与医、护、患沟通等能力培养的考核，研究团队制定了临床药师培训自我点评及带教老师评调查表，平均分 85 分为优秀，60 84 分为一般，60 分较差。行为层评估是考察临床药师培训学员的药学知识运用程度，是理论与实践相结合的过程，一般考核时机是培训结束后 6 12 个月内，主要是对培训前后是否有差别进行自评及他人（上级、同事等）对其培训前后药学服务能力的点评，考核项比如合理用药意识、药品熟悉情况、药学问诊技能、用药宣教质量、医嘱点评、审核、干预、优化及药学科研能力等是否显著提升、一般或者未提升，由此，研究团队制定了临床药师培训前后行为能力调查表。结果层的评估因上升到了组织高度，是评估临床药师核心effect of trainees and improving the training quality and the competency of clinical pharmacists.KEY WORDS clinical pharmacist training;Kirkpatrick evaluation model;training quality53上海医药 2023年 第44卷 第17期（9月上）医药论坛能力培训效果的重点，可以通过一系列指标来衡量，如工作效率、患者满意度、平均住院日、药占比等，但这些都需要一定时间才能体现，考核评估时间定于临床培训结束一年后，主要是包括患者对药学服务满意度、开展合理用药工作后相关指标改善情况、与医护人员团队合作能力、收获科研成果、促进个人发展情况等是否提高，由此研究团队制定了临床药师培训成果评估调查表。1.2.2 辅助点评软件为了更加智能化和便捷地收集临床药师培训学员对临床药师培训效果评估，研究团队构建了临床药师规范化培训管理系统，将构建的 4 个层次相关评估指标嵌入到该系统里，培训学员、带教老师及其他评估人员可以直接线上评估，最终进行汇总统计。1.3 统计学分析对 4 个评估层的调查数据进行收集和整理，采用SPSS 23.0 软件对数据进行统计分析，计数资料以 n（%）表示，采用 2检验。P 0.05 提示差异有统计学意义。2 结果2.1 反应层的评估情况反应层中，不同职称、学历、工龄的培训学员对带教老师、培训内容、教学模式、考核方式、总体满意率大部分在 85%以上；而对教学安排及教学环境满意度相对较差，尤其是教学环境，满意度仅 35%左右，各组比较差异均无统计学意义（表 2，P 0.05）。表1 基于柯氏评估模型构建的临床药师考核评估指标评估级评估目的重点评估内容主要评估方法评估时机评估指标反应层评估临床药师培训基地可及时获得培训学员对培训基地的真实反馈，可不断完善改进，提高培训质量带教老师、教学环境、教学模式、培训内容、考核方式等满意度问卷调查表培训后培训学员立即进行培训满意度学习层评估检查培训学员对药学相关知识、实践技能的学习掌握程度查房次数、药学相关知识学习情况、药历、病例讨论、文献阅读完成情况、药学问诊、考试成绩等阶段考试、作业汇报、药学问诊、情景模拟、结业考核成绩等培训前后、自评和带教老师点评药学专业知识成绩、药学服务技能成绩行为层评估在一定时间内考察学员在培训前后的行为变化、药学知识运用程度合理用药意识、药学相关知识运用情况药学临床实践能力相关指标培训前及培训后（学习结束后的 6 12个月）、自评及他评（上级、同事、下属等）药品熟悉程度、用药干预成功率、药品不良事件处理及上报率、医嘱点评、审核率等结果层评估评估培训所创造的组织、个人效益医院绩效考核、个人发展药学服务满意度、合理用药工作相关考核指标等培训学员在培训一年后进行患者满意度、平均住院日、药占比、医嘱点评率、患者用药宣教率、医嘱优化率等绩效考核指标、个人职称评级等表2 临床药师培训满意率比较n（%）组别带教老师教学安排教学环境培训内容教学模式考核方式总体感觉职称副主任药师（n 3）3（100.00）3（100.00）1（33.33）3（100.00）3（100.00）3（100.00）3（100.00）主管药师（n 42）39（92.86）34（80.95）15（35.71）36（85.71）38（90.48）41（97.62）37（88.10）初级药师（n 53）50（94.34）47（88.68）19（35.85）48（90.57）48（90.57）49（92.45）49（92.45）2值0.291.662.910.950.311.460.85P 值0.860.440.410.620.860.480.66学历54上海医药 2023年 第44卷 第17期（9月上）医药论坛表3 临床药师培训自我评价及带教老师评价比较n（%）项目培训前（n 98）培训后（n 98）2值P 值优秀一般较差优秀一般较差药学专业知识自我评价19（19.39）56（57.14）23（23.47）71（72.45）27（27.55）063.18 0.01带教老师点评15（15.31）65（66.33）18（18.37）67（68.37）31（31.63）063.02 0.01药学服务技能自我评价12（12.24）44（44.90）42（42.86）43（43.88）55（56.12）060.70 0.01带教老师点评11（11.22）42（42.86）45（45.92）46（46.94）52（53.06）067.56 0.01注：优秀，85 分；一般，60 84；较差，60 分。表4 临床药师培训前后行为能力调查表n（%）项目培训前（n 98）培训后（n 98）2值P 值ABCABC药品熟悉程度自我评价 5（5.10）41（41.84）52（53.06）61（62.24）37（37.76）099.72 0.01他人点评 6（6.12）45（45.92）47（47.96）58（59.18）40（40.82）089.54 0.01药学问诊自我评价 2（2.04）32（32.65）64（65.31）45（45.92）53（54.08）0103.39 0.01他人点评 4（4.08）28（28.57）66（67.35）56（57.14）42（42.86）0113.87 0.01药学服务a)自我评价12（12.24）42（42.86）44（44.90）64（65.31）34（34.69）080.42 0.01组别带教老师教学安排教学环境培训内容教学模式考核方式总体感觉博士（n 2）2（100.00）2（100.00）1（50.00）2（100.00）2（100.00）2（100.00）2（100.00）硕士（n 36）34（94.44）30（83.33）13（36.11）32（88.89）33（91.67）34（94.44）32（88.89）本科（n 60）56（93.33）52（86.67）21（35.00）53（88.33）54（90.00）57（95.00）55（91.67）2值0.180.542.370.270.280.120.42P 值0.910.760.500.880.870.940.81工龄（年）（20，）（n 6）6（100.00）5（83.33）2（33.33）6（100.00）6（100.00）6（100.00）6（100.00）（10，20（n 24）22（91.67）19（79.17）10（41.67）20（83.33）21（87.50）22（91.67）21（87.50）（5，10（n 31）30（96.77）26（83.87）17（54.84）28（90.32）28（90.32）29（93.55）28（90.32）（，5（n 37）34（91.89）34（91.89）18（48.65）33（89.19）34（91.89）36（97.30）34（91.89）2值1.308.916.831.550.981.400.98P 值0.730.060.150.670.810.710.81表2（续）2.2 学习层的评估情况经过培训后，无论是培训学员的自评还是带教老师的点评，培训学员的药学专业知识和药学服务技能评分均高于培训前（表 3，P 0.05），提示大部分培训学员经过培训后有所获益。2.3 行为层的评估情况行为层评估中，培训学员的自我评价及同事或上级评价均高于培训前（表 4，P 0.05），提示培训学员通过培训后，工作能力较培训前有提升。55上海医药 2023年 第44卷 第17期（9月上）医药论坛2.4 结果层的评估情况由于结果层评估时机大概在培训后一年时间时较适宜，培训结束未满一年的学员未参与该项点评，因此，此层评估共有 72 人。本研究中，通过临床药师培训后，学员的患者满意度、合理用药指标、与医护人员合作能力、个人发展（科研、职称）等评分高于培训前（表 5，P 0.05）。表5 临床药师培训成果评估调查表n（%）项目药学服务满意度合理用药工作指标医、护合作能力个人发展情况提高未提高提高未提高提高未提高提高未提高培训前（n 72）29（40.28）43（59.72）17（23.61）55（76.39）13（18.06）59（81.94）11（15.28）61（84.72）培训后（n 72）53（73.61）19（26.39）38（52.78）34（47.22）37（51.39）35（48.61）36（50.00）36（50.00）2值14.9812.9717.6519.74P 值 0.01 0.01 0.01 0.01项目培训前（n 98）培训后（n 98）2值P 值ABCABC他人点评 9（9.18）56（57.14）33（33.67）68（69.39）30（30.61）086.07 0.01其他b)自我评价 2（2.04）37（37.76）59（60.20）43（43.88）55（56.12）056.16 0.01他人点评 3（3.06）26（26.53）69（70.41）36（36.73）62（63.27）011.65 0.01注：A 为显著提升；B 为一般；C 为未提升。a)药学服务包含用药教育、医嘱点评、审核、干预、优化等；b)其他包含沟通能力、药学科研和合理用药意识。表4（续）3 讨论临床药师培训的核心能力主要是药学专业知识、药学服务技能与行为的综合能力，优质的临床药师培训不仅能提升药师的知识体系与核心能力，还能为患者提供高质量的药学服务，保障患者的合理、安全、有效用药。传统的临床药师培训属于单向性传播方式，缺乏相应的反馈机制，部分参与培训的药师缺乏明确的培训目的和方向，对临床药师岗位胜任能力培训的重要性不够了解，参与度也不够高；另外，目前临床药师培训效果评价体系不够完善，缺乏及时性、可持续性改进措施，使得临床药师的培训效果并不尽如人意。柯氏评估模型是目前培训教育领域使用较为广泛且实用的评估模型11-13。在柯氏评估模型的指导下及多年的临床药师培训经验，所构建的 4 个递进的临床药师培训效果评估层，能更全面、有效地评估培训效果，弥补了传统培训模式仅以考核成绩和自主学习行为作为评价标准的不足。本研究主要是将构建好的临床药师培训体系应用于参与培训的药师培训效果中，通过评估反馈，了解临床药师培训中存在的问题，及时改进，以利于临床药师培训的可持续发展，提高临床药师的岗位胜任能力。1）反应层评估，可以为改进培训提供重要参考，这一层次评估主要是了解参与培训的药师对临床药师培训基地整体的满意度调查。本研究中，培训学员对培训基地的带教老师、培训内容、教学模式和考核方式比较满意，而对教学安排及教学环境满意度相对较差，尤其是教学环境，满意度仅 35%左右。大部分学员认为本研究临床药师培训基地的学习室条件较为简陋，活动空间非常有限，培训期间的绝大部分时间是待在学习室里，但培训基地未能提供一个较为舒适的学习环境。基于此问题，本研究的临床药师培训基地负责人也正积极地改善学员们的学习环境，争取于未来 1 2 年内完成学员们的学习环境改造。对于教学安排满意度一般的问题，特别是在主管药师及工作 10 年左右的药师满意度较低，可能是由于这类药师希望培训能更加个体化教学安排，可自主选择感兴趣或者未来将从事的专业方向去轮转学习，考虑到这个问题，本研究团队在学员入学时为其提供不同专业选择，满足不同学员的教学轮转需求。另外，问卷调查虽然简单易行，但是数据较为主观，因此，为进56上海医药 2023年 第44卷 第17期（9月上）医药论坛一步完善反应层调查表，应增加一定的需要学员用文字简述的调查项目，比如“自己希望的临床药师培训是什么样的？”“希望此次临床药师培训自己能收获哪方面能力？”等。2）学习层评估，一般需要定性和定量评价相结合来评估学员的学习效果，主要通过入学考试、中期考试、结业考试来定量评价学员的药学专业知识学习情况，对于学员的药学服务技能评价难度较大，单一的定性评价难以保证评价结果的客观性和全面性，所以除了学员自我点评外，带教的老师也参与对学员学习能力方面的评估。本研究中，经过培训后，学员的药学专业知识和药学服务技能评分均高于培训前（P 0.05），说明临床药师培训对绝大部分培训药师有获益。药学技能的优秀发挥需要有深厚的药学专业知识为支撑，所以两者的培养在临床药师培训过程中都是至关重要的。3）行为层评估，是学习层评估的递进，将培训所学的知识运用于工作中。同样，除了学员自己的评价外，还涉及领导、同事的评估。本研究中，学员在培训结束后的日常工作中，药品熟悉程度、药学问诊、药学服务及其他能力评分均高于培训前（P 0.05），表明通过临床药师培训后，通过不断临床实践，提高了药师的岗位胜任能力，能为医生、护士、患者提供高质量的药学服务。4）结果层评估，是培训评估中最重要的部分，需要一定时间后才能体现，具有滞后性，不确定因素很多，比如人员的流动性、所培训知识的更新、人的记忆遗忘曲线等，而且药师行为变化、工作绩效提高方面的作用难以评估，所以这也是最难评估的一个层级。本研究团队初步确立了这个层次的几个重要评估指标，比如药学服务患者的满意度、所在医院开展合理用药工作是否有改善、与医护的临床协作能力、个人发展情况。但正如前面所考虑的，该层评估的反馈信息较难获取，其结果的真实性和科学性均有待后期的进一步验证，故评估指标也需要进一步具体完善。综上所述，基于柯氏评估模型构建的临床药师培训效果评估体系为临床药师培训考核提供了一个全新的思路，同时也是一次有益的尝试和探索，总的来说已取得了较好的效果。但本研究还存在一些问题，比如未设置对照组，而是培训学员之间及培训前后的比较，评估的结果可能存在一定的偏颇；各评估层的项目和评分等级还应进一步细化等。另外，构建的临床药师培训效果评估指标并不是一成不变的，随着时间的推移以及临床药师培训模式的逐步健全发展，培训效果评估体系也应相应地调整，使其贯穿培训前、中、后全过程并形成良性循环，以实现临床药师培训工作的可持续改进和提高临床药师的岗位胜任能力。参考文献1 邢郁莹,肖其勇.基于 CIPP 和柯氏评估模型的教师工作坊研修评价指标体系的构建 J.继续教育研究,2021(6):53-57.2 苏丽,蔡琼.基于“柯氏评估模型”的公务员初任培训效果的评估 J.统计与决策,2008(14):169-170.3 王俊景.柯氏四级评估模型及对企业员工培训体系构建的启示 J.中国成人教育,2017(16):153-155.4 宋夕平.浅析柯氏模型在培训效果评估中的运用 J.科技管理研究,2007,27(2):244-245;209.5 Kirkpatrick DL,Kirkpatrick JD.Evaluating training programs:the four levelsM.San Francisco:Berrett-Koehler,2006:379.6 谭昌菊.柯氏评估模型在提升临床护士岗位胜任能力中的应用探讨 J.重庆医学,2013,42(21):2562-2564.7 张伟,孙瑞玲.基于柯氏模型的全科医生规范化培训效果评估指标体系的构建研究 J.中国全科医学,2020,23(34):4371-4376.8 梁秀兼,蔡洵红,段文君.柯氏评估模型分析综合病例站点式考核在呼吸 46 中的应用 J.临床护理杂志,2021,20(1):70-73.9 孙亮亮,邹俊杰,郑骄阳,等.基于柯氏评估模型的住院医师规范化培训评估体系的构建 J.中国高等医学教育,2011(12):46-47.10 孟凡莉.药学技术人员继续教育培训效果评估方法与实证研究 J.上海食品药品监管情报研究,2010(2):43-49.11 王溯,鲁刚,余佯洋,等.基于柯氏模型构建全科医学教育效果评估指标体系的初步探讨 J.临床医学研究与实践,2022,7(28):45-48;114.12 梁秀兼,蔡洵红,段文君.柯氏评估模型分析综合病例站点式考核在呼吸与重症医学科护士培训中的应用 J.临床护理杂志,2021,20(1):70-73.13 尹露,王恒,郑萍,等.柯氏四级评估模式在麻醉监测护士培训效果评价中的应用研究 J.护士进修杂志,2021,36(15):1433-1436.（收稿日期：2022-11-07）欢迎访问网站（www.上海医药杂志.com）