资源描述
,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,健康教育评价,Evaluation of Health Education,1,主要内容,规划评价概述,规划评价的内容,规划评价的类型,规划评价设计类型,影响规划评价的因素及存在的问题,2,一、概 述,评价的性质,评价的目的和意义,评价(,evaluation,):,是,客观实际,与,可接受标准,进行的比较,是一个系统地收集、分析、表达资料的过程,旨在确定健康教育规划与干预的价值,为健康教育规划的进一步实施和以后的项目决策提供依据。,3,(一)评价的性质,评价是管理,(健康教育活动),的重要组成部分,贯穿于健康教育项目的,始终,最主要的作用,是判定健康教育项目实施后,是否实现目标,,达到预期效果;,关注计划,的科学性、可行性和适宜性;,评估实施,的进度和质量,评价的,基本原理是比较,确定,价值标准,是评价的,前提,(公认标准或基线),测量是,评价的重要,手段,,准确的信息是评价成功的保障,4,(二)评价的目的与意义,评价的目的,评价的意义,5,评价的目的,确定健康教育,规划,的先进性与合理性,明确健康促进活动的数量与质量,以确定健康促进活动是否适合目标人群,各项活动是否按规划进行,以及资源的利用情况,确定健康促进规划达到预期目标的程度及其影响因素,(针对的是本次健康促进项目),总结健康促进项目的成功经验与不足之处,提出,进一步,的研究假设,(针对的是今后健康教育项目),向,公众介绍,项目结果,扩大项目影响,改善公共关系,以取得目标人群、社区更广泛支持与合作,向,项目资金提供者,说明项目结果,完成合同的要求。,6,评价的意义,评价是健康教育项目取得,成功的必要保障,评价可以科学地,说明(揭示),健康教育活动的,价值,评价是,改善计划,的手段,评价结果可以科学地向公众、社区阐述项目效果,,扩大项目影响,,争取更广泛的支持,评价可以提高健康教育,专业人员,理论与实际水平,7,二、规划评价的内容,评价是对规划内各项活动的发展和实施、适合程度、规划活动效率、规划效果、规划费用以及相关部门对规划的接受程度等作出认真分析,使该项目规划更切实际、更高效率、更好效果。,评价的,核心内容,是阐明当地实施规划活动的质量和效率、规划中设定的目标是否达到以及达到的程度,也为领导和群众提供有价值的反馈信息。评价结果也用以改善现有的规划、或决定是否终止现有规划或扩大规划,同时也为设计新的规划提供科学依据。,8,(一)评价策略,评价的目的是什么?,评价是由规划相关人员进行评价还是由规划外部人员进行评价?,所应用的投入、过程、输出指标是否合适?使用这些指标去收集各种资料是否可行?应用所指定的指标测定规划活动和规划目标是否贴切?,如何保证整个评价过程的正确性和可靠性?回答者是否采用匿名的办法?,邀请谁来评估调查结果或所得结论的正确性和可靠性?用什么资料作出评估?是抽少量样本,还是仅由专业人员作出判断。,评价的结果送给谁?是送给参与评价过程的所有人,或仅送给有关领导,还是送给社区群众。,评价结果以什么方式发布?通过会议或研讨会,张榜公布,通过口头方式,还是以论文形式发表。,9,(二)评价内容,健康文化的评价,包括健康相关知识、态度、动机、行为意图、个人保健技能和自我效能。,社会行动和影响的评价。包括社区参与、社区赋权、社区规范和公众意见。,健康公共政策和组织改革。包括政策、立法、法规、资源分配、组织改革、文化和行为。,健康生活方式和条件的评价。包括吸烟、食物的选择和可用性、体育活动、违禁药品的滥用、在自然和社会环境中对危险因素的保护比例。,有效的健康服务评价。包括提供预防性服务、服务中的可得性以及社会和文化的合适性。,健康环境的评价。包括限制其获得烟、酒和违禁品、为青少年和老年人提供良好的环境、远离暴力和毒品。,社会结果的评价。包括生活质量、功能的独立性、社会支持网络、辨别能力和公平。,健康结果的评价。包括降低发病率、残疾率、可避免的死亡率、社会心理能力和生活技能。,能力建设结果评价。包括可持续的测量、社区参与和赋权。,10,三、规划评价的类型,根据内容、指标和研究方法的不同,可以分成以下几种类型:,形成评价,过程评价,效果评价,总结评价,评价研究,11,(一)形成评价,(,Formative Evaluation,),形成评价,是在项目执行前或执行早期对规划内容所作的评价,包括为制定干预规划所做的需求评估及为规划设计和执行提供所需的基础资料。,形成评价,总的目的,是通过需求评估以了解所制定的规划目标和干预措施是否合适;规划实施前对靶人群的了解,以决定适用于该人群的最佳干预方法;产生新观念、探索新策略。,形成评价,主要,发生在项目规划的,设计阶段,,其部分职能还将,延续,到计划的,实施阶段,(形成评价计划的可行性论证),12,形成评价的具体内容,了解目标人群对各种措施的看法,选择教育信息并做预实验,了解教育材料发放系统,包括生产、贮存、批发、零售以及免费发放渠道。,通过调查获得有价值的信息,为制订评价问卷提供依据。,对问卷进行预调查及修改。,提供定性资料为定量资料做解释和补充说明。,发现实施早期阶段可能出现的问题,根据新的情况对计划做适度调整。,(围绕计划的目的展开),13,形成评价的方法与指标,方法,:文献、档案、资料的回顾、专家咨询、专题小组讨论等,有条件时也可采用,运筹学,的方法,指标,:计划的科学性、政策的支持性、技术上的适宜性、目标人群对策略和活动的接受程度等,14,(二)过程评估(,Process Evaluation,),起始于,健康教育规划实施开始之后,,贯穿于,规划执行的全过程,作用,为解释健康教育的结果提供信息,监督和保障计划的实施,评价内容、评价指标和评价方法,15,1.,过程评价的内容,评估规划实施情况并随时了解现场反应。,评估工作人员工作情况。,项目预实验。,16,2.,过程评价的指标,项目活动的执行率:,已执行的活动数,应执行的活动数,%,干预活动的覆盖率:,参与人数,目标人群总数,%,干预活动的暴露率:,实际参与人数,应参与人数,%,有效指数,EI,:,干预活动的暴露率预期达到的参与率,%,目标人群的满意度:,内容、形式、,组织(时间),、人际关系,资源使用进度指标:,活动费用使用率、年度费用使用率、年度费用进度比,(年度费用使用率 年度活动执行率),17,过程评价的方法,直接观察各项干预活动,专题讨论法、倾听提供者与接受者两方面的意见和看法,有助于获得真实情况。,抽查少量目标人群了解他们是否得到有关信息。,记录各项活动,这是最重要的评估方法,能提供动态的变化。,18,过程评价与质量控制,内部质量控制(,internal quality control,),:,主要依赖于,项目工作人员,在执行项目过程中能准确记录,项目活动进行情况,,有,可操作性评价指标,并能严格把握标准,外部质量控制(,external quality control,),:,一般由,项目以外,的,有项目评价经验的专业人员以专家小组评审(,expert panel review,),的方式进行,以便能更加客观地反映项目实施情况,其在计划实施的,早期阶段意义,尤为重要,能够为完善项目计划提供直接的指导意见,19,(三)效果评价(,Effectiveness Evaluation,),评价健康促进项目导致的目标人群,健康相关行为,及其,影响因素,的,变化,效果评价,应当证明那些效果是项目投入造成的,哪些“效果”是非项目因素造成的,并对这两类影响加以鉴别。,20,效果评价的内容,近期和中期效果评价(,impact evaluation,),(,1,)评估哪些影响有关健康行为的倾向因素、促成因素及强化因,素改变的程度。,(,2,)评估相关行为改变情况。,(,3,)评估政策、法规制定情况。,结局评价(,outcome evaluation,),(,1,)效果。,(,2,)效益。,(,3,)成本,-,效益和成本,-,效果。,21,效果评价的方法,在干预组或社区中重复横断面调查(有对照组更好),提供基线资料和随访资料,以评估在某特定时期内行为改变情况。,在靶人群中建立哨点监测发病情况,干预前后作比较(有对照组更好)。,22,评价资料的收集方法,定量研究方法,定性研究方法,23,(四)总结评价(,summative evaluation),总结评价,(,summative evaluation,),是综合形成评价、过程评价、效果评价以及各方面资料做出的,总结性的概括。,综合性指标,更能全面地反映规划的成败。,总结评价从规划的,成本,-,效益,,各项活动的,完成情况,作出判断,以期作出该规划是否有必要重复或扩大或终止的决定。,24,(五)评价研究,(evaluation research,,,ER),评价研究是一种以研究为核心目的的健康规划,目的在于验证研究假设,揭示教育干预和结局之间的因果关系,从中获取可推广到其他场所或相似人群的理论知识和方法。,内在效力(,internal validity,):,指规划效果直接归因于教育措施的程度。,外在效力(,external validity,):,指这些归因于干预的效果能推广到相似人群或场所的程度。,25,四、规划评价设计类型,实验设计,准实验设计,非实验设计,26,(一)实验设计,实验设计是评价研究对象按随机原则分为实验组和对照组,分别观察他们在干预前后的情况。,实验设计有助于最大限度地控制影响因素,对结果的说服力较强。,难以实行,尤其是随机原则。,27,(二)准实验设计,准实验设计是人为控制研究因素,但在设立实验、对照两组时,未能严格地按照随机化原则分组。,较易实施,省时省钱,更具可行性,但对结果的说服力不如实验设计。,28,(二)准实验设计,1.,非随机比较组(,nonequivalent control group,),:,干预组与对照组不是随机确定的。设立对照组的目的在于控制混杂因素,最大限度地减少外部的误差来源。,2.,复合时间系列比较(,multi time,series,MTS,),:,比较干预组和对照组在不同时间点的变化结果,该方案可减少可能的历史性因素和混杂因素的影响。对干预组和对照组使用相同的测量技术。,29,(三)非实验设计,1.,单组前后比较(,one group pretest and post-test,),:,用同一对象在接受教育干预前后的变化进行比较。前后观察时间越短,其结果的意义越大。,在健康促进规划形成阶段,该方案可能有用,但条件是观察期间短且有理由剔除其他重大的历史影响,多用于评估培训规划的即时效果。,不足之处:规划中所选人群并非代表某个社会、组织人群的特征。,2.,时间系列(,time series,design,TSD,),:,该方案必须满足:,能建立可测量的时间周期。,所测结果稳定。,可顺利收集结果资料。,可在许多时候进行观察。,可在特定时间开展干预并可突然停止。,时间系列设计方案需要许多时间点进行最敏感的统计学检验。选用该方案还必须控制主要影响内在效力的影响因素,-,历史性因素。,30,五、影响规划评价的因素,历史性因素,工作人员和参与者的熟练性,测试或观测的偏倚,测量工具,回归因素,选择偏倚,失访,相互影响,31,(一)历史性因素,指在评价期间发生的干预规划之外的重要事件,包括全国性、地区性或组织机构内部,或在规划干预场所发生的事件,能导致参与者发生某些可能对结局有影响的变化。,随着,社会,的发展,,经济文化,等,因素,的变化,人群的行为、健康状况也会发生相应的改变,因此在健康教育项目周期长时,这些历史事件均可影响规划效果。,可通过设立,对照组和过程追踪,排除这些因素的影响。,32,(二)工作人员和参与者的熟练性,研究期间发生在参与者和工作人员中的知识量增加和技术熟练度的变化,也可影响参与者只是行为的改变和调查结果。,可通过设立对照组,对工作人员加强技术培训,以及同一批工作人员进行干预前后的调查等方法减少该种偏倚。,33,(三)测试或观测的偏倚,在测试或观测时影响测量结果准确性和可靠性。,主要通过加强对调查者的培训和资格审查,以及测试和观测时的质量控制来减少偏倚。,34,(四)测量工具,测量工具:问卷、仪器、试剂,处理办法:测量工具本身的可靠度和准确度,因此需要对测量工具的可靠度和准确度进行检验,35,(五)回归因素,原因,:由于偶然因素、个别被测量对象在测试时的某些特征水平过高或过低,在以后又回复到实际水平的现象,处理方法,:不容易被识别,可采用对照组、多次测量或随访检查等方法消除或减少,(方案设计),36,(六)选择偏倚,原因:,对照组的主要特征与干预组的不一致,选择不均衡。,处理方法,:随机化或配对,37,(七)失访,含义:,目标人群由于各个方面的原因不能被干预或者评价,如失访,超过,10%,或发生,非随机失访,(,只是其中有某些特征的人失访,),会造成偏倚。,处理方法:,努力减少失访或采用独立随机样本;或对应答者和失访者的各种特征分析以估计失访引起的偏倚和程度。,38,(八)相互影响,含义:,前七种因素的各种形式的组合。,4,、,6,、,7,类因素,的影响最为常见。,39,(二)评价中存在的问题,健康促进规划的评价主要针对相关的健康知识、生活方式、行为和生活质量。而这些指标相对来说是无形的,潜在的,确立明确的标准有一定的困难。,健康教育的最终目的是人民健康状况的改善和生活质量的提高,而这些结局难以做到全面实现。也有与干预造成的结果往往需要很长时间,造成结局评价的困难。,健康促进评价指标较难确定特异性的标准,有时定量性差,评价时主观性较大。,存在多种妨碍评价正确性的影响因素。,40,妨碍评价正确性的影响因素,月晕效应(,halo effect,),,即其他因素对被研究因素的影响。如评价者对某食物持有的先入为主的观念,这将影响到以后他对该事物的看法,造成评价的偏差。,评定错误(,rating error,),,即评价者的意向会影响到评定结果的高低。,霍桑效应(,Hawthorne,),被选择做实验对象或干预对象,当他们感受到正在被实验时,所表现的行为可能异乎寻常。,暗示效应(,self-fulfilling prophecy,),,评价或教育着的一项将导致情况向其意向性发展。,因果混淆(,post hoc error,),,由于时间的先后混淆了因果关系。,不均衡:,由于试验组与对照组的某些特征不相同,可能导致结果的偏倚。,41,敬祝大家健康愉快,42,
展开阅读全文