监控与评价(M&E)系统的介绍.ppt

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,监控与评价（,M&E),系统的介绍,姜世闻,中国疾控中心结核病预防控制中心,200,5,年,12,月,19,日 哈尔滨,主要内容,M&E,的定义,M&E,的作用,M&E,的框架,M&E,指标的选择,M&E,指标的利用,讨论概念或定义的关系,监控,评价,督导,监测,M&E,的定义,监控与评价是,综合利用社会科学和流行病学研究方法来评价规划或规划的某一部分的实施情况及效果，改善并高质量的实施规划。,直观地讲其目的是,评价规划实施的投入、进程、结果和效果，发现存在的问题，总结经验和教训、提出改进规划的建议，确保规划的质量。,监控（,Monitoring,）是,利用投入,(input),、过程,(process),或活动,(activity),、产出,(output),的资料，常规进行追踪规划的进展。,评价（,Evaluation,）,过程评价：,衡量规划的质量和完整性。,结果（,outcome,）和效果（,impact,）的评价：,衡量规划对目标人群的结果和效果。,督导,(Supervision,field visiting),督导是指上级,规划,管理部门对下级,规划,实施单位结核病控制工作的督察和指导。,督导活动是,规划,管理的重要内容。是,现场,调查研究、,现场,评价、,现场,指导、,现场,培训和反馈的过程。,监测（,Surveillance,）,常规或专题调查搜集流行病学资料追踪疾病的流行趋势，为评价服务的。,M&E,的作用,M&E,与质量保证,质量保证,（,Quality Assurance,QA,）,质量是一种标准，反映结核病规划效益和效用，使供方和需方都得到满意。,质量保证：为保证质量而建立一系列指标，并及时评价，提出改进问题的对策，来改善规划的效益与效用。,2.,质量标准,3.,监测标准,4.,监测评价,5.,重点问题,6.,确定问题,7.,问题的责任方,8.,分析原因,9.,提出决定,10.,实施决定,1.,计划,质量保证,循环图,监控和评价计划的重要成分,清晰的规划目的及目标,（可以基于,10,年和,5,结核病控制规划和实施计划）,为达到每个规划目的明确的实施策略（如遏制结核病策略（,Stop TB Strategy,包括,DOTS,策略,),、,TB/HIV,策略、,MDR-TB,策略等）,一个描述了投入、过程、产出、结果及效果之间关系的监控和评价框架,选择定义清楚的指标及如何定义的、如何收集及如何分析的信息,简述参与监控和评价的伙伴（如不同的项目或组织）的协调，包含他们的要求及贡献,分享和利用监控和评价结果的措施,M&E,是规划或项目管理的主要内容,领导、机构、项目进程管理,财务管理,设备采购与管理,M&E,M&E,的重要性的概括,在日常的卫生规划管理,M&E,是非常重要,为规划管理者确定策略、设计计划、组织实施，以及确定人力和财力资源提供信息。,追踪是否达到了目标，如果没有就要在中期进行修订或调整。,质量框架 系统模型,过程,Process,投入,Input,产出,Output,如果按照计划进行,投入,，可以开展,活动,如果按照计划开展,活动,，可以获得,产出,如果按照计划获得,产出,，可以获得,结果和效果,结果和效果,Outcome,impact,监控和评价框架,活动,（过程）需要什么,投入,从,活动,期望什么,产出,由,投入,、,过程,及,产出,产生的什么短期和长期,结果,预期规划所产生的,作用,投入,过程,产出,结果,作用,政策环境,指南,人力资源,财力资源,基础设施,机构,督导活动,培训,结核病药品的采购及发放,痰菌检查,健康促进活动,收集信息,交流,发动,高质量的痰镜检服务,提供规范治疗,有效的病人管理,不间断地高质量的药品供应,知识、信念和行为完善,减少歧视,病人发现,70%,治愈率,85%,减少感染率,减少患病率,减少发病率,减少死亡率,保证质量的痰标本显微镜检查,投入,过程,产出,产品,/,机构,指标,产品,/,机构,指标,产品,/,机构和指标,制订痰标本镜检及,EQA,指南,国际认可的痰标本镜检指南的实用性,痰标本镜检培训,地市级或者县级实验室人员接受痰涂片镜检培训的百分比,有质量保证的痰涂片镜检机构,地市级或者县级实验室人员接受痰涂片镜检,EQA,培训的百分比,指标：符合,EQA,结果的有质量保证的痰涂片镜检实验室的百分比,开展镜检和,EQA,的人力资源,各级具有开展镜检和,EQA,足够人员的实验室百分比,对病人进行痰涂片镜检,对病人进行痰涂片镜检的实验室百分比,开展镜检和,EQA,的经费,各级可以得到开展镜检和,EQA,的经费的百分比,对实验室痰涂片镜检进行,EQA,（盲法检查）,按照指南进行,EQA,的实验室百分比,各级可以得到足够开展镜检和,EQA,经费实验室的百分比,完成实验室常规督导和标准片阅读,按照指南被督导的实验室百分比,建立提供有质量的实验室试剂和材料的实验室,提供有质量的实验室试剂和材料的实验室百分比,按照,EQA,结果的分析进行有目的的访问及干预,完成对,EQA,不好的县,/,地市参观的百分比,对痰标本镜检的,EQA,进行数据报告,完成全部,EQA,报告的地市和县的百分比,提供有效的治疗管理,投入,过程,产出,产品,/,服务,指标,产品,/,服务,指标,产品,/,服务和指标,有关病人管理机制及方法的指南,适合国家,NTP,的病人管理指南,根据国际标准，制定适合国家,NTP,的有关病人管理指南,指南,完善的、有效的病人管理,对负责管理病人的人员，进行培训,接受病人管理培训的县级人员比例,接受标准管理的病人比例,投入充足的人力资源，保障所有病人得到有效的管理,各级负责病人管理工作的人员数量（或比例）,进行病人管理,平均每个人员所管理的病人数,所有的病人的治愈率,平均每个病人接受有效管理的次数,经费投入,各级投入用于病人管理工作的经费数量,激励各级人员对病人进行有效的管理,接受有效管理的病人数量或比例,及时发放病人管理费的比例或数量,获得治愈的病人数量,提供交通工具（督导车辆）,各级所需交通工具的数量,对病人进行常规督导,不能正常维持病人管理工作的单位数量,能有效使用交通工具的单位数量,提供免费的标准化治疗,投入,过程,产出,产品,/,服务,指标,产品,/,服务,指标,产品,/,服务和指标,制定并下发关于免费及采取标准化疗方案的文件,文件规定内容的可行性,各地转发、学习相关文件,%,的机构已接到相关文件并开始执行,治愈病人,免费对象的标准及化疗方案的标准及操作手册,标准和操作手册的实用性,对各级结防机构的门诊医生及督导员进行培训,%,的单位开展了培训,%,的病人接受了免费的标准化疗,%,的门诊医生及督导员接受了培训,%,的接受标准治疗的病人被治愈,有充足的人能够准确的为病人提供标准化疗，并能够区分哪些病人应该被免费,每个单位门诊医生及督导员的数量,对病人开展免费的标准化疗,接受免费的病人数量占应接受免费病人数量的百分比（,%,）,%,的门诊医生及督导员能够准确的执行这项政策,%,的病人治疗方案正确,资金保障,提供给病人免费治疗的资金占实际需求资金的百分比（,%,）,对病人开展免费的标准化疗,接受免费的标准化疗的病人数量,提供给病人免费治疗的资金占全部提供资金的百分比（,%,）,化疗覆盖率,设备保障（包括门诊屋、药库、,X,光机等）,能够有相应设备对病人进行治疗的单位数占全部机构数的百分比（,%,）,收集、报告治疗病人的数据,%,的县级单位报告了病人治疗情况,不间断提供有质量保证的药物,投入,过程,产出,产品,/,服务,指标,产品,/,服务,指标,指标,计划,年度药品供应计划,需求测算；调整,药品需求测算的准确性；药品调整的及时性,持续、不间断的药品供应,药品管理指南,可操作性、实用性,对各级结防机构的药品管理人员进行培训,开展培训的单位数,免费抗结核药品缺货时间的平均百分比；,接受培训人数,接受正确治疗方案的结核病人百分比。,药品管理人员,各级有固定人员负责药品管理,各级药品管理人员职责,人员考核情况,经费保障,可持续性；经费来源和数量,采购药品,采购药品数量,药品管理,药品管理制度,药品储存、发放和出入库管理,免费抗结核药品过期或破损的百分比；,帐物相符率,报告信息系统,建立药品报告信息系统,及时准确报告药品管理信息,正确报告各类药品的平均百分比,结核病健康教育,投入,过程,产出,产品,/,服务,指标,产品,/,服务,产品,/,服务,指标,健康促进策略的出台,与国际接轨符合中国国情的策略,培训各级人员,省、地,/,县,/,乡,/,村三级健康教育人员的培训比例,结核病特定知识知晓率,工具箱的开发及更新,责任明确的工作计划,各级开展宣教活动,各级宣教活动完成率,结防机构与其他部门的协调,人均经费,各部门开展宣教活动,各部门宣教活动的完成率,经费的投入,作为日常督导工作的内容之一,各级督导率,健康教育效果评价,特定调查完成情况,M&E,指标内容,内容,质量特点,指标,标准,计算方法,资料来源,负责人,时间,投入,经费,保证工作需求,专项经费到位率,100%,实际到位数,/,应到位数,季报表,单位领导,每季度,机构,机构能力满足工作需求,结防机构组建率,100%,已建机构数,/,应建机构数,专题调查,单位领导,不定期,活动,培训,提高村医防治水平,村医培训率,100%,接受培训数,/,村医数,季报,负责培训人员,每季度,督导,及时高质量的督导活动,督导完成率,100%,督导县区数,/,应督导县区数,季报,负责督导的人员,每季度,产出,病人发现,尽可能多地发现病人,初诊病人占人口的比例,3,初诊病人数,/,人口,季报,领导,/,门诊医生,每季度,病人治疗,使确诊的病人接受治疗,新涂阳病人接受治疗率,%,95%,接受治疗数,/,登记数,季报,门诊医生,每季度,内容,质量特点,指标,标准,计算方法,资料来源,负责人,时间,结果,病人发现,尽可能多地发现病人,病人发现率,70%,发现病人数,/,发病数,季报,领导,/,门诊医生,每季度,病人治疗,使病人得到治愈,新涂阳病人治愈率,%,85%,治愈数,/,登记数,季报,门诊医生,每季度,效果,患病率,尽可能多地发现病人,初诊病人占人口的比例,下降一半,患病人数,/,检查人数，或加权计算,专题调查,领导,/,专业机构,不定期,死亡率,使确诊的病人接受治疗,新涂阳病人接受治疗率,%,下降一半,死亡数,/,检查人数，或加权计算,专题调查,领导,/,专业机构,不定期,选择指标,基于规划目的和目标,考虑指标的实用性,（能够实际衡量你感兴趣的变化或进展）,考虑数据收集的可行性（费用和实际性）,考虑可比性,（不同时间和跨地域是可比的）,考虑在哪个级别使用,（国家和省或下级）,选择指标,(indicator),的标准,合理,指标应该衡量想要获得的状况或结果,可信,用多于,1,种方法测量同一状况或结果产生相同的结果,特异,是衡量计划的状态或结果,敏感,能够反映观察下的状态或结果的变化,可操作,按照规划起草和实验并有参考标准的定义进行计算,可提供,测量指标的费用是可以提供的,可行,按照计划能够进行信息的收集,可比较,应该是可比较的，包括时间、地理等条件,四、资料收集的方法,完善的监测评价体系，缺少不了完整的资料，而好的资料又来源于优秀的收集方法。即力求于方便、易行，便能获得有效资料的方法。在结核病规划监测体系当中，主要存在三种方法：,（一）利用规划报表,我国现行的结核病防治规划报表包括月报、季报和年报。,月报表涉及内容主要有病人发现、登记报告，以及病人转诊追踪情况。作为常规报表，月报表为结核病规划提供了最基本的连续型资料，能及时反应各级的病人发现工作；,季报表要求各级（省、地市和县级）在每季度初上报上季度的工作情况，该表涉及内容广泛，包括病人发现、治疗管理、治疗转归、药品供应、培训工作等各个方面。利用季报表是目前获得资料，开展结核病监测工作的重要方法之一。,（二）现场督导,报表中得不到的信息，常常利用现场督导的方法获取。例如：,病例记录的质量、实验室的操作、涂阴病人的诊断质量、,DOT,的质量、医院的漏报等。,基层对有关工作的建议。,（三）通过现场和专题调研,在开展监测评价工作当中，往往需要一些专题资料，如设备使用状况、工作人员配置情况，项目经费支出情况等资料。对于这些资料的收集，可采用现场调查和专题调研的方法。具体通过现场观察、询问或下发文件的形式获得第一手资料。,结核病控制效果的评价常使用患病率、知晓率等专题调查。,通常来说，使用该方法应先针对所需资料设计好调查问卷或调查表格，以方便资料获得。,（四）回顾现有资料,我们在对资料进行分析，通常要使用既往资料作比较。对于这些资料，收集方法主要通过文献检索、期刊查询等。随着电子网络的日益普及，这些资料均可通过网络快速而准确地获得，同时，一些基本资料（如年度人口数、人群年龄分布等）也可通过网络信息轻易得到或更新。,值得一提的是，我国结核病规划已于,2004,年启动了疾病监测信息报告系统（即大疫情网络直报系统）和结核病专报系统，随着该两个系统的完善，我们结核病规划所需的大部分资料可通过其直接获得。,指标的特点,有清晰的定义,正确的计算公式,对结果有明确的解释，优点与不足,收集的方法或资料来源,收集的频度,新涂阳病人任务完成率,定义：指一定地区，一定时间（一年），在一定人群中发现和登记的新涂阳肺结核病人数占年度计划发现新涂阳人数的百分比。,公式：发现和登记的新涂阳肺结核病人数,/,年度计划发现新涂阳人数,100,评价：此指标反映该地区新涂阳肺结核病人发现的情况，可以对病人发现任务进行量化评价。涂阳肺结核病人发病率的估算是关键，即估算的新涂阳肺结核病人发病率比实际偏低，发现率会偏高，反之则偏低。,资料来源：月报表、季报表和网络专报资料,收集频度：月度、季度,适用级别：国家、省、地（市）、县（区）,帐物相符率,定义：指结防机构库存的免费抗结核药品实际数与库存记录相符程度的平均百分数。,公式：库存的免费抗结核药品实际数,/,库存记录*,100,一种药物帐物相符的计算方法：根据药品出入库登记本中的记录获得当前库存的该药品数量，对库存的抗结核药品进行现场清点，记录该种库存药品的数量（过期药品不计入），若库存记录与现场清点记录一致的视为帐物相符。,评价：该指标用来评价结防机构药品帐、物管理的质量，例如错误的库存存储记录、损耗或偷盗。该指标的目标值为,100,，如果指标值偏低，则提示药品登记管理系统需要改善。,资料来源：现场（药品出入库登记本和库存）,收集频度：不定,适用级别：省、地（市）、县（区）,结核病特定知识知晓率,定义：了解结核病特定知识的人数占被调查人数的百分比。,公式：结核病特定知识的人数,/,被调查人数,100,评价：反映被调查者对结核病防治知识的了解程度以及健康促进的效果。,说明：建议结核病特定知识调查内容由中央组织有关专家讨论决定，建议内容为资源库中的,5,个核心内容。要获得科学、客观的结果，调查应采取统一的调查方案、方法和标准。,缺点：被调查的目标人群文化程度的差异影响调查结果，实施难度大。,资料来源：专题调查,收集频度：每,5,年一次，在无基线数据的情况下增加一次基线调查。,适用级别：国家、省级和大的地市,M&E,的利用,分析,使用,为决策者或规划管理者制定政策、策略和计划提供依据,传播,利用各种途径，如：报纸、通报、小册子、图表等可视、可听、可看等方式传播。,M&E,活动的关系,监控（,Monitoring,）,信息收集,Quality report,现场督导,Supervision,专题调研,Surveillance or special survey,评价,（,Evaluation,）,M&E,最近的活动,评价规划的,M&E,指标,(Indicators),现场督导的主要内容和指标（,Checklist),谢 谢!,