人员测评系统的构建与效度信度检验.pptx

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第四章 人员测评系统构建与效度信度检验,人员测评系统的构建与效度信度检验,第1页,本章内容,人员测评系统构建与,效度信度检验,1、测评系统组成,2、测评效度,3、测评信度,4、信度与效度关系及,提升策略,人员测评系统的构建与效度信度检验,第2页,一、测评系统组成,人员测评过程：测评考官依据岗位需要，利用测评工具对被测人员施以刺激，被测人员对此刺激做出反应，测评考官对被测人员反应情况进行度量与评价。,测评考官,测评工具,被测人员,人员测评系统的构建与效度信度检验,第3页,测评考官,测评体系主体，是决定人员测评能否成功关键要素。,在我国，测评考官分三类：,含有些人员测评专门知识专门人士（咨询师、高校教师、研究人员）,从事人力资源管理实务专业人士（,HR,）,人员使用部门资深人士（主管或骨干）,人员测评系统的构建与效度信度检验,第4页,测评考官应具备基本素质：,良好个人品格和道德涵养,测评组织方面知识（程序公平）和与测评内容相关知识（评分公平）,测评技巧（无领导小组讨论中座位摆放，面试中随机场景设置等）,工作经验和社会经验（经验直觉判断）,人员测评系统的构建与效度信度检验,第5页,测评工具与方法,能力测验（普通能力、特殊能力）,成就测验（知识测验、工作样本测试）,人格量表（自陈式量表）,面试（结构化、非结构化）,评价中心（针对管理者）,书面信息分析（申请表、履历表、人事档案、推荐信）,人员测评系统的构建与效度信度检验,第6页,测评客体被测人员,测评焦虑,测评前训练：,针对测评项目做大量强化练习,适应性训练,认识技能训练,要实现人,-,职匹配，就要对其全过程进行监控，监控依据和标准主要是测评效度和信度,人员测评系统的构建与效度信度检验,第7页,二、测量信度,一、信度,(reliability),（一）信度概念：,是测量结果一致性(consistency)或者稳定性(stability)程度，也就是研究者对相同或者相同测量对象进行不一样形式或不一样时间测量所得结果一致性程度。,人员测评系统的构建与效度信度检验,第8页,在测量理论中，信度是指一组测验分数真变异数与总变异数比率。在实际应用中，它通常以同一样本所得两组资料相关作为测量一致性指标。,信度能够回答测量工具是否稳定;测量结果是否能够推论，也就是概化能力，即从一次测量来推论总体,正确程度,。,人员测评系统的构建与效度信度检验,第9页,我们能够举例说明信度问题：假如想知道,某人体重，我们能够叫两个人来预计，一,个人预计为,150,镑，另一个人预计为,300,镑，那么我们就能够认为，叫他人来预计体,重是非常不可信方法。假如用磅秤，连续,测量两次结果都是相同，因而我们能够,说，在测量体重方面，用磅秤方法要比叫,人来预计更可信。,人员测评系统的构建与效度信度检验,第10页,例,:,假如想知道一个人智商，首先我们请对这个人熟悉两个老师来预计，一个人预计为110，另一个人预计为150，显然，这种巨大差距说明叫人来预计智商是非常不可信方法,。,不过，用智力测量量表，连续测量两次结果差异却很小。,因而我们能够说，在测量智商方面，用智力测量量表方法要比叫人来预计含有更高信度。在人员测评过程中，应该选择含有较高信度测量工具，这么才能确保测量结果可靠性。,信度-就是对随机误差一个测量,，随机误差决定了信度高低。,人员测评系统的构建与效度信度检验,第11页,（二）信度种类,因为误差起源不一样，对信度测量也有不一样方法。详细有以下,三,种不一样信度类型和对应评定方法。,1.再测信度(test-retest reliability),（与时间相关）,又称为,稳定性系数,，它是指对一样一个测验在不一样时间对相同群 体测量两次，这两次测量分数相关系数就是再测信度。,我们经过再测信度相关系数能够了解测量结果在经过一段时间后稳定程度。,人员测评系统的构建与效度信度检验,第12页,再测信度两次测评使用是同一个测评工具，同一个测评方式，但较难把握是两次测评间隔时间长短。,时间间隔过长，被测者特征将随时间增加而发展改变，由此计算稳定系数将失去意义；,若时间间隔过短，又可能产生记忆与练习效应，这也将影响稳定系,数。,人员测评系统的构建与效度信度检验,第13页,2.,与测评内容相关信度,单个项目标信度,组成信度,内部一致性信度（,主要关注是测验内部题目之间关系。它所考虑问题是一个测量工具全部维度测量均一性,）,折半信度（,将一份测验按照一定方法分成尽可能平行两个半份测验(比如按照奇偶分半)，然后计算两半之间相关，得到相关系数即为,折,半信度系数,）,复本信度,人员测评系统的构建与效度信度检验,第14页,3.与评分者相关评分者信度,相关系数法（随机抽取若干份答卷，有两个以上独立评分者打分，再求每份答卷两个评判分数相关系数）,概化系数和可靠性系数（相对误差-概化系数-常模参考测评，绝对误差-可靠性系数-标准参考测评）,人员测评系统的构建与效度信度检验,第15页,（三）影响信度原因,1.被试者特征,被试者特征对信度影响主要表现在被试者在测量属性方面个体差异上。,假如一个测量工具对某种属性测量得分差异幅度越大，那么该测量工具能区分开被测量个体，因而我们说该测量工含有很好信度;个体之间被测量特征或者属性差异差异很小，那么极难进行可靠测量，测验信度可能会很低。,人员测评系统的构建与效度信度检验,第16页,2.测验长度和难度,普通来说，测量分数分布越广，信度系数就相对越高。这就好比让你来 速记一组数字，伴随让你观察这组数字时间延长，你会发觉你能够描述数字准确性和详细程度也在不停提升。,一个给定测验，当增加测验长度而且对应地延长测验时间时候，也会发生上述类似效果。,人员测评系统的构建与效度信度检验,第17页,3.不一样信度测验方法选择,前面我们能够看到，不一样信度测量方法处理测量误差方式都不一样，这么在我们预计信度过程中对不一样方法选择就会产生不一样预计值。有 些方法倾向于对信度范围做上限预计，有些倾向于做下限预计，这么针对不 同特点测验我们要学会选择预计方法。,人员测评系统的构建与效度信度检验,第18页,4.,测验过程中误差,测试现场因为照明、背景音乐、温度、噪声、通风、桌椅和空间不符合人体工程学等原因造成被试精神和身体情况不适，,或者被试因为不熟悉答题样式，答题经验不足或者,生病等突发情况发生，都会造成测量误差。,人员测评系统的构建与效度信度检验,第19页,三、测量效度,（一）效度含义和特征,效度（,Validity）即有效性，它是指测量工具或伎俩能够准确测出所需测量某素质特征程度。,效度是指所测量到结果反应所想要考查内容程度，测量结果与要考查内容越吻合，则效度越高；反之，则效度越低。,或者简单地说是指一个测验准确性、有用性。,人员测评系统的构建与效度信度检验,第20页,人员测评系统的构建与效度信度检验,第21页,假如我们用体重秤来测身高，显然这种测量工具选择是不正确，所以说这个测量工具没有效度。,测评过程：测评工具研制、计分和指导语标准化、被试作答反应、主试或评分者、测验实施、数据整理、统计分析、结果解释。每一步都要确保其科学性和准确性，这么才能确保测量结果和结论是有效而正确,。,人员测评系统的构建与效度信度检验,第22页,效度性质,1.效度含有相对性,任何测验效度是对一定目标来说，或者说测验只有用于与测验目标一致目标和场所才会有效。所以，在评价测验效度时，必须考虑效度测验目标与功效。,2.效度含有连续性,测验效度通惯用相关系数表示，它只有程度上不一样，而没有“全有”或“全无”区分。效度是针对测验结果。,人员测评系统的构建与效度信度检验,第23页,效标和效标测量,效标，即衡量测验有效性参考标准，指是能够直接而且独立测量我们感兴趣行为。,我们感兴趣行为，就是要预测行为，这是一个总观念，故必须以可操作测量来确定才有实际意义。,所以有必要把效标细分为两个层次，其一是理论水平“观念效标”，其二是操作定义水平“效标测量”。,人员测评系统的构建与效度信度检验,第24页,惯用效标有：,1、学业成就：,如在校成绩、学历、相关奖励和荣誉、教师对学生智力评定等，常作为智力测验效标，也可作为一些多重能力倾向测验和人格测验效标。,2、实际工作表现,：,是最满意效标测量，为普通智力测验、人格测验和一些能力倾向测验效标；,3、特殊训练成绩；,4、精神病诊疗；,5、等级评定：,是观察者依据测验欲测量心理特质在被试身上表现而作出一个个人判断；,6、效标团体比较,：,即找出两个在效标表现上有差异团体，比较他们在测验分数上差异；,7、先前有效测验：,一个新测验与先前有效测验相关也经常作为效度检验证据。,人员测评系统的构建与效度信度检验,第25页,（二）效度类型,依据效度评定方法不一样，效度,能够从六个角度来划分：内容、反应过程、内部结构、与其它变量关系、测验结果。,1.内容效度,(content validity),内容效度就是检验测验内容对所要考评范围代表性程度。,比如面试时候对一个技术人员所掌握技术水平测验能够经过选取不一样水平含有代表性技术问题来测量，这么就能大致推断技术人员技术水平。,人员测评系统的构建与效度信度检验,第26页,内容效度指是测验题目对相关内容或行为取样适用性，从而确定测验是否是所欲测量行为领域代表性取样。,目标,“构念”,“构念”详细化,确定测评内容,人员测评系统的构建与效度信度检验,第27页,不一样于,其它几个,效度，内容效度首先重点是强调新测量工具建构而不是己有测量工具效度。设计并采取这种方法目标是帮助确保测量工具建构是针对所要测量内容。,这种方法主要是依靠教授依据经验来判断一个测量 工具效度，而不是依靠相关系数。所以，内容效度被称作一个描述性 效度。,人员测评系统的构建与效度信度检验,第28页,为了确保内容效度客观，能够经过以下流程来确保:,1.对所测量内容进行全方面分析，尽可能地搜索到最齐全资料。,2.挑选参加内容效度研究教授，这些教授应该能够负担相关测量范围职责而且含有这些职责所具备知识、技术和能力。,3.瓢选测量内容。,4.评定颤选测量工具与被测量内容相关性。,人员测评系统的构建与效度信度检验,第29页,2.,基于反应过程效度3.基于内部结构效度建构效度,建构效度：,指测验能够测量到理论上构想或特质程度，即测验结果是否能证实或解释某一理论假设、术语或构想，解释程度怎样。,比如,我 扪依据理论假设结构来编制一份心理测量量表或者测验，假如实际测量结果所测得实际分数经过统计检验能够有效地解释受试者心理特质，那么我们说这个量表或者测验含有良好,建构效度,。,人员测评系统的构建与效度信度检验,第30页,3.,基于与其它变量关系效度,效标关联效度,(criterion-related validity),（1）效标与效标测量,效标是衡量一个测验有效性参考标准。效标测量就是将效标转化为某种可 以操作测量指标。效标含有四个特征:多样性、复杂性、特殊性、时间性。,（2）,效标关联效度,效标关联效度是指测验与外在效标间关联程度。,即一个测验对处于特定情境中个体行为进行预测时有效性,(准确性)。,效标效度主要考虑是测验分数与效标之间关系。,人员测评系统的构建与效度信度检验,第31页,效标关联效度依据使用时间间隔长短又分为同时效度与预测效度。,同时效度,(concurrent validity),是指搜集效标材料与测验分数差不多同时进行,，多用于对现有员工测评。,比如，有两个智力测验A和B，A实施起来很费时间，而B测验时间短。假如B成绩与A成绩有很高相关，则B能够作为A替换测验。,人员测评系统的构建与效度信度检验,第32页,预测效度(predictive validity),是指搜集效标材料在实际测量结束后隔一段时间再取得，多用于人员选拔和配置等工作。,区分同时效度与预测效度标准不是时间，而是测验目标。前者主要用于测量现在状态，后者主要用于预测未来情况。,比如，入学考试成绩若能够很好地预测入学后学习成绩话，这个入学考试预测效度就高,。,人员测评系统的构建与效度信度检验,第33页,（3）确定效标关联效度方法,A.,相关法,相关法是指计算测验结果分数与效标之间相关，得到结果为效度系数。,计算效度系数惯用相关方法是积差相关又叫皮尔森,(Pearson),相关。,要使用积差相关必须同时具备以下两个条件,:,两个变量都是由测量取得 连续性数据，即等距或等比数据。,两个变量总体都呈正态分布，或靠近 正态分布。,普通来说，相关系数必须到达统计上显著水平。假如其它情况 己定，那么效度系数越高越好。,人员测评系统的构建与效度信度检验,第34页,B.区分度,区分度是指预测源分数是否能区分由效标测量所定义群体。,操作方法是选取两种效标A和B，先依据A将群体区分开来，再用B将群体区分开来，依据 两种效标区分结果来判断，假如A和B区分结果一致，那么说明效度较高。,人员测评系统的构建与效度信度检验,第35页,C.,命中率,命中率是依据测验所做正确决定比率。,它主要用作取舍决议。,某种测量工具效度高不高，主要是看做决定是否与实际一致，这就是命中率高低。,命中率包含有,：,总命中率、,正命中率、,负命中率。,人员测评系统的构建与效度信度检验,第36页,人员测评系统的构建与效度信度检验,第37页,人员测评系统的构建与效度信度检验,第38页,对于测验效果，从图2-2,中能够更直观地了解。,在左下角正确拒绝区域中,，我们能够看出，这部分被试是属于工作成绩和测验分数都很低被试群体，所以拒绝这些被试是正确,;,左上角区域,是工作成绩高不过测验分数却相对较低被试群体，这里假如拒绝了，显然是错误;,右下角区域,是属于工作成绩低不过测验分数却相对较高被试群体，假如录用了他们，显然是错误;,右上角区域,是工作成绩高而且测验分数也高被试群体，录用他们显然是正确,。,人员测评系统的构建与效度信度检验,第39页,5.基于测评结果效度,统计结论效度（衡量对测评数据进行分析时所用程序与方法有效性指标）,重点是测评本身质量和统计方法恰当性,内部效度（目标：找出造成绩效原因）,外部效度（测评结果能普通化和普遍适合用于样本所在总体以及其它同类总体）,内部效度是外部效度必要条件，但不是充分条件,人员测评系统的构建与效度信度检验,第40页,(三)影晌效度原因,效度大小主要受以下几方面原因影响:,1.,测量工具本身原因,假如一个测量工具本身存在误差，那么就是不可靠。这些误差越多，不可靠性就越大，效度也随之降低。详细表现在测量内容难度不适当、区 分度不高、试题题目描述内容或选项设置存在迷惑性问题、题目太多、测量 内容范围太广等。这些测量工具本身原因对效度影响是很大，假如 不注意控制，那么就无法确保测量较高效度。,人员测评系统的构建与效度信度检验,第41页,2.样本原因,人是复杂，参加测试人会受到各方面原因影响，有可能一顿油腻早饭就能让一个参加测试人临场发挥表现不佳。,被试者情绪、动机、兴趣、身体健康、态度等方面原因都会影响测试效度。,在其它条件相同情况下，被测者异质性越高，效度越高，因为效度受到被试团体分数分布影响,人员测评系统的构建与效度信度检验,第42页,3.效标污染,效标污染,(contenon contamination),是指效标受到预测变量以外变量 影响，偏见结果造成效度下降。,比如当我们想考评一个员工工作绩效时 候，假如评价者带有个人种族、性别偏见或者个人恩怨来考评下属时候，那么效标就被污染了。,显然，这么考评结果必定与实际情况相差甚远，效 度也随之下降。而且上述行为对效度影响程度也是无法预知。,人员测评系统的构建与效度信度检验,第43页,研究者能够经过以下方法来控制效标污染,:,一是改变效度研究本身设计;,二是采取部分相关统计方法。,只有尽可能地控制效标污染，才能更准确地了解测量工具和效标间真实关系。,人员测评系统的构建与效度信度检验,第44页,四、信度和效度之间关系,依据前面所叙述信度和效度定义和作用能够看出，信度和效度所处理是不一样类型误差问题。,信度一致性、稳定性,效度有效性,人员测评系统的构建与效度信度检验,第45页,人员测评系统的构建与效度信度检验,第46页,信度是一致性函数，不论它是否射在靶心上，只要是一个密集点状态就能够。,效度是准确性函数，在这里就是射中靶心周围点函数。,失败信度能够看作是一个随机误差，失败效度能够看作是一个系统误差。缺乏信度或者效度测量都是没有用。,人员测评系统的构建与效度信度检验,第47页,可见，效度是测量首要条件，信度是效度必要条件而非充分条件。,假如信度很低，那么效度也不可能高，因为假如测量数据不准确，就不能有效地说明所研究对象。即使信度很高，效度也未必高。,人员测评系统的构建与效度信度检验,第48页,比如，假如我们想测量一个人数学能力，不过测验是用文言文出题，而这个人文言文能力很差，那么测量出来结果是 零分。因为测量方法不得当，所以我们不能说这个人数学能力很差。这说明信度很高，不过测量选择方法是错误，所以效度不高。,人员测评系统的构建与效度信度检验,第49页,信度与效度提升策略,测评考官,测评工具,被测者,施测场景,人员测评系统的构建与效度信度检验,第50页,人员测评系统的构建与效度信度检验,第51页,