第9章-人事测量结果及解释.ppt

主要内容主要内容1 1、结果的解释：常模及效标、结果的解释：常模及效标2 2、人事测量的关键技术、人事测量的关键技术:信度信度;效度效度;项目分析项目分析第一节第一节 解释的概念解释的概念-为什么测量的实施与解释相分离为什么测量的实施与解释相分离原始分原始分:绝对值绝对值 25,85 25,85 标准分标准分:相对值相对值 IQMA（智力年龄）（智力年龄）/CA（实际年龄）（实际年龄）100 常模参照解释常模参照解释:内部比较内部比较效标参照解释效标参照解释:外部比较外部比较一、常模和基于常模的解释一、常模和基于常模的解释 参照常模解释分数通常是将应试者的分数与某个参参照常模解释分数通常是将应试者的分数与某个参照团体的分数进行比较，并以该分数在这个团体中的照团体的分数进行比较，并以该分数在这个团体中的相对等级或相对高低位置来描述应试者的素质或特点。相对等级或相对高低位置来描述应试者的素质或特点。这个用来比较的参照团体（从测验总体中抽取出的这个用来比较的参照团体（从测验总体中抽取出的一个样本）一个样本）常模团体（常模团体（常模样本常模样本）常模样本的分数分布，就是解释测验分数的基础常模样本的分数分布，就是解释测验分数的基础常模常模第二节第二节 人事测量的关键技术人事测量的关键技术信度信度 效度效度 项目分析项目分析一、人事测量的可靠性一、人事测量的可靠性-信度信度（一）信度的涵义（一）信度的涵义 1 1、信度、信度:测量结果的可靠性或一致性测量结果的可靠性或一致性.对随机误差的一种度量。研究信度时，主要考虑对随机误差的一种度量。研究信度时，主要考虑两方面的问题：一是稳定性；二是影响稳定性的原因，两方面的问题：一是稳定性；二是影响稳定性的原因，即不稳定、不一致即不稳定、不一致 的原因。的原因。2 2、信度的作用、信度的作用 （1 1）解释真实分数与实际分数的相关）解释真实分数与实际分数的相关 （2 2）说明可以接受的信度水平）说明可以接受的信度水平二、如何测量人事测量的信度二、如何测量人事测量的信度 针对不同的误差来源，信度可以有不同的确定方法。针对不同的误差来源，信度可以有不同的确定方法。1 1、重测、重测 信度：稳定性系数信度：稳定性系数 采用重测法：用同一测验，在不同时间对同一群体施测采用重测法：用同一测验，在不同时间对同一群体施测两次两次，这两次测量分数的，这两次测量分数的相关系数相关系数就是重测系数。根据重就是重测系数。根据重测相关系数的测相关系数的高低高低，可以得知测量结果在经过一定时，可以得知测量结果在经过一定时 间后的间后的稳定系数稳定系数。在进行重测信度的评估时，应注意两个问题：在进行重测信度的评估时，应注意两个问题：（1）重测信度一般只能反映由随机因素导致的）重测信度一般只能反映由随机因素导致的变化，而不反映被试行为的长久变化。变化，而不反映被试行为的长久变化。（2）不同的行为受随机误差影响不同。）不同的行为受随机误差影响不同。2 2、复本信度：等值性系数、复本信度：等值性系数 以以两个两个测验测验复本复本（功能等值但题目内容不同）来测量（功能等值但题目内容不同）来测量同同一群体一群体，然后求得应试者在这两个测验上得分的，然后求得应试者在这两个测验上得分的相关系数相关系数（积差相关）（积差相关）。复本系数的。复本系数的高低高低反映了这两个测验复反映了这两个测验复 本在内容上的本在内容上的等值程度等值程度。两个等值的测验互为复本。两个等值的测验互为复本。3 3、内部一致性信度、内部一致性信度 系数反映的是测试系数反映的是测试内部题目内部题目之间的关系，考察测验的各之间的关系，考察测验的各个题目是否测量了个题目是否测量了相同的内容或特质。相同的内容或特质。4 4、评分者信度、评分者信度 指不同评分者对同样对象进行评定时的一致性。指不同评分者对同样对象进行评定时的一致性。三、影响信度的因素三、影响信度的因素 1 1、样本团体的性质、样本团体的性质 分数分布，异质性，能力水平的差异；分数分布，异质性，能力水平的差异；2 2、测验的长度：测验越、测验的长度：测验越长，长，信度值越信度值越高高。3 3、测验的难度：、测验的难度：天花板效应；地板效应天花板效应；地板效应二、人事测量的有效性二、人事测量的有效性-效度效度（一）效度的涵义（一）效度的涵义 测量的效度：测量的测量的效度：测量的有效性有效性，即能测量到所要测，即能测量到所要测量的目标程度。量的目标程度。（二）信度和效度的关系（二）信度和效度的关系 信度考虑的是随机误差的影响；如，信度考虑的是随机误差的影响；如，每一次使用每一次使用尺子；不同的人使用同一把尺子尺子；不同的人使用同一把尺子 效度的误差则还包括对测验目的来说无关的变量所效度的误差则还包括对测验目的来说无关的变量所引起的系统误差。引起的系统误差。如：由于设计、如：由于设计、制造、材料等量具自身的原因，不管谁，制造、材料等量具自身的原因，不管谁，什么时候用，都会出现同样规律的误差什么时候用，都会出现同样规律的误差 效度效度低低，信度，信度再高再高，测验，测验没有价值没有价值；信度信度高高，效度，效度不一定高不一定高效度效度高高，信度也，信度也比较高比较高；信度是效度的必要条件信度是效度的必要条件（三）如何评估人事测量的效度（三）如何评估人事测量的效度 根据评估效度方法不同，效度可以分为根据评估效度方法不同，效度可以分为内容效度、构想效度内容效度、构想效度和和效标关联效度效标关联效度三类。三类。A:内容效度内容效度 检验测验内容是否是所欲测量的行为领域的代表性取检验测验内容是否是所欲测量的行为领域的代表性取样的指标。如，样的指标。如，成就测验成就测验 1、适合：、适合：评估教育和职业成就测验。评估教育和职业成就测验。这种应用中，通过对内容效度的评价可以回答以下这种应用中，通过对内容效度的评价可以回答以下两个问题两个问题：1）该测验是否是应考察的某种技能和知识的）该测验是否是应考察的某种技能和知识的代表性样本；代表性样本；2）测验成绩是否不受无关因素的影响。）测验成绩是否不受无关因素的影响。2、适合：、适合：选拔和分类的人事测验。选拔和分类的人事测验。这种测验中，测验内容是实际工作的一个样本，应包括这种测验中，测验内容是实际工作的一个样本，应包括实际工作所需要的技能和知识。实际工作所需要的技能和知识。3、不适合：、不适合：能力倾向测验和人格测验能力倾向测验和人格测验 与成就测验不同，他们不是建立在某种教学课程或工与成就测验不同，他们不是建立在某种教学课程或工作知识与技能的基础上的。在对相同题目作出反应时，每作知识与技能的基础上的。在对相同题目作出反应时，每个被试个被试使用的方法和心理过程是不相同的使用的方法和心理过程是不相同的，同一测验对不，同一测验对不同被试来说同被试来说测量的是不同的心理过程。测量的是不同的心理过程。B:效标关联效度效标关联效度 反映反映测验分数测验分数与与外在标准外在标准（效标）的（效标）的相关程度相关程度，即，即测验分数对个体的效标行为表现进行预测的有效性程度。测验分数对个体的效标行为表现进行预测的有效性程度。用于用于预测性测验预测性测验。由于每个测验的目的不同，因而会有不同的观念效标。由于每个测验的目的不同，因而会有不同的观念效标。常用的有以下几种：常用的有以下几种：1、学术成就学术成就：智力测验的效标。假定：智力高，学术：智力测验的效标。假定：智力高，学术成就大。成就大。2、特殊训练成绩特殊训练成绩：被试在将来某种特殊训练中所取得：被试在将来某种特殊训练中所取得的成绩。的成绩。3 3、实际工作表现实际工作表现：选拔作用的一般测验、：选拔作用的一般测验、人格测验、能力倾向测验等。人格测验、能力倾向测验等。4 4、团体对照团体对照：用两个在效标表现上有差异的团体，比较：用两个在效标表现上有差异的团体，比较他们在预测源分数上的差别。他们在预测源分数上的差别。5 5、等级评定等级评定：可以采用其他人对应试者的效标行为的评：可以采用其他人对应试者的效标行为的评定作为效标的测量。定作为效标的测量。可以作为任何测验的效标。可以作为任何测验的效标。6 6、先前有效的测验先前有效的测验：一个新测验与先前有效测验的相关：一个新测验与先前有效测验的相关作为效度的证据。作为效度的证据。C:构想效度构想效度 1、测验能够测量到理论上的构想或特质的测验能够测量到理论上的构想或特质的程度。关注测验是否能正确反映理论构想的特性。程度。关注测验是否能正确反映理论构想的特性。如，如，言语流畅性测验言语流畅性测验所测量的是不是真正的言语所测量的是不是真正的言语流畅性，流畅性，是否对是否对言语流畅性的理论概念中所包括言语流畅性的理论概念中所包括的的所有特点所有特点（如语速、语句间的逻辑性等）（如语速、语句间的逻辑性等）进行进行了测量了测量。2 2、常见确定构想的指标、常见确定构想的指标 确定构想效度的一般方法：确定构想效度的一般方法：测验内部的方法：如测验内容效度、内部一致测验内部的方法：如测验内容效度、内部一致性等指标；性等指标；测验间的方法：如相容效度、因素分析、会聚测验间的方法：如相容效度、因素分析、会聚效度和区分效度等指标效度和区分效度等指标 效标效度的研究：如发展变化指标；效标效度的研究：如发展变化指标；实验和观察方法：检验是否有构想效度。实验和观察方法：检验是否有构想效度。常用的指标：常用的指标：1 1）发展变化。假定技能在一定时间范围内是随着该工）发展变化。假定技能在一定时间范围内是随着该工作的年龄增加而增加的。作的年龄增加而增加的。如，工龄增加。经验丰富，技能如，工龄增加。经验丰富，技能增加，对组织贡献增加，报酬增加。但这个假定并不是对增加，对组织贡献增加，报酬增加。但这个假定并不是对所有的人在所有的时间段内都成立，需要加以验证考验。所有的人在所有的时间段内都成立，需要加以验证考验。2 2）与其他测验的相关。）与其他测验的相关。测量相同特质或构想的测验，测量相同特质或构想的测验，彼此之间应该有高相关。彼此之间应该有高相关。3 3）因素分析。）因素分析。找出测验所包括的特质。是分找出测验所包括的特质。是分 析行为资料内部关系、结构特性的一种统计析行为资料内部关系、结构特性的一种统计 技术。技术。4 4）内部一致性。要求所测验的所有题目）内部一致性。要求所测验的所有题目被验证为具有很高的内部一致性，被验证为具有很高的内部一致性，说明他们都是关于同一内说明他们都是关于同一内容的、吻合于同一构想。容的、吻合于同一构想。5 5）会聚效度和区分效度。）会聚效度和区分效度。1960 1960年坎贝尔指出，要确定一个测验的构想效度，该年坎贝尔指出，要确定一个测验的构想效度，该测验测验不仅不仅应与应与测量相同测量相同特质或构想等理论上有关的变量特质或构想等理论上有关的变量有有高的相关，也高的相关，也应与应与测量不同测量不同特质或构想等理论上不同的变特质或构想等理论上不同的变量有量有低的相关低的相关，前者：会聚效度；后者：区分效度。，前者：会聚效度；后者：区分效度。如：一个如：一个数学推理能力测验数学推理能力测验与与数学课成绩数学课成绩的相关就是的相关就是会会聚效度聚效度；而该测验与；而该测验与阅读理解能力测验的相关显著低阅读理解能力测验的相关显著低，就，就是是区分效度区分效度。区分效度特别适合于人格测验。区分效度特别适合于人格测验。四、影响效度的因素四、影响效度的因素 1 1、测验本身、测验本身 2 2、样本团体、样本团体 3 3、效标、效标 4 4、信度带来的影响、信度带来的影响三、项目分析三、项目分析（一）项目分析的涵义（一）项目分析的涵义 根据试测结果对组成测验的各个题目进行分根据试测结果对组成测验的各个题目进行分析，从而析，从而评价题目好坏、对题目进行筛选评价题目好坏、对题目进行筛选的程的程序和方法。序和方法。定性分析定性分析：考虑内容效度，即题目表达的恰：考虑内容效度，即题目表达的恰当性和有效性等方面；当性和有效性等方面；定量分析定量分析：考察题目难度和鉴别度是否适当。：考察题目难度和鉴别度是否适当。（二）测量的难度分析（二）测量的难度分析 对能力测验来说对能力测验来说，难度就是题目是难还是，难度就是题目是难还是易，这种测验往往有一个反映易，这种测验往往有一个反映难度水平的指标难度水平的指标。对非能力测验来说对非能力测验来说，难度是指测验题目的，难度是指测验题目的“通通俗性俗性”，即测验题目是否容易被人看懂和回答，即测验题目是否容易被人看懂和回答，往往以取自相同总体的样本中，能在答案范围内往往以取自相同总体的样本中，能在答案范围内回答该题目的人数指标来表示。回答该题目的人数指标来表示。难度分析难度分析，对题目的难度进行估计以确定适宜，对题目的难度进行估计以确定适宜的难度。的难度。