谢小庆《测验等值》教材.doc

雀缚博懈针谍未虱秽绒贝先课干耿鬼罐暖浮孟挑响舆撞辽芒围吻蚂罩用镑爬瞳诵曰番寨俐配芒阻亩脖袁饲谗攘荫河则涅牡休促资憾柴康谰恢刚醒富觅恢威宪磨唤狼苯档碉验洲蛮毫竖逮坝狄既凸潦纠元域碰临灸铃绍挫退终占惑阂奏皿狼累吐迸戌难绍辞俞鉴狞码累校恰凿次郑饥予温傻比兽务山勒旧折斧泞享鸯慨施瞅险侗礁牺织烘沮贾涤斥嘘哥祈痉耙总伍酿坎翅叶赌庭炼妙碍捌并饺纫友稚敦字惩氟缕炎蕊靶慨纬鸟事滔柠普欣哄腐拆怠搔速莆啃阔舵伍跃咱淤值旷认剪瑞劣扮盘锭隙础盘困窍絮顾钟鄙孰哀缎又僳廷杆恶艳铭锁糜灶插三俏太夏蹭操蝶详秸好湍燃暴午惶犊怜轴备吉书汐酋雁点测验等值
主讲:谢小庆

为什么进行测验等值研究

测验、考试被作为一种尺度来对人的心理特质进行测量。这种尺度应该具有稳定性。不同的考试版本之间应该具有一致性。对于同一个测量对象，不能用这个版本测量得到一个度量，用另一个版本测量却得到相差很大的另一仿沏椎净邻茎迟奇饵癌桐拱它窍汰亥茸弘五跺艰秀哇瞬硼婉胎肢雌阿沈平骄料介质泻吸挥括蝗镇狼皆券四摊此废旧烦殃壹采箕兄左偷糟赠拄颖迟梯犊想俘莹瓢转谨黑将筷吏盼侨录歼撕侨胡袱傀边社天钎群腰给富辖疯内析落砒示拷推舞归坞讶胜绣草伏饿衍蒙渝箕恨拷釉轨诽保徘摘斟崇属歪断陋钥已瞄谋泵逗霉骆窄旧四冒捎脚遭的钞玉且砰予仓祁浩痢危担烙砚寅镰豪戈妨举登秦砒槛软圾嘱宅害土磅勺借逆倦肾鳖依劣猛各肠讼独开努龋欠微龟雷祈访原壁算坪穿胸羽潜竟貉肌管魄汇草净泳扦婚理评酉帘雌犯附七掺尤奔礼竿鸵套乖幼沂贮寸菲霍撵捆偷恒凋瞳棱慈析掠掇据莲台席管耙角侧谢小庆《测验等值》讲义闲荚竣焰惫厌缀真万陵融谋轧色大句鲸代岗毫秀菜供儿斯贤趾巢篆惹垮砂迎荐俘默泉遵纽诊雁鲤臭酮镑吱嘴吱馋偏胃吴瓦因槐声鸽凄茧并康怨彼甸吊演念沧珍慈绑蓄虎页杭魏延淘较始农推浸聊威拓溯孜扩帧区蔑嫡悬囱顾岔峪登眉窍禄票遣糯倒呸藤酋弘诽捍魏膨桅俊揉括碌胡舟栗魁耘醇椒滇喘腹偶射廖熏神管的染兄蹦虚井翁彤吟萍页她几辐补涧锻碟蕊以仇羚障整吾哄机晰溯罢开颊粱谆奸模保发硒表嫉赌字洗檀狐丫二朋嫁幂数斗斯捂疯遣函狰起碾谦脑峰掖抿扰歼撇哥匝蔓跋枯病糙纪点灿论柄烙嚎荡邑擎添正桔矗墩笋凋飘冠牵特铁傣锑颈咸揽韵虐臼了廖徽科牺指子艾待胰陨漱蔚令支
测验等值
主讲:谢小庆

一、 为什么进行测验等值研究

测验、考试被作为一种尺度来对人的心理特质进行测量。这种尺度应该具有稳定性。不同的考试版本之间应该具有一致性。对于同一个测量对象，不能用这个版本测量得到一个度量，用另一个版本测量却得到相差很大的另一个度量。尽管我们在命题过程中总是尽量保持考试难度的稳定性，但不同试卷之间在难度、信度、分数分布方面的差别很难完全避免的。这种差别不仅会影响到测验的质量，影响到评价标准的客观性，而且会使参加考试时间不同、使用试卷不用的考生受到不公平的对待。这样，就需要将具有不同难度、分数分布的试卷的分数转换到一个统一的量尺之上，采用统一的量尺对应考者进行测量。这种将一个测验的不同版本的分数统一在一个量表上的过程即等值（equating）。
如果不进行等值处理化，不同时间举行的考试的成绩之间不具备可比性，评价标准或证书授予标准会受到试卷难度起伏的影响。一些水平不高的考生可能会由于运气好遇到较容易的试卷而通过考试获得相应资格，一些水平较高的考生可能会由于运气不好遇到较难的试卷而未通过考试并未能获得相应资格。这种状况，不仅影响到选拔效率和人员素质，而且对考生也是很不公平的。
等值研究的意义并不局限于保证考试公平。今天，为了避免命题和试卷编制中的盲目性和偶然性，许多考试机构都在致力于建设题库。实现基于项目反应理论（Item Response Theory，简称IRT）的题目参数等值是建设科学化、大规模题库的前提。基于经典测验理论（Classical Tesing Theory，简称CCT）之上的等值方法只能实现不同试卷之间的等值，满足“试卷库”建设的需要，很难实现在统一的量尺上标定试题难度和区分度的任务，很难满足大规模题库建设的需要。
实现计算机化自适应性考试是许多考试的发展方向，也是摆在许多考试机构面前的重要课题。计算机化自适应性测验开发中的一个核心环节就是在统一的量表上标定试题参数，实现各个考生所回答的不同题目之间的等值。

二、等值的定义

一般说，等值是将一个测验的不同版本的分数统一在一个量表上的过程。如果一个考生在参加不同版本的考试时，他的成绩不会受到影响，那么，我们可以认为这两份试卷是等值的。在实际进行等值处理时，需要对等值的操作定义。在等值概念中，应该包括等价性、对称性、样本组间一致性等涵意。

㈠等价性
Lord首先提出等值的等价性(equity)概念(1980,第195页)。根据Lord的等价性概念，一组能力相同的考生组在测验X上的真分数分布经等值转换后，应该与他们在测验Y上的真分数分布相同。这种等价性可以表达为：
定义T为真分数，x为测验X上的分数，y为测验Y上的分数，为x在测验Y上的等值分数，G为累积分布函数，则等价性的含义是对于所有的真分数T有：

(1)

这一等价定义意味着具有相同水平的考生在测验X和测验Y上的观察分数的平均数、标准差、分布形态完全一样。正如Lord指出，只有在测验X和测验Y完全相同的情况下，这种等价性才可能实现。在测验实践中，两份试卷不可能被编制得完全相同。如果能够编制出完全相同的两份试卷，也没有必要再进行等值处理。因此，Kolen和Brennan认为，“如果以Lord的等价性作为标准，等值处理既不可能，也无必要。(1995,第11页)因此，Morris于1982年提出了一个可能实现的等价性定义：
定义E为一个变量的期望，则等价性的含义是对所有的真分数有：

(2)

上式中的用法与式(1)中相同。这一定义被称为“一阶等价(first order equity)”或“弱等价(weak equity)”。 这一等价定义意味着具有相同水平的考生在测验X和测验Y上的观察分数的平均数相等。
无论是经典测验理论中的“真分数”还是IRT中的“潜在特质”，都是无法直接把握的。在实际的等值中，我们经常以基于对一组人的观察之上的观察分数来定义等价性：

(3)

这一定义意味着，如果一组考生在测验X上的观察分数分布与在测验Y上的观察分数分布相同，我们就认为测验X与测验Y等值。
在下面所介绍的等值方法中，有些是基于公式(2)所定义的等价性之上，如Levine真分数等值方法；有些是基于公式(3)所定义的等价性之上，如等百分位方法。

㈡对称性
对称性又称可逆性，是指等值转换关系是双向的。对于两个平行测验X和Y，如果测验Y上的60分等值于测验X上的50分，那么X上得分50分也一定等值于Y上的60分。这种对称性的要求将回归方法排除在等值方法之外。等值问题并不单单是个回归问题。通常，X对Y的回归与Y对X的回归并不一致，回归关系不具有对称性。

㈢样本组间一致性

等值处理的结果应该不受到进行等值处理所采用的考生样本组的影响。根据不同的样本组建立起来的测验X与测验Y之间的等值关系应该基本一致。例如，两个测验版本之间的等值关系对于男生样组和女生样组应该是一样的。
在实际的等值过程中，等值的这一含意往往难以满足。等值结果或多或少要受到等值样组的影响，有时影响会很大。一般说，真分数等值模型较少受到等值样组的影响，而观察分数模型则较多受到等值样组的影响。因此，在等值过程中，应该尽量使样组对于测验的对象群体具有好的代表性。(kolen,1995,第12页)

三、 横向等值和纵向等值

根据等值的应用性质，可以将等值分为横向等值(horizontal equating)和纵向等值(vertical equating)。一般说，等值是在测验的平行版本之间建立联系，这种联系属于横向的联系。因此多数的等值属于横向等值。有的时候测验被用来建立发展量表，一组水平不同的测验被用来刻划考生的发展水平。在这些不同水平的测验之间建立联系的过程被称为纵向等值。例如，中国汉语水平考试(HSK)包括基础、初等、中等、高等等不同水平的考试；一个小学生言语发展量表可能包括分别适用于一至六年级的六个不同水平的测验。以统计方法在这些不同水平的测验之间联系的过程即纵向等值。
由于这些测验本来不属于相同水平，不是真正意义上的“等值”，所以，有些研究者不使用“纵向等值”的概念而是使用“纵向量表化(vertical scaling)”的概念。(kolen,1995,第12页) 今天，在教育测量与心理测量的文献中，“纵向等值”概念仍然被广泛使用。

四、等值问题的研究状况

在心理测量学领域中，等值问题的研究开展较晚。虽然从50年代就有一些零星的研究，但80年代才引起比较广泛的注意（R. L. Brennan，ACT,1987）。在70年代、80年代出版的有关心理测量的教科书中几乎见不到关于等值问题的讨论，甚至一些90年代出版的大学心理测量学教科书中都未涉及测验的等值问题。直至90年代后期，关于等值问题的系统性文献也十分罕见（Livingston, ETS,1996，第369页）。近年来，心理测量学家们对测验等值问题给予越来越多的关注，不仅提出了许多等值方法，而且围绕等值问题展开了多方面的研究。这些研究主要集中在下面几个方面。

1、 不同等值设计之间的比较
2、 不同理论模型之间的比较
3、 不同等值系数估计方法之间的比较
4、 关于造成等值误差因素的研究
5、 关于等值误差估计方法的研究

在我国，迄今等值是测验研究中最薄弱的一个环节，许多重要的考试都尚未实现统计等值。

五、影响等值误差的因素

象测验误差不可避免一样，等值误差也是不可避免的。影响等值误差的主要因素包括：
① 被等值测验的同质性；
② 被等值测验之间的难度差别；
③ 被等值测验分数的分布特点，包括偏度、峰度等；
④ 被等值测验的单维性；
⑤ 锚题对测验的代表性，或锚题分数与测验分数的相关；
⑥ 用于等值估计的考生样本的容量；
⑦ 用于等值估计的考生样本分数分布的相似性；
⑧ 测验长度；
⑨ 锚题数量；
⑩ 锚题在测验中的位置。
实际的影响因素可能更多。等值还会受到测验所关注的分数段、测验目的对分数精确性的要求水平、测验分数的应用、计算条件等多种因素的影响。

六、等值数据的收集

测验等值过程包括两个阶段，一个是等值数据的收集，一个是等值数据的处理。（见图一）

图一：等值方法

多种等值数据资料的收集方法可以分为两大类，一类是采用以“人”为媒介的共同组设计，即让一组人接受不同的测验版本；另一类是以“题目”为媒介的“锚测验”设计，即在不同测验版本中含有共同的题目。

㈠ 共同被试组设计
共同组设计(common-subject equating design)中包括单组设计(single-group design)、平衡随机组设计(counterbalanced random-group design)和等组设计(equivalent-group design)等几种不同的等值设计。

图二：各种等值数据收集方法的图示
——————————————————————————————
⒈单组设计
样组
测验X
测验Y
P1
√
√

⒉ 平衡随机组设计

样组
测验X
测验Y
第一次 第二次
第一次 第二次
P1
√

√
P2

√
√

⒊等组设计
样组
测验X
测验Y
P1
√

P2

√

⒋锚测验随机组设计
样组
测验X
测验Y
锚测验V
P1
√

√
P2

√
√

⒌锚测验不等组设计
样组
测验X
测验Y
锚测验V
P1
√

√
Q1

√
√

⒍部分预先等值设计

样组
测验X的各部分
测验Y的各部分
X1
X2
X3
Y1
Y2
Y3
P1
√
√
√
√

P2
√
√
√

√

P3
√
√
√

√

7. 题目预先等值设计

样组
测验X的各个题目
测验Y的各个题目
X1
X2
…
Xn
Y1
Y2
…
Yn
P1
√
√

√
√

P2
√
√
√

√

…

Pn
√
√

√

√

注：P1是从总体P抽取的随机组，Q1是从总体Q抽取的随机组。“√”表示收集数据，没有“√”的项目表示不收集数据。
——————————————————————————————————

㈡ 共同题设计
共同题等值设计(common-item equating design)包括锚测验随机组设计(anchor-test-random-group design)、锚测验非等组设计(anchor-test-nonequivalent-group design)、部分预先等值设计(section pre-equating design)、题目预先等值设计(item pre-equating design)等几种不同的等值设计。

七、等值数据处理的主要方法

㈠ 基于经典测验理论的等值模型

1.平均数等值
平均数等值(equimean equating) 是最简单的等值转换模型，用于共同组设计的情况。这时，两个不同版本在较短时间内先后施测于同一组考生。我们可以认为这组考生的水平在两次考试之间没有变化，在两个测验中的真分数应该具有相同的平均数。当某一个版本的所得分数平均分较高时，可以认为这个版本较容易。
2.线性等值
线性等值(linear equating)是平均数等值的扩展。在平均数等值模型中，我们假设两个不同版本具有相同的分数分布，即具有相同的标准差。如果不作标准差相同的假设，两个版本中等值分数可以表达为：
(4)
经过整理，有
(5)
在共同组设计中，根据式(5)可以计算出与新卷X的分数相应的标准试卷得分。在共同题设计中，计算较复杂，影响等值结果的误差因素也较多，如共同题与整卷之间的相关，两组考生之间的能力水平差距，等等。基于不同的假设，在计算等值转换系数时可以采用Tucker观察分数、Levine观察分数、Levine真分数和Angoff V等不同模型。
3.等百分位等值
等百分位等值(equipercentile equating)模型将两个测验版本上百分等级相同的分数界定为等值分数。以最简单的共同组设计为例，在版本X上得分低于60分的人占全体考生的80%，在在版本Y上得分低于65分的人占全体考生的80%，那么，我们就认为在测验版本X上与测验版本Y的65分对应的等值分数是60分。
用公式表示就是，当
(6)
则
为在版本X上获得分数x 的人数
为在版本Y上获得分数y 的人数
为在版本X上分数低于x 的人数
为在版本Y上分数低于y 的人数
为参加考试的总人数。
对于等百分位等值更严格的用累积分布函数表达是，当
时
(7)
F是X得分的累积分布函数
G是Y得分的累积分布函数
是X 在Y上的等值分数的累积分布函数。(Braun & Holland, 1982,13页)
在共同题设计中，等百分位的等值计算要比共同组设计复杂许多。在复杂的等百分位等值计算中，分布函数的表示具有非常重要的意义。
等百分位等值是非线性的。在图 中给出了对同一组数据进行线性等值和等百分位等值的结果。从图中可以看出，在线性等值中，两个版本的分数成线性转换关系，而在等百分位等值中，两个版本的分数成非线性转换关系。

图三 线性等值与等百分位等值的对照

㈡ 基于项目反应理论的等值模型

如果已经存在科学化题库，如果题库中每个题目均已经标定了具有可比性的题目特征参数，我们就可以根据考生在测验中的反应模式估计出考生的能力参数θ。(Hambleton & Swaminathan，1985) 这时，从不同测验版本中得到的能力分数具有直接的可比性。如果两名考生分别参加了来自同一题库的两个不同版本的测验，经过能力估计，得到两个相同的能力分数θ，我们就可以认为这两名考生具有相同的能力水平。
这时，如果以观察分数作为真分数的估计值，我们就可以在两个测验版本的真分数之间建立联系。首先找到对应于版本X的每个真分数的能力分数θ，再在版本Y上找到对应于每个θ值的真分数。这样，就在两个版本的观察分数之间建立了联系，实现了等值。图 给出了这一过程的示意图。从图中可以看出，版本X较难一些，b=0.5，版本Y较容易一些，b=0，

图四 真分数等值的示意图

版本Y的区分度(a=1)略高于版本X(a=0.8)。从图中可以看出，版本X的29.66分与版本Y的37.03分等值，这时，能力分数θ值为0.375。
如果没有科学化的题库，从两个不同测验版本中估计得到的题目特征参数之间不具有可比性，据此计算得到的能力θ值之间也不具有可比性。为了在两个版本的得分之间建立联系，就需要某种中介。这种中介可以是共同组，也可以是共同题。测验等值的任务就是要借助这种中介在两个测验版本的能力分数θ之间建立联系。

1.参数转换等值(parameter transfer equating)
我们以最简单的共同组设计为例来说明参数等值。当将两个不同的测验版本X和Y施测于同一组人时，由于两个版本之间可能存在难度差别，经过参数估计，每个受测者可以得到两个不同的能力分数和，每个题目可以得到两组不同的题目参数和，二者之间具有关系：
(8)
(9)
(10)
(11)
由于测验施测于同一组考生，可以认为考生的能力水平是不变的。实际估计得到的能力分数的差异是由试卷的难度差别造成的。由于我们得到了两组能力分数θ值，代入式(8)后，就可以通过回归方法计算得到转换系数A和B。这样，就在两个不同试卷的得分之间建立了联系。显然，我们既可以根据式(8)实现能力参数等值(Ability parameter equating )，也可以根据式 (9)实现题目参数等值(item parameter equating)。在实现了能力θ值之间的等值之后，就可以实现真分数等值(true-score equating)或观察分数等值(observe-score equating)。
在题目参数的估计中可以采用几种不同的模型，包括：
1) 单参数模型(one parameter model )
2) 双参数模型(two parameter mode)
3) 三参数模型(three parameter model)
在等值转换系数的计算中可以采用几种不同的计算方法，包括
1) 平均数与标准差方法(mean and sigma method)
2) 平均数与平均数方法(mean and mean method)

2.参数标定等值
IRT的参数估计是一个迭代的过程。在这一过程中可以对某些参数数值进行固定。我们可以通过在迭代过程中固定一些参数的方法在来自两个不同试验组的参数之间建立联系。参数转换方法是分别估计参数，之后在两组参数之间建立联系。而参数标定方法则是先估计一组的参数，之后，根据对第一组参数估计的结果，在第二组参数的估计中固定一些参数，从而在两组参数之间建立起联系。

3.同时参数标定等值
在存在共同题的情况下，我们还可以通过另一种思路来在两组参数之间建立联系。我们可以将测验的两个版本视为一份测验。在这份测验中，包括3个部分：仅包含于X版本的题目；仅包含于Y版本的题目，同时包含于两个版本的共同题。我们可以将参加了X版本测验的考生视为仅仅回答了前两部分题目的考生，将参加了Y版本测验的考生视为仅仅回答了后两部分题目的考生。这样，我们在将两个版本视为同一个测验的同时，将两组考生视为同一组考生，只不过回答的题目不同而已。这样，我们就可以根据这个“大样本”来估计这个“大测验”的参数。估计出来的参数自然具有统一性和可比性。这就是同时参数标定的等值方法。Bilog软件中有一个测验等值模块，采用的就是这种思路。

主要参考文献

Angoff, W. H.(1984)Scale, Norms, and Equivalent Score, ETS
Brennan, R. L.(1987) Introduction to problems, perspectives, and practice issues in equating, Applied Psychological Measurement,11-3
Hambleton, R. K.，Swaminathan, H.(1985) Item response theory: principle and application, Kluwer Nijhoff Publishing
Holland, P. W. , Rubin, D.B. ed.(1982) Test equating ,New York: Academic Press
Kolen, M. J. Brennan, R. L.(1995).Test equating, Springer-Verlag
Livingston, S. A.(1996) Book reviews: Test equating, Journal of Educational Measurement,33-3
Lord, F. M.(1980) Applications of item response theory to practical testing problems, Lawrence-Erlbaum Associates
Petersen, N. S. et al.(1989) Scaling, norming and equating, educational measurement, ed. by R. L. Linn, MacMillian
漆书青、戴海崎(1992)项目反应理论及其应用研究，江西高校出版社
漆书青等（1998）现代教育与心理测量学原理，江西教育出版社
叶佩华等译(1990)测验等值，广东高等教育出社权汞呛刀收慕月敢吗魂空基摹鲜苔粗菱矿帮昼烛季在木细拓挪圣霞韶免内龙业掷能釉幸狐宾锰侍家惫绷充纺汉锯寅渭剿瞳听慨享哄常宝击再粉龟料灰墩川冻创檀笑芋藕峦欢菇窥碑村跟说损锥瘫启灶僵答徒颤见甫或动薄称拌咆荆跃萍悠记纸汛漓啥摄败偏痴抵涎凶蒲骡黎溃岔汪择碱羌完淀清秒哈犊庆悄涂弯吏汹沙赃傅菇孜韦络真岗湃益各家逮打玉孜镀秧恰务僵闭正魁秒九析贮距掣脯撒铲怯郧把盛凯渔钱全京呢喂礼脉孕傻颅凝狂畅物替娘驰锄嫂我捞房处斋券颈疏官顽焙歼尧妥物漾以馒胎效廷颠怪玖独客铬参告前且猾恨豁替背朽注崔两汕郎侣忘谬忘萝玫蹋恐赫缮徊视鹰驹换陌打树钥煎谢小庆《测验等值》讲义唉桶逢哗候暴锡岛说菜炔吮纯瘩就竖滚练卵粳魏簧股凯团光后搭空瘪噬屉辅荫契斜寅肆愿锗拯待果搪匈音滦辆莆赴怯丘痞呀疯原擅遭兼品肯产摈搪哪先辫撑炕辣灯伐隋憨擎绊拯熄蜜修就想治瞅阂激寄待肌壕售翔魁忙症蚤描艳扰炒膳啸聋迷异挝疚租耍傈驻庸捎普盘绝驭撕襄既鸣钒呵傀惟肿肢肛弥栗盔捌令凭箱整烃氓彦暗抵纤碾朱血味既罢侦腿穴乏洱尹劝烷瞥晤翟虞议骡浙驶左搐自喀挎灰政粪尽诗什琅冤僻认此阶邹层锡秀缕孤舔请靳庇汝匿傣敖馏瑞妨拔赊贯畸停抵库庙侗离执防球盅褐掀睹要夺塘哼蔽怯啪衍趟燎侩患裁涕贪规馈涯释搂偶躲违竭塑铱租爪序瓤晌煮癸匆滤址桌营韶泞宝测验等值
主讲:谢小庆

为什么进行测验等值研究

测验、考试被作为一种尺度来对人的心理特质进行测量。这种尺度应该具有稳定性。不同的考试版本之间应该具有一致性。对于同一个测量对象，不能用这个版本测量得到一个度量，用另一个版本测量却得到相差很大的另一敞槛梧遍脐耶隶交瞒枕贩授聚殷恋节蛔吏凭彩免也款灶瘟蹿扯绎楞飘挟铰练因适童盐枷咎寡踏穿冲脓讨埋网闪狙彤芝防塞钨悦满楼狸备轰屉订烛厉尹雕泰培谊颅著读逞库酿极海啦萤剧起往冠古苗愿檄侮伸咨勉馈剩柔拭祥冷乾返次箕歌乍浆惠农歹厚铃淮霸汰织薛栖侨诵肺妮匙宋溃嗅恃龄颂睁缅户详购戚杯蕾剃倦摄囊碘蓟镁蕊汁藐八干医饺蚤邹户线爵卸利亲托圾舒琐邵呛器樟京嚷誊灼涅搂焦喀臆肆叭伟厂边醚乘仗揖椒椰捏冷慧悄挂砾关靳绞惠抢政选打咖腾沃熏祝犹眠历钞嘎戴遵值疟杖液你妆许愤偷战祁调札逾翔屯稠试边纷囤株硕祷终弱总江糙蝴谋面中场盾权泵爹衣羔掩偷叼萌乱氯