实验设计与数据统计分析说课材料.doc

精品文档
第二章 实验设计与数据统计分析
¬ 实验设计的基本问题
– 变量的选择与控制
– 实验中的效度
¬ 真实验设计
– 完全随机设计
– 多因素实验设计
– 随机化区组设计
¬ 准实验设计和非实验设计
一、实验设计的基本问题
（一）变量的选择与控制
1、变量的选择
2、实验设计中的控制
– 何谓控制？
– 控制的应用
对变量的控制：随机化
使用控制组
3、实验误差
– 是存在于实验单元内作同样处理所得观测数据间的变差的度量。
– 实验误差的来源：内在变差；环境和操作的不一致；重复实验的误差。或S;G;R型误差。
（二）实验中的效度
何谓实验效度？
– 一项实验所能揭示的事物本质规律的有效性程度。
自从1966年科贝尔(Campbell)和斯大理(Stanly)提出内在效度(InternaI Validity)和外在效度(ExternalVa1idity)这一概念描述研究效度以来，很多学者对影响效度的因素作过认真的研究，提出很多方面的因素。1979年库克(Cook)和科柏尔(Campbell)认为这一划分方法不够完整，后又从内在效度中抽出一部分命名为统计结论效度(Statistical Conc1usion Validity)，由外在效度中提出一部分命名为构想效度(Construct Validity)。
1、内部效度及影响因素
含义：实验处理被精确估计的程度。
¨ 影响内部效度的因素
– 历史：在实验中，与实验变量同时发生，并对实验结果产生影响的特定事件。
– 成熟或自然发展的影响：
– 选择：
– 测验：
– 被试的亡失：
– 统计回归：
– 仪器的使用：
– 选择和成熟的交互作用及其他。
2、外部效度及影响因素
含义：实验结果能被概括到实验情境条件以外的程度。
¨ 影响外部效度的因素：
– 测验的反作用效果
– 选择偏差和实验变量的交互作用
– 实验安排的反作用效果
– 重复实验处理的干扰
3、统计结论效度
含义：统计方法的适切性所引起的结论有效性程度，它主要反映统计量与总体参数之间的关系。内在效度是总体参数（真值）与有系统偏差的实验总体参数之间的关系问题，如没有系统误差，两个总体参数之间应该无差异。而统计结论效度所指的统计量，是用不同方法计算的统计量，二者是不同的。例如：一个按几何级数变化的数据，如用几何平均数计算统计量，就可能较好地反映总体参数情况，如用算术平均数作为代表值，就不适切就不能很好的代表总体参数，据此所得的统计结论，其效度当然就存在一定的问题。
统计结论效度是关于研究的数据分析处理程序的效度检验，或者说，它是检验研究结果的数据分析程序与方法的有效性的指标。统计结论效度的基本问题是研究误差、变异来源与如何适当地运用统计显著性检验，它不涉及系统性偏差的来源问题，而是研究误差变异情况和如何适当运用统计显著性检验的问题。例如，采用小样本的研究数据时，由于样本成份与测量数据都波动比较大，稳定性差，如果依赖统计显著性水平做出推论是不可靠的。在这种情况下，应该运用功效分析（power analysis），看看一定的样本范围、变异程度和α水平上能够检验出多大的效应。这就是统计结论效度所考虑的问题。
¨ 影响统计结论效度的因素：
– 统计检验力低（power of statistical tests）：样本大小——样本小，统计检验力低；显著性水平α的大小， α越小，β错误就越大，统计检验力就降低；因变量的误差变异（标准差）的大小，标准差越大，标准误也越大，达到显著水平时， β错误增加。
– 统计方法依据的假设条件的满足程度（是否违反统计方法的使用条件）
– 多重比较和误差变异。如果实验误差太大，标准误也增大，实验处理的层次增加，摒弃虚无假设的可能性增加， α错误也增加。
– 测量工具的信度
– 实验处理执行的信度，即实施实验时遵守设计要求的程度。
– 实验环境内，无定性非相关事故的影响。
– 被试者的随机变异。
¨ 统计结论效度的条件
– 研究的统计结论效度主要取决于两个方面的条件：
一是数据的质量，数据分析程序的效度是以数据的质量作为基础的，数据质量差的研究是谈不上统计结论效度的；
二是统计检验方法，数据分析中所采用的各种统计方法，都有其明确的统计检验条件的要求，一项研究中统计检验条件不明确或者被违反，就会显著降低统计结论效度。
4、构思效度
含义：关于关系变量及变量之间关系构想的准确性，以及实验变量在实验时的操作定义与推论时的定义一致性程度。换句话，所研究的特质在理论上构想的全面性。
– 研究的构思效度是指理论构思或假设的合理性、科学性，及其转换为研究目标的恰当程度和可操作性。它涉及建立研究方案和测量指标的理论构思（或观察指标的理论设想）及其操作化等方面的问题，即理论构思及其转换的有效性。为了使研究具有较高的构思效度，研究的理论构思首先要结构严谨、层次分明，形成某种“构思网络”，其次对研究内容做出严格的抽象与操作性定义（如针对研究构思的特点，给予明确的操作定义）。
¨ 影响因素：
– 操作化前对概念的分析是否完整
– 单一操作的偏差
– 单一方法的偏差
– 被试在执行实验时对假设的猜测，称作“要求特征”。
– 被试对被评价的不安感
– 实验者的期望效应
– 混淆的构想和构思层次。如：学校可分为：重点和非重点两个间断性层次，而年级是连续变量。如果只依据一类学校得出年级与教学方法的效果之间存在线性关系，推论可就会出现问题。
– 不同处理的交互影响，导致混淆难辨。控制方法，让被试只接收一种实验处理，或将不同实验处理加以控制，以便作个别分析。
¨ 构思效度的条件
（1）理论构思要结构严谨、符合逻辑、层次分明，形成某种“构思网络”。例如，将儿童的自我意识发展分为自我认识、自我体验和自我控制三方面，而自我认识进一步细分为对生理自我的认识、对心理自我的认识和对社会自我的认识。这样的理论构思，就比较严谨、完整，有层次，并且形成一种“网络”，便于理解和研究。
（2）清晰、准确的界定研究的环境条件和变量。例如，“小学五年级学生发散思维问题研究”这样一个课题，对研究被试的年龄段，生理智力发展，学习、生活、社会环境等需要明确界定范围，用文字和语言两种形式完整、准确地表述研究变量。
（3）对研究变量做出准确、严格的操作定义，并选择相应客观的观测指标。
（4）避免采用单一方法或单一指标去代表或分析多维的、多层次的、多侧面的事物和活动，尽可能采用多种方法、多种指标，从不同角度分析研究相同的理论构思。
实验设计
¨ 心理学实验设计的逻辑分析
¨ 数理统计是心理学实验的逻辑基础
研究设计是基于统计的，不会统计就不会设计
统计检验的基本思想
宗旨：确定以事实支持的概率。
研究假说与统计假说相同吗？
研究假说是备择假说
统计假说包括：虚无假说和备择假说，统计检验的是虚无假说
方差分析的基本思想
同时检验两个或多个平均数之间的差异，并且可以解释几个因素之间的交互作用
把平均数之间是否存在差异的检验转化为变异是否存在差异的检验
¨ 控制是心理学实验的基本手段
¨ 实验中各种变异的控制
¨ 实验设计最重要的功能是控制变异
¨ 变异包括：
系统变异（因变量的变异中可以有研究者操作的实验变量解释的那一部分变异，是研究者理论上期望获得的）
无关变异（研究者不感兴趣，但对因变量有影响的变量所引起的变异）
误差变异（实验中的随机波动，如被试误差、测量误差）
实验设计的功能是使系统变异的效应最大，控制无关变异，使误差变异最小。
¨ 如何使系统变异的效应最大？
– 选取适当的自变量水平。
– 提高测量的辨别力，即选择对自变量的变化敏感的因变量。
– 例如：研究阅读课文的长度对阅读成绩的影响。阅读课文的长度500字、550字、1000字；所有被试的测分在90-95。
¨ 如何控制无关变异？
– Randomization
实验单元或被试是从一个更大的、研究者感兴趣的总体中随机选择的；（对实验结果的概括力最重要）
实验单元或被试是随机分配给各个处理条件的。（对实验的内部效度是关键的：原因——随机分配的随机化，在理论上可以认为实验中各个处理组在各个方面上是统计上没有差异的）
– Elimination
尽可能选择在某个维度上同质的单元，以使无关变量消除。如：性别、智力
这种方法是通过消除变量本身来控制无关变量。
缺点：实验结果的概括力受到影响。实际上是一种非实验设计的控制方法。
– Matching
对被试在某个与因变量有关的变量上进行匹配
如研究两种教学方法对学生学习成绩的影响，应如何进行设计？
匹配的困难：多因实验中很难找到满意的被试
– Additional IDV
有时研究者可以考虑不从实验中消除某个变量，而是把它包括进实验设计，这是目前实验设计的一种趋势。
例如：研究教学方法对学习分数的影响，可以把智力看作是一个变量。
– Statistical control
无关变异还可以通过各种实验设计和统计分析的帮助得到控制。
如：随机区组实验设计，事先分区组，组内同质，组间异质，利用方差分析把区组引起的变异从总变异中区分开来。
¨ 如何使误差变异最小？
何谓误差变异？
– 误差变异指实验中所有未控制的变异，来自实验中的随机波动。接受试验处理的实验单元或被试内在差异；测量误差
使之最小的方法：
– 重复测量设计可以有效地把由个体差异引起的变异从总体变异中区分出来，从而使误差变异减少。
– 增加测量的可靠性来减少测量误差。如：仪器、被试情绪、偶然的注意力涣散等。
【例】
假设有一个研究者想要比较游泳和跑步的减肥效果。他找来两个肥胖的人作被试，首先用一架最大量程为300磅的台秤称他们的体重，发现两个被试的体重正好都是300磅。然后，这两个被试开始减肥计划，一个通过跑步减肥，另一个游泳。几个月后，两个人又一次用同一架台秤称体重，结果发现两个人的体重都是250磅。研究者认为两个人都减重50磅，因此断定跑步和游泳的减肥效果一样好。请问该研究可能存在什么问题？
该研究潜在的主要问题在于测量体重时采用的测量工具，台秤的量程是0到300磅，这样在起初所获得的二人的体重可能并不准确。有可能发生天花板效应，也就是说两个人可能体重都在300磅以上，或者一个刚好300磅另一个在300磅以上，由于量程狭窄的限制，两个人都获得了量程上的最高分数，而这个分数并没有反映出被试真正的体重。这样我们也就无法确信他们最初的体重减去250磅就是他们减肥减掉的重量。这样最后得出的跑步和游泳减肥效果的结论也因为量程限制而不可信。
二、真实验设计
（一）完全随机化设计
含义：也称简单随机化设计，是指用随机化方法将被试随机分为几组，然后依据实验的目的对各组被试实施不同的处理。
完全随机化设计的类型
1、随机实验组控制组前测后测设计
¨ 设计模式：R O1 X O2
R O3 O4
R表示随机化； X 研究者操纵的实验处理；
¨ 设计的评价：
1）、实验的内部效度较好。原因：采用随机化处理；设立对照组。
2）、前测可能导致实验外部效度的下降。
¨ 设计的统计检验：利用增值分数进行统计分析；协方差分析。
2、随机实验组控制组后测设计
¨ 设计的模式： R X O1
R O2
¨ 设计的评价：内部效度较好；原因：实验组控制组设计；实验条件相同，无前测。
¨ 设计的显著性检验：T检验；U检验或中位数检验
¨ 设计的实例分析（p23）
3、随机多组后测设计
¨ 设计模式： R X1 O1
R X2 O2
R X3 O3
¨ 实验结果检验：单因素方差分析，N-K检验
（二）多因素实验处理
¨ 什么是多因素实验设计？
实验中包括两个或两个以上因素（自变量），并且每个因素都包括两个或以上水平，各水平相互结合构成实验处理，该设计又称为完全随机析因设计。
¨ 完全随机析因设计的类型：p X q X……
¨ 完全随机双因素析因设计举例p26-32
【实验分析】
杨治良等（1981）的实验
目的：了解年龄和材料对再认能力的影响
第一个自变量是年龄，选取初中生年龄组和大学生年龄组。第二个自变量是实验材料，具体实物图形和词组。因变量：再认能力d‘作指标。
这个实验的方法是采用再认法，把被试者识记过的材料和没有识记过的材料混在一起，要求被试者把两种材料区分开来。
如果让你开展这个研究，该具体如何进行？
（三）随机化区组设计
Block Randomization： the most common technique for carrying out random assignment in the random groups design; each block includes a random order of the conditions and there are as many blocks as there are subjects in each condition of the experiment.
The example:p32
¨ 随机区组设计的目的：使区组内的被试差异尽量缩小，而对区组之间的差异依据设计要求而定。
¨ 随机区组设计的原则：同一区组内的被试尽量“同质”，每一区组内被试的人数有三种情况：
1. 1名被试一个区组，每名被试均接受全部处理，在接受处理的顺序上要采用随机化的方法。
2. 每个区组内被试的人数是实验处理数目的整倍数；
3. 区组内的基本单元不是一名被试或几名被试，而是以一个团体为单元。
随机化区组单因素设计
¨ 随机区组设计（Block Randomization）举例(1)
Sackheim，Gur和Saucy（1978）使用组内设计研究人的两侧面孔在情绪表达强度上的差异。早期的研究者发现，被试能够准确地区分呈现给他们的人类的6种基本情绪（快乐、惊奇、恐惧、悲伤、愤怒、和厌恶）的照片。Sackheim和他的合作者利用一个人的一侧面孔和其镜像重新构成一张完整的面孔的照片。上图为三种实验材料。
Sackheim，Gur和Saucy（1978）使用组内设计研究人的两侧面孔在情绪表达强度上的差异。早期的研究者发现，被试能够准确地区分呈现给他们的人类的6种基本情绪（快乐、惊奇、恐惧、悲伤、愤怒、和厌恶）的照片。Sackheim和他的合作者利用一个人的一侧面孔和其镜像重新构成一张完整的面孔的照片。上图为三种实验材料。
¨ 随机区组设计（Block Randomization）举例(2)
给被试呈现如图所示的照片制成的幻灯片，要求被试利用7点量表评价每一张幻灯片的情绪的强度。每次呈现一张幻灯片，每张呈现10秒钟，然后给被试35秒钟进行评定。实验中的自变量为照片的形式（左侧构成，原始照片，和右侧构成），每位被试评价54张幻灯片：18张左侧构成照片，18张原始照片和18张右侧构成照片。
¨ 随机区组设计（Block Randomization）举例(3)
¨ 随机区组设计（Block Randomization）举例(4)
问题是，两种重新构成的照片在表现出的厌恶程度上是否相同。在本实验中，被试对左侧构成照片的厌恶强度评价明显高于对右侧构成照片的厌恶强度评价。Sackheim等人用大脑半球的分化解释以上实验结果。通常，左半球控制身体的右侧，而右半球控制身体的左侧。因此，左侧构成照片反映的是右半球的控制，而右侧构成照片反映的是左半球的控制。对左侧构成照片情绪强度评价较高表明右半球在情绪的表达方面更为重要。
¨ 随机化区组多因素设计
教学方法和内容复杂性对测验成绩的影响。
【练习】
下面是一个关于记忆的实验，实验中用的材料是 16 个中英文单词，其中，中、英文单词各半，代表有生命的东西与无生命的东西的单词各半，单词的颜色红、蓝各半。被试分为三组，第一组要求他们对书写单词的颜色尽快做口头报告：红或蓝；第二组要求他们对出现的中英文单词的语种尽快做口头报告：中或英；第三组要求他们对出现的中英文单词是代表有生命的东西还是无生命的东西尽快做口头报告：死或活。当被试对最后一个刺激反应完毕，即进行单词的再认和再现，要求当对一个单词的意义、语种和颜色三个方面全对时，才算达到正确的标准。实验结果如下：

颜色组
语种组
意义组
再现
0.09
0.11
0.23
再认
0.26
0.36
0.38
请对如下问题进行回答：
（ 1 ）该实验采用的是什么类型的实验设计？为什么？
（ 2 ）该实验中的自变量和因变量各是什么？
（ 3 ）该实验结果说明了什么问题？
三、准实验设计和非实验设计
概念解析
非实验设计：是一种对现象的自然描述，一般用于识别和发现自然存在的临界变量及其关系，可以为进一步严格实验累积材料。
准实验设计：实验控制相对较弱的一种设计。
（一）准实验设计
1、单组准实验设计
（1）时间序列设计
设计模式：O1 O2 O3 O4 X O5 O6 O7 O8
含义：对被试进行一系列周期性测量，并在测量的时间序列中引进实验处理，然后观测引进实验处理后的一系列测量结果，并与引进实验处理前的一系列测量结果进行比较，研究插入实验处理前后测量结果的变化趋势，从而考察实验处理的效果。
【举例】英国工业疲劳研究组
如果工作时间从每天的10小时缩短到8小时，生产率会出现什么样的变化。
研究者以每小时的平均产量作为因变量指标 。
可能存在的问题
可能不管工作时间是否缩短，都会出现生产率提高的现象。 原因：“霍桑效应”（Hawthorne effect）。
除了每天工作时间长短的变化外，可能还有其他变量影响到每小时的平均生产量。
数据的效度有限。由于对研究项目的特殊兴趣，很可能在接受处理后，对生产效率的记录更为准确。
¨ 评价：
– 优点：可以较好的控制成熟因素对内部效度的影响；可以控制测验因素的干扰；可能控制统计回归的因素。
– 缺点：没有控制组，不能控制和实验处理同时发生的偶发事件（附加变量）的影响；存在测验与处理的交互作用；多次前测影响被试对实验处理的敏感性。
¨ 显著性检验：回归直线是否存在差异，检验——剩余标准差、截距和斜率。
（2）相等时间样本设计
设计模式：X1O1 X0O2 X1O3 X0O4
含义：在其中的一个时间样本中不出现实验变量。
¨ 评价：
优点：内部效度较好；
缺点：测验、实验安排的反作用效果、选择偏差和实验变量的交互作用、重复实验处理的干扰等影响外部效度。
¨ 显著性检验：参见例子。
2、多组准实验设计
（1）不相等实验组控制组前测后测设计
设计模式
O1 X O2
O3 O4
¨ 设计评价
¨ 显著性检验：t检验；U检验或中位数检验
（2）不相等实验组控制组前测后测时间序列设计
设计模式 O1 O2 O3 O4 X O5 O6 O7 O8
O9 O10 O11 O12 O13 O14 O15 O16
¨ 设计评价：
¨ 显著性检验：见课本。
（3）平衡设计(拉丁方设计）
¨ 拉丁方设计应满足的条件：
研究中有一个带有p个水平的自变量，有两个带有p个水平的无关变量，一个无关变量被分配给p行，另一个被分配给p列。
事先假定处理水平与无关变量之间没有交互作用。
随机分配处理水平给p2个方格，每一水平在每行、每列中仅出现一次。
¨ 拉丁方设计的特点是：①每个因素在每个被试的实验次数相同；②每个顺序在每个因素的实验次数相同；③每个顺序在每个被试的实验次数相同。故拉丁方设计能够抵消实验中因实验顺序、被试差异等所造成的无关变量效果。
¨ 设计模式
¨ 评价与显著性检验：参见课本
（二）非实验设计
1、单组后测设计
在单组后测设计中，只有一个实验组，对实验组只给予一次实验处理，然后通过测量得到一个后测成绩。
¨ 设计的基本模式： X O
X是研究者操纵或某种未知因素（研究者经过分析而推断的自变量）的处理，O是研究者操纵自变量引出的结果（后测成绩）或研究者观察到的结果。
2、单组前测后测设计
单组前测后测设计是对单组后测设计的一种改进，它增加了在实验处理前的测验，但还是只有一个实验组。
¨ 设计的基本模式： O1 X O2
O1表示在接受处理X以前对被试进行前测，取得一项作为基线的观测值，X表示引入的实验处理，O2表示处理X后的测验。
¨ 参见课本。
3、固定组比较设计
又称静态组或整组比较设计。
采用实验组和控制组两组被试，但因这两组被试在实验处理前就已经形成，故它不能使用随机化原则选择被试。
基本设计模式： X O1
O2
O1为实验组接受实验处理后的反应效果；O2为不接受实验处理的控制组的反应效果。
4、事后回溯设计
是指所研究的对象是已发生过的事件。
在研究过程中，研究者不需要设计实验处理或操纵自变量，只需通过观察存在的条件或事实，将这种已自然发生的处理或自变量与某种结果或因变量联系起来加以分析，以便从中发现某种可能的简单关系。
¨ 基本设计模式：
X O
X是自变量或实验处理，是研究者不能操纵或改变的；O是研究者观察到的结果。
¨ 事后回溯设计主要包括两种类型
相关研究设计
准则组设计
实验设计小结
实验设计类型分析
实验假设

F test
F test
t、F、CF、U test
随机选择
F test
随机区组设计
完全随机设计
随机区组
随机区组
随机选择
被试的选择和分配方式
多因素设计
被试的选择和分配方式
2个或以上
1个
单因素设计
假设中的自变量数量是多少？

处理对被试的影响是否持久 处理对被试的影响是否持久
是 否
是 否

随机区组设计
完全随机设计

组间设计
组间设计
组内设计
组内设计

混合设计

精品文档