考试科研方法11.doc

考试科研方法(十一)十一、实验研究法全国教育考试科研规划“七五”“十一五”申报和立项课题中，没有一项涉及实验研究方法。教育考试科学研究，真的能够采用由自然科学引进的科学实验的方法吗？有些人对此深表疑虑。社会科学研究中的实验方法的确是在自然科学实验方法影响下而产生和发展的。由于这种影响而兴起的教育实验活动大约有两条路线。一是从19世纪后期到20世纪初期，实验方法被引进并逐步应用于心理学研究，然后又扩展到教育领域，产生了实验教育学派。实验教育学派以自然科学方法为典范，力图通过精确的科学实验和数学方法来研究教育行为，从而形成了注重数学工具的运用、强调严格控制实验条件、追求结论的客观性的教育实验基本研究方式。二是文艺复兴之后，在自然科学实验思想的启发和人文主义思想的指导下，许多教育大家先后按照自己的设想和理论进行了教学制度、教育内容和方法等方面的教育实验活动。其中19世纪末、20世纪初杜威在实用主义教育理论指导下的教育改革实验对后来教育理论与实验的发展产生了极其深远的影响。这是从一般教育实践活动中分化发展而来的教育实验方式，其特征是选择教育自然环境，强调研究的实用性、对象的整体性和定性的说明方法。近百年来，这两种基本方式相互竞争、相互融合，使教育实验逐步走出模仿自然科学的实验模式，积极探索和寻求适合教育研究特点的研究范式；走出了一条从注重定性到关注定量，再到定性与定量分析相结合，从实验室实验为主到教育实际场景为主的教育实验研究发展路线，并在教育改革与发展中发挥着越来越重要的作用。如果我们能够稍微仔细地考察实验法在包括教育在内的社会科学领域中的应用情况，似乎可以得出这样的结论：关于因果关系的探索，实验是难以替代的最有效的研究方法；不能完全模仿自然科学的实验模式，应该创造适合本研究领域特点的新的范式。（一）实验研究法的特点和适用实验研究法是根据研究目的，运用一定的手段，主动干预和控制研究对象，以揭示某些变量之间因果关系的研究方法。实验研究有多种方式，但不论哪种方式都具有以下特点：第一，其研究目的都是揭示变量之间的因果关系。为此，在课题论证阶段必须提出研究假设，作为实验设计的依据，并据此规范实验的进程和结果的解释。比如，自学考试学习过程考核实验，就是揭示“过程考核”与“学习效率”之间的因果关系，为此需要提出类似于“过程考核与终结考试相结合比单纯的终结考试更能提高应考者的学习效率”这样的研究假设，作为实验设计、规范实验过程和解释实验结果的依据。第二，要主动干预或变革研究对象，使研究对象接受精心设计的实验处理，亦即对自变量实施操作。比如上述实验中，对自学应考者进行过程考核；教材改革实验中，使用改编后的教材进行教学；自学考试向农村延伸实验中，实施专业和课程调整、建立农村学习基地、鼓励参加自考的政策，等等。第三，必须控制条件。为了检验所假设的因果关系，需要控制那些无关因素（无关变量）的干扰，保证因变量（如学习效率、农村考生数量等）的变化确实是由自变量（如过程考核、调整专业和课程、建立学习基地等）引起的。教育和考试的实验研究的对象是人，是人与人之间的社会关系，因而与以物为研究对象的自然科学实验还具有一定的差别：第一，自然科学实验可以在严格控制的实验室条件下进行，而教育和考试实验则主要在教育和考试的自然状态下进行，不可能完全排除无关因素（特别是社会和心理因素）的干扰。第二，自然科学实验强调价值中立，追求研究过程的完全客观和可重复，而教育和考试实验则不可能摆脱研究者的主观因素和社会价值观的影响，甚至其研究目标本身就包含着一定社会的价值观念，因而研究过程和结果并不是完全客观的，研究的可重复性也无法与自然科学实验相比拟（其实，关于教育实验的可重复的问题在教育理论界也是有争议的）。第三，自然科学实验特别关注量的描述和定量分析，追求实验数据资料采集、分析及其结果的精确度，而教育和考试实验由于其研究变量的某种程度的不确定性、所依据的某些概念本身的模糊性，进行精确的定量分析是很困难的，因而强调定量研究与定性研究的适当结合。第四，自然科学实验处置的对象是自然物，除极其个别情况下的动物实验外，通常不会遭遇“伦理道德问题”，而教育和考试实验的对象是人，大多是成长中的青少年，在实验规范之外，还必须充分考虑道德规范和标准问题。总之，教育和考试实验，相对于自然科学的实验室实验而言，只能算作“准实验”这恰恰是适合教育和考试活动特点的科学实验。实验研究法是惟一能够检验因果关系假设的研究方法，在教育考试研究中可以发挥多方面的重要作用：为提出和建构教育考试理论提供实验基础。通过教育考试实验，发现因果联系方面的新事实，开拓新的研究领域，加深对于教育考试发展规律性的认识，为提出新的理论观点和建构理论体系提供基础。我们所熟知的经典测量理论、项目反应理论以及关于过程考核与终结考试相结合有利于提高学习效率的观点，都是在实验的基础上提出的。检验、修正和丰富教育考试的理论假设。检验关于因果联系的理论假设，是实验的基本功能。包括教育和考试在内的涉及因果关系的理论，都需要通过实验来检验、修正、丰富和发展。改造和发展引进的教育考试理论。引进域外（国外或外地）的教育考试理论和方法，通常都需要通过实验以检验其适应情况，对于不适应的部分进行适当改造和变通，再经过实验证明适合本地情况，才可能逐步推广应用。比如，我们正在试用的“兴趣量表”（升学版）就是经多次实验修订而成的。理论（方法、方案）应用于实践的重要途径。一套理论及其应用方案提出后，必须通过实验使之操作化，并在实验中进一步完善。高考的标准化、“3+x”科目设置改革、远程录取，自学考试的向农村和职业教育拓展等最初设计的方案，都是先经过自然条件下的实验，使之操作化，并取得初步经验，然后再在较大的范围内进行再实验，才逐步推广的。这里存在一个认识问题：我们通常把这些“操作化”、“取得初步经验”的活动叫做“试点”和“试验”，那么工作上的“试点”或“试验”，从研究角度都可称为“实验”呢？不是的。即使是自然条件下的实验，也必须具备以下四个条件：要有假设；假设的是变量之间的因果关系；要对研究对象进行干预和处置（操纵自变量）；要控制条件（控制无关因素的干扰）。前面提到的那些工作上的“试验”，都有一定理论指导下的整套方案，其中都包含着变量之间因果关系的假设；“试验”中都要操纵自变量，对研究对象进行实验处置；都要适当控制无关因素的干扰，尽量使自变量之外的那些条件（无关变量）保持不变。这里说的“自变量”是指因为实施改革措施而变化了的工作条件（含考生的学习和应考条件），“因变量”特指工作效率（含自考生的学习效率、及格率、毕业率、毕业后的社会适应能力和应考规模等）、社会公平等设计者企望实施改革方案后能够发生变化的那些因素；这里说的“无关因素”或“无关变量”则指自变量之外的其他条件，说它“保持不变”的意思是没有因为改革而发生变化，仍然像原来那样处于“自然状态”（只有这样，才能把因变量的变化归因于自变量，才能检验因果关系）。其实，教育实验中的教育体制改革实验，如“六五”期间国家教委重点科研项目“五四三”学制改革实验，招生考试制度改革的实验，在一百多个农村县进行的农村教育综合体制的改革实验等等，都属于为理论（方法、方案）应用于实践而进行的自然环境下的教育实验。教育考试研究应用实验的方法，也有一定的困难或限制。比如，实验研究适合于自变量数目较少、清晰可辨、易于分解并加以操作的问题，而教育考试问题通常是包含众多变量、相互关系又错综复杂的教育考试现象，单靠实验法理清变量之间的关系是很困难的，必须把实验法与调查法、历史法、比较法等结合应用，才能有效揭示教育考试有关规律，从而推动教育考试事业的发展。（二）实验研究的一般程序1、选题实验课题的选择和确定与其他科研选题并无本质上的差别。只是由于实验研究的周期较长，投入的人力较多，研究成本较高，因而需要特别慎重。首先，选择的课题必须有重大的理论或实践价值。比如前面提到的自学考试过程考核实验、向农村和职业教育拓展实验，高考标准化、科目设置改革、远程录取实验，都具有重大的应用价值，对于教育考试的改革与发展都具有重要的意义和长远的影响。如果不是这样，是否值得进行教育考试实验，就是一个问题了。其次，要充分考虑实验研究的可行性。仔细分析研究变量的数量、关系和特点，特别是关于自变量的可操纵性、因变量的可测量性和无关变量的可控制性，并据此对实验研究的困难程度和现实条件下的可行性做出恰当的判断。另外，科学的实验研究，需要具备多方面的条件，如理论上的指导，实施实验的工作队伍，实验单位的内部与外部条件等。要创设必要的条件，确保实验能够按照科学规范进行。再次，要有明确的实验假设。研究者明确实验中改变哪些因素，进而对哪些因素的变化产生影响，在课题设计时要把这些问题表述清楚。实验假设及其表述不明确，实验实施及实施过程中的资料收集将难以顺利进行。2、实验设计实验设计是关于实验实施的详细计划。它是保证实验科学进行的关键环节。3实验的实施按照实验设计进行实验，按预定方案对研究对象进行实验处理（操纵自变量），按规定观测实验处理所产生的效应（因变量的变化），并记录实验所获得的数据资料。4、实验资料的分析和结论的获得按实验设计预定的方案，对实验过程获得的资料和数据进行整理、加工和统计分析，并得出实验结果，形成结论。5、撰写实验报告根据实验结果和科研管理部门的要求，撰写实验报告。从研究角度说，实验设计是在选题确定之后，最为重要的工作。下面专门介绍实验设计的内容和要求。（三）实验的设计实验设计是实验研究的计划工作。其内容包括：设计自变量及其呈现方式，因变量的指标及其测量方法，控制无关变量的具体方案；确定抽样的大小和方法；规定实验实施的步骤和具体要求；选择分析实验数据资料的具体方法。影响实验设计复杂程度的因素，最主要的有两个方面，一是自变量的数量，二是无关因素的控制水平。坎贝尔（Campbell）和斯坦利（Stanlet）根据这两个方面把实验设计划分为两大类，一类是只有一个自变量的单因素设计，其中包括前实验设计、准实验设计和真实验设计；另一类是有多个自变量的多因素设计。1、前实验设计前实验是最为初级的一种实验类型，它对无关变量并不实施任何控制（据此可以说它还不是严格意义上的实验）；但要操纵自变量，对研究对象进行实验处理，并根据处理后的因变量的改变来估计所要研究的因果关系（据此又可以说它是实验，是实验的初级形态）。前实验有三种类型：单组后测设计。只有一组被试（不是随机选取的），不设置对照组；实验中只实施一次实验处理；有一个后测（实验处理之后的测量，用以观测处理的效果）。把后测的结果看作实验处理的效应。这种设计没有控制无关变量的干扰和影响，认为后测的结果就是实验处理的效应，其有效性是很低的。单组前后测设计。只有一组被试（不是随机选取的），不设置对照组；实验中只实施一次实验处理；实验处理前后各有一个测量。把后测与前测的结果进行比较，以分析实验处理的效应。比如，有一项关于自考生自学指导的实验，研究者选择一个助学单位的自然班，在实施自学指导之前进行一次关于自学能力的测试（前测），然后用半年时间按实验方案进行自学指导，之后再进行一次自学能力的测试（后测），用两次测试的差别来说明自学指导的效果。较之单组后测设计，其结果的有效性有所提高。如果设计合理，实施得当，单组前后测设计还是一种有实用价值的前实验设计。固定组比较设计。除实验组外，又设置一个对照组（两者都不是随机选取的）；对实验组实施一次实验处理；两个组都进行后测，根据两个组后测结果的比较说明实验处理的效果。比如上例，在同一助学单位中再选取一个自然班作为对照组，仅对实验组进行自学指导实验处理，之后对两组实施内容范围、难度分布基本相同的后测（没有前测），从两个班后测成绩的比较中，分析自学指导的意义和效果。这种设计的进步是使用了控制组（对照组），结果的有效性会比前两种设计有所改善。其缺陷是被试不是随机分组，其结果中难免含有被试不随机所带来的系统偏差。2、准实验设计准实验是为了真实验外部效度（内部效度是指实验所推断的自变量与因变量之间的因果关系的真实程度，而外部效度则指实验结果的可推广程度）不够高而发展起来的一种实验模式。其特点是：实验是在真实的教育情境中进行的，属于现场（而非实验室）实验；一般以教学班为实验单位，不能按随机原则选取被试，不能随机分配被试去接受各种实验处理；强调自变量的操作控制，但对无关变量的控制较弱。一般地说，准实验设计的外部效度要好于真实验设计，并且采取各种措施以保证实现现场背景下最好的内部效度（当然还是达不到真实验设计的高度）。准实验设计主要有以下三种类型：不等控制组设计。设置实验组和控制组，一般为原来的自然教学单位（班、年级或学校），不是按随机原则抽样分组（因而控制组与实验组不等），但实验处理可随机分配；实验组和控制组都有前测和后测。用实验组和控制组两次测试的分数增加量的相互比较，来估计实验处理的效果。这种设计，由于有控制组和前后测，能够一定程度地控制抽样不随机带来的分组偏差，从而提高内部效度。这是准实验设计中最为普遍的设计类型。时间序列设计。不设置对照组，被试组的选取也不随机；对被试组实施实验处理之前、之后都进行周期性的一系列测量；根据实验处理后的一系列测试的分数变化的特点，推断实验处理的效果。由于实验处理前后都进行一系列测试，可以把这些测试分数连成一条曲线，如果曲线是连续的，并且实验处理后曲线的坡度与处理前相同（分数变化的程度一样），那么实验处理就是无效果的；如果处理后分数曲线坡度增加（向上翘起，即分数增加的程度有所提高），那么实验处理就有正的效应，增加得越明显（向上翘起的越高）正效应也就越显著；如果实验处理后多次测试的分数连续增加，没有出现下滑的现象，那么实验处理的正效应就是稳定、持久的。这种设计可以使实验处理的效应随时间的变化情况充分显示出来，这是它的优点。其不足是，没有控制组作为对照，不能排除无关因素的影响。平衡设计（固定组循环设计）。选择若干实验组，并对每个组实施若干次（次数与组数相同）实验处理。每次处理后都进行测量。各组接受的各种处理的内容是相同的，但顺序不同。比如实验自学、讲授、发现学习三种不同教学方法的效果，对三个组按不同顺序实施这三种教学方法实验处理，取同种实验处理后测的分数平均值作为这种处理的效果的反映，再将三种处理后的平均分进行比较研究，以估计每种实验处理的效应。这种设计，每一组既是实验组又是对照组，通过平衡配置，有些无关因素的影响可以相互抵消，从而提高实验的内部效度。3、真实验设计真实验设计，都有实验组和控制组，并且都是按随机原则选取的。实验中，对于自变量、因变量和无关变量都进行比较严格的控制。也有三种主要类型：实验组、控制组前后测设计；实验组、控制组后测设计；所罗门四组设计。其特点、优势和局限这里就不介绍了。4、多因素设计多因素设计是指在同一个实验中，控制、操作两个或两个以上自变量的实验设计。也称因素设计、析因设计。前面介绍的实验设计，自变量大都是单一的。但在现实的教育考试活动中，所涉及的变量（因素）往往是多种多样的，而且是相互影响的。如果只将一种因素作为自变量进行操纵，而把其他因素作为无关变量加以控制，虽然有助于揭示该自变量与因变量的关系，却不能实现对于因变量变化原因的真实揭示。如果在实验设计中设置多个自变量，研究结果有可能较接近于真实情况，研究的外部效度也可能有进一步的提高。要接近真实情况，不仅要考虑每个自变量对于因变量的影响，而且还要考虑自变量之间可能存在的交互作用（各个自变量可能恰恰是通过复杂的交互作用而对因变量发生影响的）。因此，多因素设计并不是原有单因素设计的简单组合。最简单（也是最基本）的多因素设计是22设计，即两个因素（自变量）中每一个都有两种水平。我们把第一个因素的两种变化分别记为A1和A2，另一个因素的两种变化记为B1和B2，那么两个因素不同的结合就可以产生四个不同的处理组：A1B1A1B2A2B1A2B2把被试随机安排在四个处理组中，就形成了一个22的因素设计。比如，比较两种教学方法（讲授法和自学辅导法）对学生学习成绩的影响，同时比较两种教材（统编教材和自编的自学教材）优劣。我们把被试随机分配到四个组中，形成如下的22因素设计：这种设计可以同时研究多个变量之间的关系及其对因变量的影响作用，并可使研究者对于两种教法的效果有无差异、两种教材对学习结果的影响有无差异、教材与教法之间有无交互影响等进行估计和解释。如果有三个因素，每个因素又有两种水平，就可构成222的因素设计。无论哪种设计，都需要采用统计方法对实验结果进行分析和检验。编辑： 2007-05-16 16:54:41浏览：6817次