1、目 录一、网上阅卷需要解决的问题及技术要点3网上阅卷的现状和必要性3相关机构存在的问题4网上阅卷的新要求4我们的改进6二、系统设计方案7系统总体构架73.2 答卷设计8答卷扫描系统9答卷扫描设备的选择11答卷扫描系统的关键技术12网上阅卷系统20网络模型20功能特点21阅卷客户端相关界面27误差控制原理30统计分析系统32三、方案特点46高精度制卷对中低端考试的支持46支持用Word 制卷,灵活方便,适应于中小规模校际间的网上阅卷46高效的图像识别技术及兼容性46灵活性、广泛性,可支持大规模阅卷47清晰简洁的用户界面47方便快捷的评分操作,支持标记联动47高效安全的通信传输机制47安全有效的误
2、差控制47客观公正的的双评/仲裁机制47保证质量的单评/抽查机制48以人为本的附加功能48全面的成绩统计分析48四、主要技术指标一览49一、 网上阅卷需要解决的问题及技术要点2.1 网上阅卷的现状和必要性在中国的所有考试中,一般包括两部分内容:客观题和主观题。在过去我们已经用光标符号阅读机OMR成功的解决了客观题,将人为的阅卷误差降到为零。但是主观题的阅卷一直应用传统手工阅卷方式,同时由于主观题的答案的“不确定性”,在阅卷中容易造成不同的评卷员对标准答案掌握的尺度也不一致。在1998年第三次全国教育工作会上教育部相关部门提出:全面推进素质教育。这就要求考试的题目必须灵活,这样答案也就更加灵活。
3、活题、活答案带来的问题是:l 怎样保证考生得分的准确?l 怎样保证评卷员对评分标准的掌握的一致性?l 怎样保证评卷员在阅卷过程中的稳定性?我们通过高速扫描系统使考生的试卷电子化,然后通过计算机网络阅卷,运用一卷多评、一致性检测、复评等等多种手段共同来来解决以上的问题。网络阅卷系统目的就是解决整个阅卷系统中的所有“不一致 ”因素。通过以上手段,我们可以使所有评卷员的评分标准趋于一致,以达到“公平、公正”的目的。在国内, 网上阅卷系统最早是由我公司在1996年广西省高考中投入应用的,最初是借用后来是引进美国NCS设备进行的。该设备速度快且精度高,有效地保证了相关考试的正确性及权威性(香港、美国等均
4、采用NCS设备),近年来,随着通用扫描仪速度的提高,出现了较多的采用通用扫描仪的网上阅卷厂商,以深圳海云天等为代表,这些厂商的解决方案覆盖了全国高考网上阅卷的90%以上。由于上述方案是应用于高考之中,基本上均采用120克纸加双色套印试卷的形式进行的,阅卷基本上采用服务外包的形式进行,即一张试卷印刷和服务费大约2元左右,成本较高, 这也就决定了他们只适用于升学考及关键考试之中,其优点如下:l 采用通用或专用扫描仪对答卷进行扫描,答卷最大为双面A3一张,且在答卷上贴上条码供扫描仪自动识别。l 结合了高速扫描、条码识别、OMR识别、多人网上阅卷及仲裁。l 每家均宣传速度快及准确率高,每家均宣传OMR
5、识别率达100%。l 均提供扫描时核对及查错。l 阅卷时可匿名发给评卷人,且支持一评、二评、三评。l 有部分厂家提供了答卷上的标记打分机制。l 改变了传统考务管理,提高了工作效率。l 控制了阅卷速度,保证了阅卷质量。l 降低评分误差,实现了考试公平。l 便于统计分析,减少登分错误,确保了信息的及时反馈。2.2 相关机构存在的问题当然,一个新技术的使用也会带来新的问题,由于这些方案在权威考试中应用,基本上做到评出考生成绩即可,且不允许查卷,对考试成绩的分析也就是难度、区分度等,而对考生的成绩分析等支持程度较弱。l 各省的投资太大,如江苏省高招网上阅卷达到了1600万之巨。l 对一评、二评之后的三
6、评支持不够,无法同时对一二评之过程进行监控。l 对答卷纸张要求较高,成本较大。l 扫描人工工作量较大,不能及阅卷无缝连结。l 须全部扫描完成后再行阅卷,影响时间进度。l 对缺考等考务要求无法做到实时监控。l 无法对阅卷结果进行抽查及审核。l 常有成绩出错的报道为此,就有必要对现有方法进行改进及提高。2.3 网上阅卷的新要求随着网上阅卷由高考向中考的推广,各地方也迫切需要采用一种低成本的阅卷方式来进行模拟考试或小规模的正式考试,这就为网上阅卷带来了新的要求,总体要求为:1) 使用成本最低由于模拟考试等的特殊性,在应用成本上具有较大的要求,一般要求采用60克(含)以上的普通纸进行双面单色(黑白)印
7、刷,可以采用胶印、速印、静电复印或激光打印的方式,也可由印刷厂进行制版印刷(达到一定批量的情况),从而将每次考试答卷的制卷成本降到最低。如果采用正式考试,也需要进行答卷的高精度印刷(黑白卷、本地印刷厂支持)。2) 答卷格式具有广谱兼容性试卷除了识别自己的答卷格式外,还应能支持其它厂商设计的答卷,特别是正式考试的120克双色答卷,此时应能提高客观题识别的精度。3) 制卷人员技术要求低最好是制卷人员设有专人及技术要求,则采用Microsoft Word进行制卷无疑是一个良好的选择,采用Word制卷可以做到基本不用培训,且支持打印输出或硫酸纸输出等,从而支持胶印、速印、复印等多种方式制卷。当然,采用
8、Word制卷后必须允许一定的误差,由于定位点要求较高,可减少或去除传统的定位点。并需要在客观题识别时,支持如印刷部分倾斜、客观题格子不清,小褶皱等问题的自动处理。4) 阅卷精度要求对正式考试,如中考、高考、国家考试等,对客观题的识别误码率要求为百万分之一,这是在试卷上加上了标识块、加上纸张、双色卷等技术进行保障,其中最主要的技术是采用了8位灰度进行客观题答案的识别。而且由于采用黑白单色印刷,给客观题带来了困难,传统的OMR三线识别方式已没有用处(因背景较黑),同时要求对橡皮擦过以后纸薄透光等情况进行识别及分辨,这就给客观题识别带来了挑战。5) 使用的方便性由于小型考试的要求,最好不需要厂商的现
9、场支持,因而就要求软件对小型考试阅卷提供方便、快速的安装及运行,使用培训简单且实现,系统提供缺省模式进行阅卷,减少或没有繁复的设置,减少人工干预。但应能支持正式考试必需的监控及调度。6) 增加成绩分析的高要求由于针对模拟摸底考试等,从教育主管部门至任课教师都需要增加对试卷质量、学校之间、校内班级之间、个人历次考试之间等进行多维比较及分析,增加分数线划线功能等,且由于考试的特殊性,还具有随政策而变的报表分析定制要求。7) 个人查卷要求的加强传统的网上阅卷由于在试卷上没有阅卷标记(或可标记但影响阅卷速度),给考试主管单位带来了巨大的困惑。对任课教师来说,仅有成绩而没有标记的试卷是一个灾难,是网上阅
10、卷系统的主要弱项,因而对标识卷的合成及查询是十分必要的,有利于学生及教师重视试卷中的弱项,达到进一步改进及提高的目标。2.4 我们的改进针对以上目标,我公司将应用于高考及其它关键的系统进行了进一步发展,主要加强了:l 支持采用word格式制卷,60克普通纸印刷,降低了制卷难度和成本。l 支持黑白图像、4位灰度图像、8位灰度图像的扫描及传输。l 区级/校级考试的分析功能。l 支持了多系列厂商的通用扫描仪。l 增强了阅卷标记功能,标记及给分联动。l 降低了阅卷服务器配置。l 自由切换一二评,在质量及效率中取得平衡。二、 系统设计方案我公司网上阅卷系统采用高速扫描技术、图像处理及压缩技术、数据库及网
11、络技术,完成答题卡信息自动采集、图像切割及分发、客观题自动判分、主观题计算机辅助评卷及误差控制、分数合成及转换、统计等一系列工作。系统可设置合理的允许评分误差,提供了及时发现误差并自动提请纠正和防止误差超出设定值的功能,答卷通过“二评”、“三评”机制,可准确地贯彻了“评分标准”和“评分细则”,把评卷教师个人主观感受导致的评分误差降低到最小程度,以保证了考生获得的分数能最大程度地体现客观、公正、合理,有效地防范和避免违规作弊或马虎应付所造成的误差。系统的整个工作流程如图3-1所示:图3-1 系统工作流程系统总体构架本系统主要由以下三大子系统组成:答卷扫描系统、网上阅卷系统(答卷调度系统、组长监控
12、系统、阅卷客户端)、统计分析及网上查询系统。答卷扫描系统:将答卷按照试题的定义切割后按照答卷号进行加密、打包,同时完成客观题的自动评阅;网上阅卷系统:答卷调度系统主要负责调度答卷的一评、二评、三评、抽查卷的调度;阅卷监控系统主要负责对整个阅卷过程的监控;阅卷客户端主要由教师使用,主要完成对答卷的评阅、打分工作。统计分析及网上查询系统:在阅卷完成后,可以通过统计分析系统对本次考试的情况进行多维度的统计并且用户通过Internet根据不同的权限进行查询。整个系统的体系结构如图3-2所示。图3-2系统体系结构图下面,将对各个子系统的功能逐一加以介绍。3.2 答卷设计当前的网上阅卷系统往往对于纸张类型
13、都有特殊的要求,而且,答卷的设计通常需要经由专门的公司来完成,这将大大增加考试的成本。而答卷设计采用Word设计正是出于能够让教师方便、灵活、快捷地设计出符合要求的答卷,同时又能够大大地降低考试成本的目的,答题卡可以由学校及教师自行设计、自行印刷,保密性强。在图3-3中给出了在Word中的制卷界面。图3-3 word制卷功能特点:l 支持使用常用的文字编辑软件Word设计答卷;l 支持每次考试多达16门学科AB两种卷种总计32份答卷的统一集成设计;l 支持60克(含)以上普通纸双面单色(黑色)、彩色印刷,印刷方式可以是胶印、速印、静电复印或激光打印;l 支持设计多种来源的答题卡;l 支持答卷页
14、边距,行高,选择项大小等多种参数,可自由定制已满足特定要求;l 客观题设计支持单项选择和多项选择2种类型,可单独显示也可合并显示;支持选择题横向纵向2种排列方式;l 支持彩色、黑白及套色输出方式,提供多种打印功能;3.3 答卷扫描系统答卷扫描系统通过文档扫描仪或专用高速扫描仪一次将正反两面试卷图像进行读入的过程,读入过程中须完成A/B卷识别,纸张异常处理,条码或考号识别,客观题涂点判断,客观题给分(亦可在主观题阅卷时再行给分),以及缺考等异常处理。由于扫描精度决定了答卷的存储容量,也决定了网上阅卷系统切割的模式,正常8位灰度下是需要切割的,以减少网络传输的容量。答卷扫描系统工作流程如图3-4所
15、示。图3-4 答卷扫描系统工作流程根据本次招标的要求及考务安排的不同,试卷扫描我们可以提供两种方案:扫描方案:试卷扫描集中在教育局(满足现有的考试安排) 对于区教育局安排的统一考试,试卷可以集中在教育局统一扫描,扫描的数据及图片直接通过内网传输到数据服务器进行阅卷,体系架构如图3-5所示。图3-5 试卷集中扫描架构图功能拓展方案:试卷扫描分布在各个学校(即学校自行安排考试进行网上阅卷) 对于学校平时考试需要进行网上阅卷的,一种方式是拿到区教育局去扫描,扫描完成后回到学校阅卷,此种方式同方案一;另一种方式是学校自备扫描仪,通过城域网把扫描的数据及图片传到数据服务器上,考虑到扫描时数据及图片文件传
16、输的效率,我们开发设计了一个后台分布式负载均衡平台,通过此平台把数据及时的传到服务器上,达到效率及质量的完美结合。体系架构如图3-6所示。图3-6 试卷分布扫描架构图3.3.1 答卷扫描设备的选择扫描设备的选择取决于需扫描试卷的纸张、扫描质量及价格,根据本次招标要求,我们推荐使用富士通fi6670教育专用版扫描仪:扫描仪名称富士通fi-6670教育专用版产品类型ADF(自动送纸器)扫描模式单面/双面,黑白/灰度/彩色图像传感器彩色CCD2(前1,后1)光源白色冷阴极荧光灯管4(前2,后2)纸张大小最小:A8(5272mm或23in) 最大:A3纵向(297420mm或1117in)。纸张厚度纸
17、张规格A4: 31-209g/;纸张规格A4:52-209g/;A8:127-209g/;卡片传送(ADF)*2扫 描 速 度(A4横向)彩色*4/灰度*4/黑白: 90ppm/180ipm(200dpi);80ppm/160ipm(300dpi)扫 描 速 度(A3纵向)彩色*4/灰度*4/黑白:70ppm/140ipm(200dpi); 60ppm/120ipm(300dpi)ADF容量200张(A4,80g/)扫描背景黑/白(可选择)光学分辨率600dpi输出分辨率50 to 600dpi(以1dpi增量进行变化)图像输出格式黑白: 1位 灰度: 8位 彩色: 24位灰度级(内部)102
18、4级接口Ultra SC SI(半间距50针) / USB 2.0/ USB 1.1(可选) USB:B类型SCSI终止器内置半色调模式抖动处理/误差扩散输入电源交流电100240V电源功耗操作状态:216W 待机状态:操作环境温度:5-35; 相对湿度: 20-80%(不凝结)体积(WDH)641*432*300mm 安装尺寸: 1179*686*390mm重量17kg环保性兼容Energy Star and RoHS支持操作系统Microsoft Windows 2000 Professional/ XP(32bit/64bit)/ Server 2003(32bit/64bit) /Vi
19、sta(32bit/64bit)捆绑软件/驱动TWAIN,ISIS,ScandAll PRO,Adobe A crobat,QuickScan Pro(Trial),Visual Error Recovery Guide,Image Processing Software Option V2.5,VRS 4.2_VRS Professional其他加长纸最大扫描长度: 3048mm多页进纸检测: 超声波多页进纸检测传感器3.3.2 答卷扫描系统的关键技术1) 灵活的扫描识别,可识别多种来源多种格式的答题卡除了能识别我公司答卷设计工具设计的答题卡外还能扫描识别多种来源多种格式的答题卡。并支持主客
20、观题混排的试卷的扫描识别。l 在扫描前利用相应的答卷定义器对外来试卷进行定义,可识别用word格式设计印刷的试卷,包括以下多种试卷格式。其工作步骤为扫描样张,并进行简单标记即可,其界面如图3-10所示,可识别Word格式设计印刷的试卷,或其它格式试卷,如可识别海云天答卷、五岳鑫答卷、纸笔王答卷。图3-10答卷定义器界面2) 智能纠偏功能由于通用扫描仪中可扫描60-200克的纸张,对纸张控制较为宽松,因为答卷扫描系统在扫描过程必须实时处理各种走纸异常情况。在试卷扫描过程中,有两种情况会导致扫描后的图像发生偏斜:l 扫描仪走纸偏斜所有的通用扫描设备,在图像在走纸过程中都无法保证试卷的绝对齐正。扫描
21、出来的某些图像会存在一定角度的偏斜。对于这种情况,试卷扫描系统将自动校验试卷有效图像的边界并对其进行纠偏处理。如图3-11所示: 图3-11图像的自动偏斜纠偏示例l 试卷印制过程中造成的偏斜;对于这种偏斜,系统将通过模糊识别技术,对卷面中的可定位参照的进行识别后,计算出卷面的偏斜角度,并通过动态坐标旋转技术完成偏斜试卷的内在复位。3) 客观题标准答案的多方式录入可以通过扫描涂有标准答卷的答案来完成标准答卷的录入,如图3-12所示:图3-12 客观题标准答案读入亦可采用Excel读入的方式读入标准答案,如图3-13所示:图3-13 Excel给出的标准答案同时支持同一试卷多套标准答案的定制,由于
22、在考试中存在一题有多个给分情况,如给AB得2分,给A或B得1分的情况,我们提供了这种给分情况的评分规则定义。如图3-14所示。图3-14给分情况的评分规则定义4) 在答卷扫描的同时,扫描、切割、客观题识别的并行处理支持试卷印刷中客观题涂点方框或者圆圈印刷断裂、试卷有小幅褶皱等。系统采用智能分析技术,对卷面中的可定位参照的客观题涂点方框进行识别后,完成这些方框的内在复位。系统通过并发控制技术,可同步以下工作:(1) A/B卷的判定(如果设定的话)。(2) 支持识别各类条形码,不需要增加专门的图形加速卡。条形码可任意粘贴且不受方向及位置的限制。(3) 自动识别试卷正反面及倒置情况,并进行自动纠正(
23、如果设定的话)(4) 学生学号的实时识别和校验(不采用条形码时)。(5) 客观题的识别:在扫描的同时,便可以完成对客观题识别和记分。(6) 主观题能够按答题区域进行切割及加密。(7) 给定学生随机编号进行标记。5) 客观题填涂分析及重计算在实际考试中,有时会出现标准答案错误的情况,因此,我们在扫描中可随时对已扫答卷客观题选择情况进行分析,以供阅卷人员对标准答案进行检查及验证,分析界面如图3-15所示:图3-15客观题扫描情况分析除此之外,在扫描结束后或阅卷中会发现现有标准答案有误的情况下,系统管理员可按新的标准及给分规则进行重算,不需重新进行切割及扫描,仅几分钟就可完成。6) 实时学号识别及完
24、善的差错控制机制实时学号识别主要有两种方式:l 条码方式:试卷扫描系统可以支持几乎所有主流的条码编码格式(如Code39,Code128,EAN等等),不受方向以及位置的限制,可任意粘贴;并提供了便捷的考场编排、条码打印等功能。这种方式主要应用在大型考试阅卷中,有错误率低的优势。l 学生填涂考号方式:在中小型考试中,主要的还是学生填涂考号的方式。由于是学生填涂,所以会出现填涂不规范,错误率高的问题。因此要求系统有完善的差错控制机制。l 学号涂错:学生漏涂或涂错学号位,对于不存在于学生名单库中的学号,系统将实时报出错误,并让用户对学号进行修改;l 学号重复:A学生涂错学号,而且涂成了B学生的学号
25、,此时,系统会发现B学号的学生有两张试卷,便会将这两张试卷的学号区域显示出来,并让用户输入A学生的正确学号;l 缺考卷:学生未参加考试,监考教师填涂了试卷的缺考标记的试卷,系统将实时获知,并将此学生的状态设为缺考。图3-16 缺考标记l 疑似空白卷:在一些扫描系统中,经常会出现将空白卷扫入系统的情况:比如监考教师填涂了缺考学生的学号,但整张试卷是一张白卷。如果这张试卷被扫入系统,此学生的成绩将会严重影响此学生所属学校的平均分。对此,一些系统采取了阅卷时由阅卷教师“提交空白卷”的做法。这样的做法很难奏效,因为每个教师阅卷时,都主要负责批阅某几题,而要通过这几道空白的题就判断试卷是空白卷,无异于盲
26、人摸象。比如在数学题难度比较大的几题,空题的显现是屡见不鲜的。我们的系统通过模糊识别和图像局域痕迹分析技术,可以智能的判断出试卷是否为空白卷,如果发现试卷可能为一张空白卷,则这张试卷将不会进入到阅卷流程中。l 缺考监控系统将实时反映出尚未扫描的学生列表。这样在每处理完一个考点之后,可以将系统中缺考学生的列表及考点提供的缺考名单核对,做到完备的缺考控制,以防出现试卷漏扫的情况。图3-17 扫描监控界面7) 精度可调的图案格式,以扫描图像的方法进行网上阅卷,其核心点为图像的分辨率及质量。图像的存储容量和质量是一对不可调和的矛盾。越小的存储容量往往意味着越差的图片质量,而越高的质量往往又要求越大的存
27、储容量。对客观题阅卷来说,人们以人眼判别填涂正确以机器阅卷识别的差异来决定阅卷的识别率。当前扫描技术中,以8位灰度为最高,1位灰度为最低。对于灰度图像而言,如果图像内容主要以黑白颜色为主,很少有过渡色(在目前的各类考试当中,笔答题图像几乎都属于这一类),则存储空间最小的图像存储格式应该是黑白图像(BITONE),特点是图像存储量非常小,有助于提高网络传输速度。但要产生效果非常好、笔迹清晰而又没有任何失真的BITONE图像,却不容易。这是因为,BITONG是通过扫描仪扫描的灰度图像实时转换来完成的,而对于任何一次考试来讲,考生书写笔迹有深有浅、有粗有细、有疏有密,差别极大,目前一般都通过固定的B
28、ITONG算法,颜色浅的造成最终图像笔画、线条缺失,笔画粗的、写的密的造成图像无法区别笔画,成为一个个黑疙瘩。扫描仪则是采用实时动态算法,增加或减少边缘黑色像素,最大程度的减少失真,再现书写细节。该方法一般用于打印内容或手写文字性内容,相对于16 / 256级灰度图像,BITONE图像会有一些失真,只在特殊情况下采用BITONE。由于阅卷教师阅卷时将长时间注视屏幕,因此,更好的画面质量也有利于教师消除视觉疲劳。三种灰度的图像存储容量对比,如下表所示。灰度学生/学科 6000学生/学科 6000学生/9学科 图像8位600KA3双面4位300KA3双面1位200KA3双面图3-18 图像质量、容
29、量对比关系(200DPI)一般来说,三种灰度图像的客观题识别率如图3-27所示:质 量自动识别误码率8位灰度(带控制位)百万分之一8位灰度(不带控制位)十万至百万分之一之间4位灰度十万分之一1位灰度万分之一图3-19 图像质量及识别精度对照为了支持正式考试(如高中考)以及模拟考试(降低识别率、以规范答卷书写)的两种方式,我们提供了图像质量选择模式,图3-20给出了三种模式。方 式客观题(灰度)主观题(灰度)A3双面存储2.低存储、高质量方式188118200k250k600k图3-20 我公司提供的三种精度模式针对本次招标,可选用模式3。3.4 网上阅卷系统网络模型本系统可以在城域网上阅卷,协
30、议采用TCP/IP协议,阅卷内容采用FTP的方式进行传输,因而本系统可适用于城域网或广域网上。全部试卷扫描结束后,评分教师可以通过学校的局域网连接城域网,从而访问数据服务器进行阅卷,组长教师也可以在局域网内管理阅卷,进行阅卷监控,控制阅卷进度及质量。图3-21 阅卷系统网络模型功能特点网上阅卷系统主要由答卷调度系统、阅卷监控系统和阅卷客户端组成。 1) 答卷调度系统答卷调度系统将自动对教师的评卷任务进行调度。这些任务包括:正常评卷、抽查卷等。另外,当答卷的一评、二评分差过大时,服务端将自动将其列为等待仲裁答卷,等大组长分派仲裁人。答卷调度系统功能特点:l 全自动设计,100%准确的完成调度接收
31、通讯等阅卷任务; 自动完成答卷分配工作,它负责分配答卷给阅卷教师; 自动从阅卷客户端接收阅卷成绩; 自动完成成绩的汇总和审核; 自动完成仲裁卷问题卷的分发处理。l 后台运行,速度更快,效率更高;l 多学科一个调度引擎统一管理,更节省硬件及软件资源;l 多线程设计,同时完成答卷的调度,分发,接收等任务,阅卷教师无需等待,最大程度上提高了阅卷效率。2) 阅卷监控系统阅卷监控系统由权限管理系统、大小组长管理工具组成。l 权限管理系统操作级权限控制的目的是管理用户对系统各功能点的操作许可权。例如,“试卷调度”、“阅卷监控”等都属于操作权限。这些操作权限将由系统管理员按照角色进行分派。这样,每个用户登录
32、后,系统将按照该用户当前具有的角色集合计算所具有的权限列表,并按权限列表将相关功能提供给用户。权限检查将核实当前用户对该操作的权限,如果不具有该权限则拒绝用户的相关操作。图3-22基于角色的操作权限控制权限管理系统对系统的整个人员进行管理,按照人员角色类型进行管理,现有的角色有系统管理人员、阅卷组长、阅卷教师等。l 大组长管理工具 提供客观题标准答案的维护,提供添加,导入,修改,删除等一系列操作;支持客观题一题多标准的评阅模式,自由设定每种标准的得分值; 提供客观题成绩自动计算功能,自动按照最新的客观题阅卷标准进行核对,然后完成给分,此操作可以根据情况重复执行; 提供客观题成绩查阅功能,可以查
33、看每一个考生的每一道客观题的得分及填涂情况; 提供客观题考生答案分布统计视图,第一时间让大组长了解到考生对客观题的填涂情况,第一时间完成对标准答案合理性分析; 提供主观题评阅规则定义:u 可设定主观题评阅方式,在评分过程中大组长可根据评卷进度、效率、评卷质量随时调整单评或双评及最大误差等阅卷规则,使评卷过程更加公平可控,如下图所示:图3-23主观题评阅方式u 自主设定主观题满分/给分步长,自主设定若干个给分点;u 支持对每一道试题进行单独设定; 支持阅卷小组维护管理,可以自由的添加阅卷小组,修改每个阅卷小组的阅卷权限; 提供各主观题的阅卷进度跟踪,引入仲裁率,最高分,最低分,平均分实时统计,让
34、大组长对当前的阅卷有一个直观而有效的了解,确保阅卷工作的顺利进行; 当主观题随机分发时,若发生走纸误差(特别是无定位点)时,可能就需查看切割图像外的内容。当用户看不到区域之外的图像时,需要切割图像的动态调整,系统提供了扩大区域的查卷功能,可以适时可调有关图像,甚至可以查出原卷(考号屏蔽)帮助教师完成进一步的阅卷。图3-24 查看原卷图3-25 原卷 提供手工输入考生成绩接口,允许大组长对异常试卷进行单独给分;解决了由于答卷问题导致无法网上阅卷的问题; 阅卷教师质量监控,包括阅卷总量、培训指数、自评指数、吻合指数、平均分、最高分、最低分、方差、主客观相关系数、有效度、综合指数、速度、下载量、缓冲
35、量、空闲时间等。 支持实时的学科成绩详单统计:u 支持按学校,按班级,按准考证,按成绩分类统计;u 汇总客观题及主观题各题的得分情况,详细到每个给分点都单独罗列;u 支持一键分类导出各张统计报表;l 小组长管理工具 小组阅卷教师的管理功能:u 提供添加,修改,删除及导入阅卷教师;u 提供修改每个或一批阅卷教师权限功能。 支持相关样卷的设定及撤销功能; 小组长可以随机或者指定一个阅卷教师或一道试题或一份答卷进行阅卷抽查; 小组长可以对阅卷教师质量监控,包括阅卷总量、培训指数、自评指数、吻合指数、平均分、最高分、最低分、方差、主客观相关系数、有效度、综合指数、速度、下载量、缓冲量、空闲时间等。 小
36、组长可以查看每一位阅卷教师的阅卷进度:u 可查看每道试题的阅卷数量,最高最低分、平均分并且提供标准平均分(试题的平均分)加以比较;u 可查看每份此阅卷教师曾经评阅的试题,进行查看或抽查仲裁;u 可查看阅卷教师按试题成绩分布图;u 可查看阅卷教师按试题阅卷效率图; 小组长可以查看每一道试题的阅卷情况;u 可查看还有多少份答卷没有评阅或者正在评阅;u 可横向比较评阅每一道试题的阅卷教师的统计值(最高最低分,平均分等);u 提供对未发送答卷或已发送未上传答卷的回收或再调度功能;u 提供手工分发仲裁卷功能。3)阅卷客户端安装在评分计算机中,用于评分老师登录验证,接受服务器发来的答卷,在阅卷老师完成阅卷
37、后向服务器端传送答卷。l 功能特点 支持阅卷过程中自动屏蔽考生考号姓名等信息; 显示预先定义好的答卷区域,可放大、缩小、浏览、自适应(复原图像等功能供阅卷教师评阅; 以答卷包为一个评阅单位,连续显示同一道试题的区域,有利于提高教师阅卷效率; 提供简单明了的、人性化的操作界面,支持键盘、鼠标或混合使用的多种操作习惯; 内置了多种阅卷标记,可支持在答卷上进行批注; 支持完全的背靠背阅卷,一评、二评教师的评分、标记、批注互不影响; 支持设定问题卷,内置了多种问题原因,可以方便地选取; 支持对评分历史的管理,包括查询、重评、修改等功能; 支持多评/仲裁/抽查机制保证阅卷质量,在仲裁和抽查中自动以不同的
38、颜色显示不同教师的评阅标记; 电子版答卷可快速定位,所给的得分在上传之前可以随意修改,但若已经成功上传则禁止修改或重复上传; 支持最高分和评分间隔设置的自动更新,根据阅卷大组长设定的评分标准自动更新客户端设置,保证评分标准的一致; 根据最高分和评分间隔设置,自动界定非法得分,并自动提示不允许输入非法得分; 支持对大分值的题目分档次给分; 每道答题支持最多八个评分点,评分点可自由命名,独立设定最高分和评分间隔; 阅卷教师可以自行修改客户端密码; 阅卷教师在暂时离开计算机时可以锁定评分系统防止他人篡改成绩; 阅卷教师可在线集中评阅,或以离线方式分散评分后汇总; 在线评阅时若断线,可自动登录并自动上
39、传得分; 评分过程具断点保持功能,可随时退出或重新登入继续阅卷。阅卷客户端相关界面l 阅卷主界面阅卷客户端主要由教师使用,对考生的答卷进行批阅。 仲裁教师可以看到一二评教师给分情况,给分操作同普通阅卷教师,如下图:图3-27 仲裁阅卷客户端主界面 给试题评分在网上阅卷系统中,每一道题目都可以有多个给分点。给分时,可以针对这些给分点一一给分。教师打分有两种方式:对于习惯于键盘操作的教师,可以直接在给分栏中给出分值;而对于习惯于鼠标操作的教师,则可以用过拖动给分条打出分数。在给出分数之后,只要尚未将此评阅结果提交上传,此结果仍然可以修改。图3-28 试题给分版 扣分模式教师可以根据评阅习惯,选择扣
40、分模式,操作非常方便,点击鼠标即为扣分,同时分数栏中的分数随之改变。图3-29 扣分模式 附加分功能图3-30 附加分功能 为答卷加上标注教师在评阅答卷时,有时可能会想对评阅的试题加上标注。比如学生答题时候的得分点。这时,教师可以通过点击等按钮在试题的相应部分画上标注。被标注后的题目如图3-31所示:图3-31 对试题的标注 翻页在评阅完毕一题后,可以点击按钮以进行下一题的评阅。如果教师想对上一道尚未提交分数的题目重新给分的话,可点击回到上一题以重新给分。 上传评阅、给分结果教师对答卷评阅完毕后,可以点击按钮将本批的评阅结果上传到服务器端。在上传完毕之后,如果此教师还有尚未评阅的卷子的话,系统
41、会自动下载下一批需要评阅的答卷,由此教师继续评阅。误差控制原理控制主观试题评卷误差,不能以牺牲命题质量为代价,不能以打乱人工阅卷规程为前提,更不能对考生答题有丝毫干扰或影响。也就是说,控制主观试题评卷误差的行动, 要在对命题、对考试、对考生答题、对阅卷规程和评分标准没有任何负面影响的状态下进行。1) 误差控制模型根据实际情况分为两大类:无误差控制试题和有误差控制试题。有误差控制试题指试题的分值大、答案多样、评卷的人为误差比较大,例如作文题。这些试题需经过几个评卷员(一般情况下最多有3个评卷员)的评分,系统根据误差控制理论,产生考生的最终成绩。无误差控制试题指试题的分值小、答案比较确定、阅卷的人
42、为误差比较小,例如填空题。这些试题系统只需要一个评卷员进行评分就给出考生的最终成绩。误差控制模型:误差控制模型工作方式为:首先将试卷分发给评卷员1和评卷员2进行评卷得到分数为X1和X2,系统比较X1和X2,如果在允许的误差范围内产生考生的最终成绩;否则将试卷分发给评卷员3得到分数X3,系统检测X1、X2、X3中误差最小的两个分数,如果在允许的误差范围内产生考生的最终成绩;否则将试卷分发给组长做最终评卷。在评分全过程中组长可根据评卷进度、效率、评卷质量随时调整单评或双评及最大误差等阅卷规则,使评卷过程更加公平可控。图是是否否随机的分发任务评卷员1评卷得分X1评卷员2评卷得分X2评卷员3评卷得分X
43、3组长最终评卷得分X4|X1-X2|=误差范围Min(|X1-X2|,|X1-X3|,|X2-X3|)=误差范围结束随机分发给第三人将试卷分给组长得考生成绩(X1+X2)/2假设差距最小的为X2,X3,则得考生的成绩(X2+X3)/2得考生的成绩X43-32 误差控制模型在评分全过程中组长可根据评卷进度、效率、评卷质量可在任意时段调整单评或双评及最大误差等阅卷规则。这种方式不仅实现了对任意科目、任意题目在任意比例上进行单评、双评或多评设置,而且更加灵活地切回到单评或双评,使组长能够对整个评分过程和质量更加可控,真正实现了评分的公平和公正。2) 一致性控制在评卷过程中,虽然通过误差控制有效的抑制
44、了考生成绩的评判误差,但是所有评卷员在评卷中对标准掌握的是否一致和每个评卷员在评卷过程中对标准的掌握是否一致均影响着评卷的质量、速度和考生的成绩。系统通过以下两个控制来进一步抑制误差、提高阅卷的整体质量、效率。l 评卷员个人一致性控制个人一致性控制主要通过抽评试卷来检验评卷员在评卷中的稳定性。在评卷员已评试卷中抽取一定数量的抽评试卷分发给组长进行评卷,然后查看相应的统计报表来判定评卷员个人的一致性情况。3) 随机任务分发系统对任务分发是“随机的”。在阅卷中如果将一个地区的考生试卷分发给几个评卷员评卷,从而造成区域性评卷误差。系统将每份试卷随机地分发给评卷员评卷,使评卷员无法对不同的区域的考生采
45、取不同的评分标准,从而解决区域性误差。3.5 统计分析系统本系统在所有阅卷工作结束后,统计出所有有关成绩的各种报表。包括学生个人、班级、学校和学校之间的成绩情况,还有有关试题的教育测量学的主要统计指标。教育测量学的主要统计指标;对试卷质量、学校之间、校内班级之间、个人历次考试之间等进行多维比较及分析从而进行跟踪管理;增加分数线划线功能等,所有统计结果均可导出为Excel报表。而且可以按照用户要求定制各种报表及统计分析图表。l 所有学校每个科目的平均分、平均分增幅;l 所有班级每个科目的平均分、所有班级每个科目的平均分增幅;l 所有学校各个分数段的人数分布;l 所有学校选择题的平均分;l 每个科
46、目选择题的答案分布情况、每个科目主观大题小题的得分情况;l 学生科目及组合成绩及排名;l 学生个人的详细成绩单;l 所有科目总分排名的各个学校的人数比例;l 所有科目分档次的人数分布比例。1) 各校详细均分表图3-33各校详细均分表2) 各校均分增幅表图3-34各校均分增幅表3) 班级详细均分表图3-35班级详细均分表4) 班级均分增幅表图3-36班级均分增幅表5) 各校分数段成绩表图3-37各校分数段成绩表6) 各校选择题均分表图3-38各校选择题均分表7) 选择题答案分布图3-39选择题答案分布8) 主观小题分值和得分率图3-40 主观小题分值和得分率9) 主观大题分值和得分率图3-41 主观大题分值和得分率10) 学生科目成绩排名表图3-42 主观大题分值和得分率11) 学生组合科目成绩排名表图3-43 学生组合科目成绩排名表12) 学生成绩单图3-44 学生组合科目成绩排名表1