梧桐文学

第一 可修改答案的计算机化自适应测验简介(第2页)

天才一秒记住【梧桐文学】地址:https://www.wtwx.net

策略,进而影响测验的公平性。

“作弊”

策略主要包括:Wainer策略和Kingsbury策略。

Wainer策略:Wainer(1993)提出被试在自适应作答阶段,故意答错所有题目,计算机根据被试作答情况估计的能力值会越来越低,导致被试作答的题目越来越容易。

然后在允许修改阶段被试全力答对所有题目,通过这种方法被试获得正偏的能力估计值。

研究发现使用Wainer策略后造成被试真实能力水平和施测题目难度不匹配,不匹配程度越大,引起的测量误差也越大,特别对于中高能力水平的被试会有较大的能力估计正偏差(Bowles&Pommerich,2001;Stog,1997;VispoelRog&Bleiler,1999)。

Wainer策略表面看起来似乎是很诱人的,但是要通过Wainer策略来作弊却是一件十分冒险的事,Gershstrom(1995)通过模拟研究发现只有当被试在修改阶段答对所有题目时,Wainer策略才是有效的,即使答错一个题目,考生的能力估计值也会被严重低估。

为了评估Wainer策略对被试能力估计产生的影响,Vispoel等人(1999)研究通过模拟和真实数据以及贝叶斯后验期望(EAP)和极大似然估计(MLE)来评估Wainer策略的有效性。

结果发现Wainer策略的有效性取决于能力估计的方法,模拟实验表明:使用EAP估计后,能力分布在[-2,0.5]的被试能力估计值有小程度的提高,而中高能力被试被严重低估;而MLE的结果是使用Wainer策略后中高能力的被试能力被严重高估。

通过真实的实验数据也得到了类似的结果。

研究还发现MLE更易受到Wainer策略的不利影响。

Vispoel等人(1999)的实验结论后来也得到Davey和Fan(2000)研究结果的验证。

Kingsbury策略(简称K策略)是由Kingsbury(1996)提出的一种“作弊”

策略,指被试通过感知题目难度的变化来纠正错误。

例如,被试根据当前题目的难度判断上一个题目是否答对,如果被试认为当前题目比前一题难度更大,就认为前一题答对了,相反,就会怀疑前一题答错了,并有针对性地修改之前的答案。

Kingsbury(1996)通过模拟数据检验了K策略对测验产生的影响,其研究基于两个前提假设:①假设题目难度高于真实能力1个单位时,被试会猜测答案。

②假设被试认为当前题目的难度低于前一题,并超过0.5个单位时,将会修改前一题的答案。

研究发现成功使用K策略的被试能力估计水平都得到了提高,但是不同水平的被试提高的程度不一样,从低能力到高能力,能力提高的程度依次降低,能力估计值平均提高了0.11。

成功应用K策略的关键在于被试能否识别出题目难度的变化。

为了考察被试对成对题目难易的真实分辨能力,Wise,Finney,Enders,Freeman和Severance(1999)用真实的数据进行了研究。

结果发现被试在辨别题目难易任务中整体表现较差,即使两题难度差异超过0.5个单位,也只有73%的被试能成功辨别。

被试在成功使用K策略后平均能力估计值只有较小程度的提高,平均增幅只有0.01。

由此可看出被试很难使用K策略来作弊。

Davey和Fan(2000)后来通过模拟研究也发现被试通过K策略来作弊的机会是很小的。

除了以上所描述的RCAT可能导致的问题之外,事实上允许被试修改答案造成的影响涉及CAT的方方面面,包括题库的建设和维护、选题策略、能力估计方法、终止规则等。

例如,通过检查并修改答案之后,被试就有更多的时间记住题目,也有可能损害题库的安全性。

在选题策略方面传统的最大化信息选题可能会导致更多的误差,因此在RCAT的应用方面可能还需要做出一些调整。

如果后面的题目对前面题目的答案有提示,通过修改答案被试就会答对一些本该答错的题目,也会带来额外的估计误差。

修改答案后导致能力估计出现较大的偏差,部分被试可能要额外增加测验题目或者改变测验的终止规则。

然而允许被试在CAT中返回修改答案符合被试一直以来形成的考试习惯,通过提供给被试一次改正错误的机会,有助于保证测验的公平公正性。

本章未完,请点击下一章继续阅读!若浏览器显示没有新章节了,请尝试点击右上角↗️或右下角↘️的菜单,退出阅读模式即可,谢谢!

如遇章节错误,请点击报错(无需登陆)

新书推荐

斯坦索姆神豪九零后天师一睁眼,我穿成两个熊孩子后娘桃桃乌龙满级大佬从斗罗开始重生后我成了全大陆最横的崽狂探我的重返2008我真不知道原来我家这么有钱斗破乾坤,龙王求亲请排队重生之惊羽夫人每天都被套路从水浒开始的好汉之旅星际第一女将极品赘婿八零之珠光宝气公子实在太正义了棋魂:随身阿尔法狗穿成反派的病美人妹妹[穿书]洪荒之太清问道袖藏天光破茧一剑倾国空间农女:团宠娇妻甜又飒权游:睡龙之怒