它比那两个干扰项要长得多。
这是唯一包含单词“咆哮”的选项,该单词也出现在题目中。
它比干扰项更复杂,形容词“鸟类”和“水生”适用于主题“掠食者”。
为了解决这个问题,你可以将干扰项 b)和 c)更改为如下内容:
为什么 Snafflegooks 会在黎明时发出咆哮声?选择正确的答案。A) 它们的咆哮声会吓跑鸟类和水生捕食者。B) 它们的咆哮声会唤醒阿尔法和贝塔狼群。C) 它们的咆哮声会吸引健康且有生育能力的配偶。
现在一切都很好并且一致,没有任何东西跳出来泄露钥匙的线索!
错误 2:使用太多选项
您是否注意到上面的 Snaflegooks 示例问题还有其他不寻常之处?也许您想知道为什么只有 3 个选项?
自从第一次在学校参加多项选择题考试以来,我们都被洗脑,认为多项选择 德国电话 题应该有 4 个选项(1 个关键选项和 3 个干扰项),而许多人也都认为这是电子学习评估的正确做法。然而,大量研究表明,只有 3 个选项(1 个关键选项和 2 个干扰项)的问题的表现与有 4 个选项的问题一样好(甚至更好!)。
让我们来看看这个话题的最大评论之一。Rodriguez , MC (2005) 收集并分析了截至 2005 年的 80 年期间的许多其他研究的数据。他们发现,使用 3 个选项问题的评估与使用 4 个选项问题的评估一样好甚至更好,因为:
总体评估信度或辨别力没有变化。辨别力相似意味着评估能够很好地区分熟悉内容的学习者和不熟悉内容的学习者。信度相似意味着知识水平相似的学习者获得相似的分数。
准备两个合理的干扰项所需的时间比准备三个干扰项所需的时间要少。这意味着出题者的效率提高了。
单位时间内可以安排更多三选一的题目。这意味着可以在评估中安排更多题目,提高内容覆盖率。
具有四个或更多选项的问题可能会向学生揭示内容的其他方面,潜在地为其他问题提供线索,特别是当所有干扰项都是合理的时候。
如果你想深入研究这个话题,还有很多其他研究人员也同意这一观点,比如:
Vyas, R. (2008):“我们的文献回顾表明,具有 3 个选项的 MCQ [多项选择题] 提供的测试质量与具有 4 个或 5 个选项的 MCQ 类似。我们建议应优先选择具有 3 个选项的 MCQ。”
Schneid SD 等人 (2014):“这项研究的结果向健康职业教育者提供了一个谨慎的迹象,即使用三选项 MCQ 不会威胁有效性,并且可以通过在固定的测试时间内测试额外的 MCQ 来增强有效性,而不会对测试分数的可靠性产生不利影响。”
Haladyna TM 等人(2019 年): “越来越多的证据表明,应采用更多三选项多项选择题。从理论分析、实证结果和实际考虑来看,此类题的质量与四选项或五选项题相当或更高,可以采用更多题型来提高内容覆盖率。”