ILIAS-Blog
Neuigkeiten und Hintergründe zu ILIAS - dem Open Source LMS
Multiple Choice Fragentyp „Kprim“ in ILIAS integriert
Undisclosed - 18. Dec 2014, 14:01
Gemäß der historischen Klassifizierung für Multiple Choice-Fragen des amerikanischen National Board of Medical Examiners werden 10 Varianten von Multiple Choice Fragen unterschieden. Mit der ILIAS Version 5.0 steht im ILIAS Test&Assessment nun der Fragentyp „KPRIM“ zur Verfügung. Finanziert wurde die Entwicklung des Fragentyps und dessen Integration in den ILIAS-Standard durch drei im ILIAS open source Projekt aktive Hochschulen, welche die Databay AG mit der Umsetzung beauftragten. Hierfür danken wir an dieser Stelle der Universität Bern, der Justus-Liebig Universität Gießen und der Universität zu Köln.
Die Kprim Choice Frage
Die Kprim Choice Frage ist eine spezielle Multiple Choice Frage und gehört zu den drei testtheoretisch am besten ausgewerteten MC-Fragetypen. Die Kprim Choice Frage zeichnet sich durch ihren Aufbau und ihre festgelegten Wahlmöglichkeiten aus. Auf eine Frage folgen genau vier Aussagen, für die es jeweils genau zwei Auswahlmöglichkeiten gibt (richtig/falsch, adäquat/nicht adäquat, zutreffend/nicht zutreffend,…). Nur wenn alle Aussagen richtig bewertet wurden, erhält der Testteilnehmer die volle Punktzahl. Andernfalls wird die Frage mit null Punkten bewertet. Optional kann das Bewertungsschema dahingehend erweitert werden, dass bei drei richtigen Antworten des Testteilnehmers die halbe Punktzahl vergeben wird. Dies ermöglicht, insbesondere bei einem hohen Anforderungsniveau, eine differenziertere Bewertung der Teilnehmer. Kprim Fragen eignen sich besonders, wenn mehrere Antworten gleich bedeutsam sein können und/oder mehrere Antworten zu einer Lösung gehören. Dabei kann sowohl Faktenwissen als auch Anwendungswissen abgefragt werden. Dies möchten wir anhand zweier Beispiele verdeutlichen:
Während mit der ersten Frage Faktenwissen abgefragt wird, kann mit der zweiten Frage vorher angeeignetes Wissen auf einen Anwendungskontext übertragen werden.
Formulierung von Kprim Choice Fragen
Bei der Formulierung der Frage und den dazugehörigen Aussagen müssen mehrere Punkte beachtet werden:
- In der Frage ist offen zu lassen, wie viele der vier dazugehörigen Aussagen richtig sind.
- Die Frage ist positiv zu formulieren.
- Negationen in den Antworten sollten vermieden werden (Verwirrung durch doppelte Verneinungen vermeiden).
- Die Antworten müssen eindeutig richtig oder falsch sein.
- Die Antworten sollen immer alleine stehen (nicht zwei Aussagen in eine verpacken).
- Die Antworten müssen unabhängig voneinander sein.
- Vage Begriffe wie „häufig“ oder „gewöhnlich“ sind zu vermeiden, da diese nicht eindeutig beurteilt werden können.
- Es sollte eine Balance zwischen richtigen und falschen Antworten bestehen (Nutzer tippen bei Nicht-Wissen eher auf positive Antworten. Daher ist die Trennschärfe bei positiven Antworten schwächer als bei negativen. Die richtigen und falschen Aussagen sollten also ausbalanciert sein).
Vorteile von Kprim Choice Fragen
Wenn diese Vorgaben erfüllt sind, besitzen Kprim Fragen eine gute Trennschärfe, die durch die Vergabe der halben Punktzahl bei nur einer falschen Antwort sogar noch erhöht wird. Die Messzuverlässigkeit wurde in mehreren Untersuchungen bestätigt. Durch die fehlende Angabe der Anzahl richtiger Antworten und den voneinander unabhängigen Aussagen zu einer Frage ist die Ratewahrscheinlichkeit deutlich reduziert. Allerdings sind Kprim Fragen auch anfällig für Formulierungsfehler und es besteht die Gefahr, nur banales Faktenwissen abzufragen oder heterogene Aussagen zu einem breiten Thema zusammenzuwürfeln. Eine einzige, nicht-funktionierende Teilantwort kann die komplette Frage zu Fall bringen. Daher sollten Kprim Fragen sorgfältig formuliert und maßvoll eingesetzt werden.
Exkurs: Trennschärfe
Die Trennschärfe ist die Fähigkeit einer Frage bzw. eines Items, zwischen Nutzern mit guter und schlechter Leistung in der Gesamtprüfung zu unterscheiden. Die Berechnung der Trennschärfe geschieht mittels des Korrelationskoeffizienten R. Dieser beschreibt den korrelativen Zusammenhang zwischen der erreichten Punktzahl in einem Item und der Gesamtpunktzahl ohne das entsprechende Item. Die Trennschärfe sollte ≥ .10 betragen.
Die Trennschärfe ist die Fähigkeit einer Frage bzw. eines Items, zwischen Nutzern mit guter und schlechter Leistung in der Gesamtprüfung zu unterscheiden. Die Berechnung der Trennschärfe geschieht mittels des Korrelationskoeffizienten R. Dieser beschreibt den korrelativen Zusammenhang zwischen der erreichten Punktzahl in einem Item und der Gesamtpunktzahl ohne das entsprechende Item. Die Trennschärfe sollte ≥ .10 betragen.
Die Entwicklung des Fragetyps Kprim in ILIAS ist eine sinnvolle Ergänzung der bisherigen Multiple Choice Fragen und bietet gerade Universitäten und Fachhochschulen neue Variationsmöglichkeiten bei der Durchführung von Online-Prüfungen. Sofern die Vorgaben bei der Formulierung beachtet werden und der Einsatz dieses Fragetyps mit Bedacht erfolgt, bieten Kprim Fragen aufgrund der hohen Trennschärfe eine gute Möglichkeit, Fragen im E-Learning Bereich abzubilden, die mehrere gleich bedeutsame Antworten vorweisen.