Multiple Choice Question (Kprim Answers) - Allow up to 6 Answers

If you need any help in filling out this wiki page, please visit our ILIAS Community FAQ.

1 Initial Problem

The possibility to configure up  to six answer options is possible in the ItemManagementSystem of UCAN (https://www.ucan-assess.org/cms/de/). These six options are exported, and can also be imported by Ilias. However, it is not possible to evaluate more than 4 options. In the context of the summative evaluation. this is an important feature for the interoperability of the systems.

2 Conceptual Summary

The import and evaluation of up to six answer options has to be assured.  Additionally the user inteface allows to configute up to six  "Answer Text / Answer Image"

3 User Interface Modifications

3.1 List of Affected Views

Test -> Edit Questions

3.2 User Interface Details

{For each of these views please list all user interface elements that should be modified, added or removed. Please provide the textual appearance of the UI elements and their interactive behaviour.}

3.3 New User Interface Concepts

{If the proposal introduces any completely new user interface elements, you might consult UI Kitchen Sink in order to find the necessary information to propose new UI-Concepts. Note that any maintainer might gladly assist you with this.}

4 Technical Information

{The maintainer has to provide necessary technical information, e.g. dependencies on other ILIAS components, necessary modifications in general services/architecture, potential security or performance issues.}

5 Contact

• Author of the Request: Rabah, Rachid [rabah]
• Maintainer: Heyser, Björn [bheyser]
• Implementation of the feature is done by: {The maintainer must add the name of the implementing developer.}

6 Funding

If you are interest in funding this feature, please add your name and institution to this list.

• Uni Bonn

7 Discussion

Klehr, Martin [mklehr], 22.5.2019: We (Uni Marburg) support this idea! It should also be possible to use further evaluation methods which are also available in IMS-m: 1. Fully correct, 2. half-point-scoring with one wrong answer, 3. half point-scoring with more than 50 % answered correctly, 4. points per correct partial answer (1. and 2. are already implemented in ILIAS.)

Lauener, Hansjörg [lauener], 18.6.2019.: There is a reason why we just implemented a K-Prim-question with just 4 answers. I already discussed a 5 or 6-answer Kprim-question with the med e-assessment team at our universitiy. Here are my questions and the answers (in German)

Allgemein für MC:
Bei der Gruppe der Richtig/Falsch-Typen müssen die Kandidaten für jede einzelne Antwort oder Aussage eine Ja/Nein-Entscheidung treffen. Es sind deshalb nur Antworten tauglich, bei denen dies eindeutig möglich ist. Richtig/Falsch-Typen bergen damit die Gefahr, reines Faktenwissen zu prüfen. (R. Krebs, MC-Anleitung, 2004)


Q: Gemäss euren Unterlagen muss beim Kprim-Typ für 4 Aussagen entschieden werden, ob sie richtig oder falsch ist. Und bei 4 Richtigen gibt es 1 Punkt, und bei 3 Richtigen einen 1/2 Punkt.

A: Wer sich tatsächlich als "Erfinder" des Typs Kprim rühmen darf, konnte ich hingegen nicht eindeutig herausfinden. Die Halbpunktbewertung, die wir anwenden, wurde zwar von unserem Institut vorgeschlagen und durch inhouse-Untersuchungen unterstützt. Ob dies jedoch jemand anderes auf der Welt nicht gleichzeitig oder gar früher auch schon gemacht hat, bleibt unklar.

Q: Darf eine Frage mit 5 oder 6 Aussagen immer noch Kprim-Typ genannt werden - oder heisst Kprim in jedem Fall 4 Aussagen?


A1: Bevor neue Fragetypen (Mehrfachentscheidung richtig/falsch mit mehr als 4 Aussagen) angedacht oder angeboten werden, sollten wir vielleicht gemeinsam die Konsequenzen besprechen, um uns nicht selber "ein Ei" zu legen. Denn falls einzelne Prüfungsverantwortliche Gefallen an diesem neuen Typ finden und ihn in ihren Prüfungen einsetzen wollen, die vielleicht bei uns in der [xy] erstellt und ausgewertet werden, müssten wir einerseits unser Knowhow ausweiten, um die Verantwortlichen und Autoren weiterhin gut betreuen zu können.
Dann tendieren wir aktuell eher darauf, sich in Prüfungen auf wenige, bewährte Fragetypen zu konzentrieren, um diese in einer hohen Qualität anzubieten. Jeder Fragetyp hat seine Eigenheiten, die beim Erstellen und Auswerten berücksichtigt werden müssen. Schon für die aktuell wichtigsten beiden Typen A und K' müssen wir die Fragenautoren und Prüfungsverantwortlichen immer wieder schulen und beraten, damit die Fragen schlussendlich den Qualitätsanforderungen und den neuerdings immer wichtiger werdenden juristischen Anforderungen genügen können. Eine grössere Typenvielfalt hätte hier ebenfalls grosse Auswirkungen.

A2: Fragen des Typs "mehrfache richtig/falsch Entscheidung" mit 5 oder 6 Antworten sind keine Kprim-Fragen mehr, sondern müssten als Kprim-plus oder ähnlich neu klassiert werden.

Q: Wenn nichts gegen 5 oder 6 mögliche Aussagen spricht, was wären die Bedingungen für die Punktevergabe.


A: Ab wann wie viele Punkte zu vergeben sind, sollte empirisch mit mehreren Varianten berechnet werden. Die Variante, welche die höchste Trennschärfe liefert oder am meisten zur Reliabilität beiträgt, sollte gewählt werden. Bei einer 6-Antwortfrage könnte z.B. ab 3 korrekten Antworten ein halber, ab 4 ein ganzer, ab 5 eineinhalb und ab 6 zwei Punkte vergeben werden. Weniger korrekte Antworten sollten der Messzuverlässigkeit zuliebe nicht honoriert werden (Ratewahrscheinlichkeit, Messfehler etc.). Anstelle einer neuen "grossen" Kprim-Variante könnte aber z.B. der Fragetyp PickN gewählt werden, der in der Literatur bereits beschrieben ist.

Q: Wenn ich dies mit einer äquidistanten Punkteverteilung auf mehr als 4 Aussagen hochrechne (mit der Annahme, dass nur wenn mehr als die Hälfte der Antworten richtig beantwortet werden, Punkte vergeben werden), dann müssten aber Zehntel-Punkte vergeben werden. (ohne Negativpunkte)

4       1.00
3       0.50
2       0.00
1       -0.50
0       -1.00 bzw. 0
5       1.00
4       0.60
3       0.20
2       -0.20 bzw. 0
1       -0.60 bzw. 0
0       -1.00 bzw 0

6       1.00
5       0.67
4       0.33
3       0.00
(2      -0.33 bzw. 0
1       -0.67 bzw 0
0      -1.00 bzw 0

A: Bei "Kprim-plus" auf Zehntel zu gehen, ist natürlich eine Möglichkeit. Bevor ich das anbieten/empfehlen würde, würde ich allerdings diese Idee einer ganz genauen Prüfung unterziehen in Bezug auf Trennschärfe, Reliabilität, mögliche Auswirkungen auf das Lernverhalten, Ratewahrscheinlichkeit etc.

Lauener, Hansjörg [lauener], 18.6.2019: If you`d like to add the interoperability-update, then I strongly suggest:
- If users adds a new Kprim-question, then the default-type is K-Prim with 4 answers.
- The users does have the possibility to change from Kprim to Kprim-Plus, eg. by clicking a radio-button. Then he/she can add one or two additional answer(s)

8 Implementation

{The maintainer has to give a description of the final implementation and add screenshots if possible.}

Test Cases

Test cases completed at {date} by {user}

• {Test case number linked to Testrail} : {test case title}

Approval

Approved at {date} by {user}.