Show Advanced KnowledgeHide Advanced Knowledge

Revision of MCQ: Alternative points specification for multiple choice question

1 Description & Requirements

Stefan Schneider, 12.03.2013: Ich werde es auf deutsch verfassen, da ich Mißverständnisse bei dem komplexen Sachverhalt vermeiden möchte und die GUI Screenshots auch auf Deutsch sind.
Wir haben uns in Bern, Marburg und Gießen intensiv mit der Thematik befasst und sind zu folgendem Ergebnis gekommen:
 

1. Bei dem Konzept der Gesamtpunkzahl (GP) ist nur eine Richtig-Falsch Vergabe für Antwort-Optionen (RF) möglich und ggfs. auf eine Nutzer-Anforderung hin eine schreibgeschützte Ansicht der automatisch vergebenen Punkteverteilung (nur sinnvoll bei ATP und AT):
   • Volle Punktzahl (VP) bei vollständig richtig gelöstem Antwort-Verhalten (Alles-oder-Nichts), keine Teilpunkte. Das sollte die Standardeinstellung sein, da dies rechtlich und wissensdiagnostisch am unproblematischsten ist.
   • Halbe Punktzahl (HP) bei einem Fehler wie bei k-Prim
   • Automatische Teilpunkte mit Punktabzug (ATP): Beispiel: Bei einer Gesamtpunktzahl von 2 und 4 Antwort-Optionen werden 0.5 Punkte für jede richtige und -0.5 Punkte für jede falsche Beantwortung pro Antwort-Option vergeben. Der Autor kann sich die Teilpunkte-Verteilung auf Wunsch anschauen ansonsten wird die Verteilung beim Abspeichern der Frage automatisch vorgenommen. Ändert der Autor die Gesamtpunktzahl, die Anzahl der Antwort-Optionen oder die RF-Vergabe wird die Vorschau dirty und muss neu berechnet werden.
   • Teilpunkte ohne Punktabzug (AT): Es gibt wie bei ATP- Punkte für Richtig Angekreuzte und für Richtig Ausgelassene Optionen, aber keinen Punktabzug bei falschen Antworten. Trotz wissendiagnostischen Bedenken wird diese Art von Bepunktung offensichtlich von einigen Autoren gewünscht. Hier sollte ein Hinweis erfolgen, dass vollständig angekreuzte Fragen immer auch zu einer Punkte-Vergabe führen (macht vielleicht in Self-Assessment Szenarien mehr Sinn?)
2. Die Manuelle Teilpunkte-Vergabe (MTP) entspricht dem Konzept wie es zur Zeit bei MC-Fragen in ILIAS umgesetzt ist. Der Autor kann flexibel positive wie nagative Punkte verteilen und die maximale Gesamtpunkzahl errechnet sich immer aus den ereichbaren Teilpunkten.

Der Autor muss zu Anfang entscheiden, ob er GP oder MTP mit Automatischer Vergabe nutzen möchte. Er sollte auf die Gefahren und darauf dass für die Mehrzahl der wissensdiagnostischen Szenarien die GP-Verfahren ausreichen hingwiesen werden. Das Konzept der Gesamtpunktzahl (GP) für alle Auswahlfragen sollte im Fokus sein, da eine Bepunktung pro Antwort-Option wie schon im T&A Workshop besprochen die Gefahr einer unbeabsichtigten Gewichtung der Frage birgt.
Die Manuelle Teilpunktevergabe (MTP), bei der auch wissensdiagnostisch wenig sinnvolle Kombinationen möglich sind, soll nur über eine bewusste Entscheidung des Autors möglich gemacht werden. Der Autor muss bei solchen manuellen Vergaben Best-Practise Beispiele bekommen und auf die Gefahren hingewiesen werden. Die MTP macht nur dann Sinn, wenn der Autor eine ungleiche Punkteverteilunginnerhalb einer Frage plant oder ihm die angebotenen automatischen Vergaben bei dem GP-Verfahren nicht ausreichen.

2 Additional Information

• Idea / concept: Stefan Schneider
• Funding: Partially by Justus-Liebig-Universität Gießen
• Maintainer: Björn Heyser
• Development: Feature is to be developed by Databay AG
• Testcases / tested by:

3 Discussion

Stefan Schneider 26.04.2013:
Unklar ist leider immer noch was wir mit den sich u.U. ergebenden periodischen Punktezahlen 3.33333 machen. Es gibt aus meiner Sicht 2 Möglichkeiten:
1. man lässt diese nicht zu und der Autor muss:

a) die Gesamtpunktzahl anpassen
b) die Anzahl der Antwortoptionen anpassen

Beides finde ich suboptimal da es bei a) wieder zu einer impliziten Gewichtung eine Frage innerhalb der Gesamtklausur kommen kann und bei b) der Autor nicht unabhängig von der Punktzahl seine Frage inhaltlich gestalten kann.

2. man führt in der Datenbank die Teilpunkte hinreichend genau und rundet erst bei der Berechnung der Gesamtpunktzahl auf zwei Kommazahlen genau.

Das Problem haben wir ja auch wenn sich 1 Punkt z.B. viertelt, also  am Ende 19,25 oder 19,5 oder 19,75 herauskommt und die Bestehensgrenze 20 ist. Auch da werden wir normalerweise sagen: Bestehensgrenze nicht erreicht. Es darf aus meiner Sicht halt nicht eine 19,99 herauskommen sondern nur eine 20, wenn jemand 3x eine 0.33333 gesammelt hat... keine Ahnung ob das realisierbar ist.

Frank Waldschmidt-Dietz 26.04.2013:
ich tendiere nach wie vor zur etwas rigoroseren Variante 1 - aus folgenden Gründen:
 
1. Die Probleme der periodischen (oder z.B. bei der 7 auch anderweitiger) Zahlen tauchen m.E. bei ohnehin nur bei suboptimal konstruierten Fragen auf - drei Antwortmöglichkeiten dürften wohl häufig unter einem zu geringen Schwierigkeitsgrad und geringer Trennschärfe leiden. Die wohl meist verwendeten vier und fünf sind hingegen völlig unkritisch. Richtig "böse" im einstelligen Bereich ist natürlich die sieben, da sind nicht einmal Perioden in Sicht. (Das zugehörige Raster der automatischen Teilpunktzahlen bei 1-10 Gesamtpunkten bei jeweils 1-10 Antwortmöglichkeiten habe ich noch einmal in den Anhang gelegt für diejenigen, die es noch nicht kennen bzw. bei denen es in der Mail gestern zerlegt wurde.)
 
2. Eine Fehlermeldung führt zum Nachdenken über die Fragenkonstruktion - da könnte man dann z.B. auch einmal einen Hinweis auf die sehr nützlichen MC-Dokumente aus Bern geben.
 
3. In der aktuellen ILIAS-Fassung sind solche Konstruktionen derzeit m.W. auch nicht sinnvoll einzugeben.
 
4. Ein Ausweichen auf die manuelle Bewertung bleibt allen Nutzern unbenommen, die es etwas komplizierter und individueller mögen.
 

BH 12 May 2014: To complete the organisational wiki workflow I highly appriciate this feature and move it into the list of feature with "discussion required", since this complex feature is still in work.

BH 30 May 2014: This feature request subtends the request for Right and Wrong Instead of Points

Kergomard, Stephan [skergomard], 2022-03-29: We close this FR as part of the effort to clean up T&A feature requests of the working group "Splitting-Up T&A". Don't hesitate to reopen it, if you plan to work on this.

4 Implementation

...