Feature Wiki

Information about planned and released features

Tabs

Remove Corrections tab

Page Overview

[Hide]

1 Reasons to Abandon Feature

Unless Reduce Functionality in »Corrections«-tab is implemented the feature continues to pose a threat to data integrity. This ist unacceptable: The value offered by this feature is far outweighed by the risks that come along with it. Universities have quit ILIAS because of this feature going rogue. 

2 Conceptional Issues

Konzeptionelle Mängel im Nachkorrektur Tab

Aktuell scheinen alle Fragetypen die Bearbeitung aller sogenannten „Antwort spezifischen“ Einstellungen der Frage zu zulassen. Diese sind die Einstellungen, die sich je Fragetyp unterscheiden und sich nicht auf die ganze Frage sondern Teile der (vorgegebenen) Antworten beziehen.

Die Eigenschaften der Frage, welche bei allen Fragetypen gleich sind, sind generell nicht editierbar, was auch tatsächlich nicht gewünscht ist (Titel, Owner, Bearbeitungszeit, Fragestellung).

  1. Single Choice
    1. Antwort Optionen können ergänzt/reduziert werden
    2. Texte und Bilder der Antwort Optionen können verändert werden
    3. Single-/Multi-Line kann umgeschaltet werden
    4. Antwort Shuffling kann ein/aus geschaltet werden (tbd)
    5. Thumbnail Größe kann verändert werden
    6. Lediglich die Punkte je Antwort Option dürfen veränderbar bleiben
  2. Multiple Choice
    1. Antwort Optionen können ergänzt/reduziert werden
    2. Limitierung auf Anzahl auswählbarer Antworten kann verändert werden
    3. Texte und Bilder der Antwort Optionen können verändert werden
    4. Single-/Multi-Line kann umgeschaltet werden
    5. Antwort Shuffling kann ein/aus geschaltet werden (tbd)
    6. Thumbnail Größe kann verändert werden
    7. Lediglich die Punkte je Antwort Option dürfen veränderbar bleiben
  3. Kprim Choice
    1. Label für die Bezeichnung von Richtig und Falsch sinf veränderbar
    2. Antwort Optionen können nach oben/unten verschoben werden (Antwort Index!!)
    3. Texte und Bilder der Antwort Optionen können verändert werden
    4. Single-/Multi-Line kann umgeschaltet werden
    5. Antwort Shuffling kann ein/aus geschaltet werden (tbd)
    6. Thumbnail Größe kann verändert werden
    7. Die Punkte für die Frage dürfen veränderbar bleiben
    8. Die Option zur Teilpunktebewertung darf ein-/ausschaltbar verbleiben
    9. Der Richig/Falsch Status je Antwort Option darf veränderbar bleiben
  4. Error Text Question
    1. Error Text kann in Gänze verändert werden
      1. Fehlerworte im Error Text sind veränderbar (tbd)
      2. Sinn des Textes ist veränderbar
    2. Text Größe für die Darstellung ist veränderbar
    3. Aus dem Error Text stammende Fehlerworte sind veränderbar
      1. Fehlerworte sind textuell veränderbar
      2. Richtige Ersatz Wörter sind veränderbar (tbd)
      3. Punkte je Fehlerwort sind veränderbar
    4. Strafpunkte für die Auswahl von Nicht-Fehlerworten ist veränderbar
  5. Imagemap Question
    1. Single/Multiple Choice Modus kann verändert werden
    2. Das Bild der Image Map kann ausgetauscht werden
    3. Eine Image Map Regions Daten Datei kann importiert werden
    4. Regionen können ergänzt und reduziert werden
    5. Die Titel der definierten Regionen können verändert werden
    6. Lediglich die Bepunktung der Regionen darf veränderbar bleiben
  6. Cloze Test Question
    1. Lückentext ist in Gänze veränderbar
      1. Sinn des Textes ist veränderbar
      2. Lücken sind veränderbar/ergänzbar/reduzierbar
    2. Allgemeine Lückenfeld Länge ist veränderbar
    3. Lücken sind einzeln veränderbare
      1. Typ der Lücke (Text/Select/Numeric) kann geändert werden
      2. Lücken individuelle Längenbeschränkung kann geändert werden
      3. Für Select Lücken …
        1. Antwort Shuffling kann ein-/ausgeschaltet werden werden
        2. können die Antwort Optionen ergänzt und reduziert werden
        3. können die Anworten textuell verändert werden
        4. können die Punkte je Antwort verändert werden
      4. Für Text Lücken …
        1. können die Antwort Optionen ergänzt und reduziert werden
        2. können die Anworten textuell verändert werden
        3. können die Punkte je Antwort verändert werden
      5. Für Nummerische Lücken …
        1. kann der Value und der Lower/Upper Bound verändert werden
        2. können die Punkte für die Lücke verändert werden
    4. Existierende Gap Combinations können verändert aber nicht ergänzt/reduziert werden
      1. Die beteiligten Lücken können ausgetauscht werden
      2. Antwort Kombinationen für beteiligte Lücken können ergänzt/reduziert werden
    5. Identical Scoring kann ein-/ausgeschaltet werden
    6. Antwort Vergleichs Modus (Großschreibung ja/nein, Levenshtein) ist veränderbar
  7. Numeric Question
    1. Längenbeschränkung für das Eingabefeld ist veränderbar
    2. Punkte können und dürfen verändert werden
    3. Lower/Upper Bound kann und darf verändert werden
  8. Formula Question
    1. Diese Frage wird aktuell nicht untertstützt
    2. Eine Unterstützung ist denkbar muss aber konzeptioniert werden
  9. Text Subset Question
    1. Anzahl der geforderten Antworten ist veränderbar
    2. Text Vergleichs Modus ist veränderbar und darf es auch bleiben
    3. Antworten können ergänzt/reduziert und verändert werden
    4. Punkte je Antwort sind veränderbar
  10. Ordering Question (Vozeigefragetyp)
    1. Dieser Fragetyp wurde bereits aufwändig überarbeitet
      1. Technische ID Probleme wurden bereits behoben
    2. Minimum Height ist veränderbar
    3. Thumbnail Größe ist veränderbar
    4. Punkte sind veränderbar und dürfen es bleiben
    5. Lediglich die Anordnung kann verändert werden
    6. Einrückung kann nur verändert werden, wenn initial eingeschaltet
    7. Inhalte der Elemente können nicht verändert werden
  11. Horizontal Ordering
    1. Der Anordnungs Text kann verändert werden
    2. Textdarstellungsgröße kann verändert werden
    3. Punkte können und dürfen verändert werden
  12. Matching Question
    1. Term/Definitions Shuffling kann verändert werden
    2. Thumbnail Größe kann verändert werden
    3. Matching Modus (1:1, n:n) kann verändert werden
    4. Terme und Definitionen können beliebig ergänzt/reduziert/verändert werden
    5. Matching Paare können und dürfen ergänzt/reduziert/verändert werden
    6. Punkte je Matching Paar können verändert werden
  13. Essay Question
    1. Vorgabe für Anzahl Zeichen kann verändert werden
    2. Textvergleichsmethode kann und darf verändert werden
    3. Bewertungsmodus kann und darf verändert werden
    4. Keywords der automatischen Bewertung können verändert werden
    5. Bepunktung für Keywords kann und darf verändert werden
  14. File Upload Question
    1. Limit für Upload Größe kann verändert werden
    2. File Extension Whitelist kann verändert werden
    3. Punkte können und dürfen verändert werden
    4. Bewertung durch Upload kann und darf ein-/ausgeschaltet werden
  15. Longmenu Question
    1. Longmenu Text ist gänzlich veränderbare
      1. Lücken sind ergänz/reduzierbar
    2. Autocomplete Mindest Anzahl Buchstaben ist veränderbar
    3. Modus der Lücken (Text, Select) ist veränderbar
    4. Vorgegebene Antwortenliste je Lücke ist veränderbar/reduzierbar/ergänzbar
    5. Richtige Antworten je Lücke sind ergänzbar/reduzierbar
    6. Punkte je Lücke sind veränderbar
  16. JavaApplet Question
    1. Diese Frage wird aktuell nicht untertstützt
    2. Der Fragetyp soll abgeschafft werden
  17. FlashApplet Question
    1. Diese Frage wird aktuell nicht untertstützt
    2. Der Fragetyp soll abgeschafft werden
Weiteres

Die Nachkorrektur bietet keine Möglichkeit eine Frage aus dem Test zu entfernen. In der Praxis scheint dies eine enorm wichtiger Bedarf zu sein. Diese Funktion sollte zur Abrundung der Gesamtkonzeption ergänzt werden.

3 Technical Information

Several issues exist with the implementation of the corrections functionality that destroys existing participants solutions and test results data when it is used for the desired purpose of changing questions after the test has been taken by participants.

A complete investigatoin on every question type is to be done, checking for the consistency of recalculated result data.

Reported Bugs:

4 Contact

5 Funding

Removing the feature from the ILIAS code base might need funding. If you are interest in funding this request, please add your name and institution to this list.

  • ...

6 Discussion

Use the following discussion section to express your objections against this request or your consent to get rid of this feature.

Glaubitz, Marko [mglaubitz], 07 JUN 2018: I think we should discuss this issue on a broader base and with the whole community. The common procedure for getting new features into ILIAS is having a community discussion and workshsops. I suggest procatively involving the community in the form of a workshop in order to avoid bad surprises for many institutions.

With repect to our uni, I know that some peolple use and like this feature.

Gerl , Stefanie [stefanie.gerl], 12 JUN 2018: I support Marko's suggestion to hold a workshop on the topic, as the tool is used by some universities (as the ILIAS Süd meeting last week showed).  We use the tool ourselves only to a limited extent due to its shortcomings.  But the tool has a lot of potential, which cannot be used sufficiently yet.  Therefore, we should discuss within the community how we can improve it and where changes are imperative to provide a reliable service.

Jackisch, Ingo [jackisch] Despite of all conceptual issues this feature adresses a need: Even experienced Authors have an issuse with their questions once in a while. This ranges from typos in answers (or question Texts) which may lead to misinterpretions of the question to wrong points for some answers. So fixing the bugs and conceptional ssues in the postcorrection seams imho a better way to adress the current problems then abandoning the feature.
In my special case we have tests running for about 9 to 10 months, and every yare we deiscover a small nuber of errors. fixing those through direct database access seems to me even more dangerous.
Aditionally a solution that allows to deavtivate or delete a question from a running test (as adressed here and described in another featurewiki https://www.ilias.de/docu/goto_docu_wiki_wpage_4909_1357.html  entry) is highly desired by DHBW.

Loewe, Anja [aloewe], 2018-06-04:
I agree with Marko, Steffi and Ingo. In our institution, the correction mode is an important component to evaluate open cloze answers. It should not be removed without alternatives. 

Neumann, Fred [fneumann], 14 JUN 2018:
We have to clearly distinct two cases:

  • The post-correction of an E-Exam. Here it is important that nothing can be changed which has been presented to the participants. This requirement can only be addressed by Reduce Functionality in »Corrections«-tab. This requires a complete refactoring of the correction mode, at best with a dedicated GUI instead of reusing the standard question editing forms in a special mode.
  • Ingos reqirement of correcting questions in a long-running self-assessment. This should be treated in a separate feature request and may be related to Updating questions in running Random Tests. It requires that existing student answers of the changed question are deleted. In such a case all editing possibilities (e.g. the standard editing form of a question) can be offered.
There may be also be a compromise that avoids removing the corrections tab completely if the is no complete funding for the reduction of functionality:
  • Offer the tab to the global administrator only
  • Provide a "CAUTION" message for each question type that explains what is allowed to be changed.

Rabah, Rachid [rabah], 16 JUN 2018: I think Marko's suggestion to hold a workshop on the topic is a great idea. The issues with this mode are broad and the re-conception needs a consensus.

Martin Klehr [mklehr]: 2018-06-18 We in Marburg like the idea of a workshop to prepare the re-factoring because post-correction is essential for our e-exams.

Lauener, Hansjörg [lauener]. 2018-06-18. I just saw that there will be a 2hour virtual workshop.
See datacollection:
https://www.ilias.de/docu/goto_docu_dcl_5341.html

Kunkel, Matthias [mkunkel], 09 OCT 2018 : This feature request is outdated. We got the necessary funding to Reduce Functionality in »Corrections«-tab and to get rid of the 'bad code' in this implementation. Metadata for this request has been changed accordingly.

Last edited: 9. Oct 2018, 14:00, Kunkel, Matthias [mkunkel]