Show Advanced KnowledgeHide Advanced Knowledge

Multiple correction iterations

1 Initial Problem

Passing exams has a large impact on continuing one's way at university. Thats why every exam has to run through an unbiased and independent correction by multiple correctors (for exemplary information please google "Zwei-Prüfer-Prinzip" or have a look at "Sächsisches Hochschulgesetz, §35 Art 7" and corresponding regulations in every other country in germany and some other states). Root for this regulation in germany is "Grundgesetz Art. 12 - Berufsfreiheit" which is limited when an exam is failed and a student is not allowed to continue his/her studies. So adding support for this feature in ILIAS becomes kind of implementing a constitutional right.

To enhance ILIAS as examination system we have to add a feature which supports multiple independent and unbiased corrections by different chosen persons.

2 Conceptual Summary

To ease creating the requirements, I will continue in german. If anyone needs an english translation, please contact me.

Die Anforderungen an diese Erweiterung der Testkorrektur umfassen: 

• Zufällige Zuweisung von Klausuren an Korrektoren
• Korrektur von während der Korrektur anonymisierten Klausuren
• Optional währen der Korrektur Kommentare hinterlegen
• Erneute und überschneidungsfreie Zuteilung von Klausuren an Korrektoren
• Schlichtungskorrektur bei hoher Abweichung zwischen 1. und 2. Korrektor

Einzelheiten der Funktionen werden nachfolgend erläutert. Grundlage ist das System ElateXam, welches an der Universität Leipzig bis 2012 genutzt wurde.

Zuweisung von Korrektoren

• Liegt ein Test in einer Gruppe oder einem Kurs, sollen Kurs-/Gruppenadministratoren und Kurstutoren als Korrektoren zugeordnet werden können. Liegt ein Test ausserhalb von Objekten mit derartigen Rollenabstufungen (z.B. direkt in einer Kategorie) sollen Korrektoren vom Besitzer des Testobjekts (oder Nutzer mit weitreichenderen Rechten) über die Nutzersuche gewählt werden können.
• Jeder für einen bestimmten Korrekturdurchlauf ausgewählte Korrektor erhält für den Zuteilungsdurchlauf eine echte Teilmenge der zu korrigierenden Tests und niemals auch über mehrere Korrekturdurchläufe hinweg eine Klausur 2x. D.h. bei 3 Durchläufen werden mindestens 3 Korrektoren benötigt.
• Ist eine bestimmte Klausur einem Korrektor zugeteilt, kann sie keiner weiteren Person gleichzeitig zugeteilt werden. Die Zuteilung wird aufgehoben, sobald ein Korrektor die Klausur als bewertet markiert oder der Zuteilende die Zuordnung aufhebt.
• Korrektoren sollen die Möglichkeit haben, im Falle einer nicht durchgeführten Sammelzuordnung oder der Zuteilungsrücknahme eines Korrektors, nach eigener Arbeitskapazität Klausuren zufällig "zu ziehen" und zu korrigieren. Ein Korrektor kann dies beliebig oft tun (maximal bis alle Klausuren 1x von ihm korrigiert wurden). Ein Korrektor darf eine Klausur nicht 2x korrigieren.
• Die Zuweisung/Zuteilung von Korrektoren wird pro Klausur chronologisch gespeichert und die einzelnen Korrekturergebnisse gesichert.
• Eine Klausur kann bis zu 3 (beliebig viele sinnvoll?) Korrekturdurchläufe erhalten. Ein neuer Korrekturdurchlauf kann in der Zuteilungsansicht/Korrekturkonfiguration gestartet werden. Dies ist immer dann möglich, wenn es entweder der erste Durchlauf ist oder alle Klausuren des letzten Durchlaufes korrigiert wurden.
• Im Falle eines 3. Korrekturdurchlaufes sollen nur noch die Klausuren zur Korrektur zuteilbar sein, bei denen sich mindestens die Bewertungen einer Frage um X-Prozent zwischen den Korrektoren unterscheiden (X-Prozentsatz definierbar in Zuteilungsansicht/Korrektureinstellungen, default 25% => Beispiel: Frage bietet 10 Punkte, Korrektor 1 = 5 Punkte, Korrektor 2 = 8 Punkte -> Abweichung von 30% vom Maximalwert => 3. Korrektur nötig). Diese Klausuren sollen in der Liste der Klausuren optisch hervorgehoben werden.

Option
Eine Beschränkung auf Kurs-/Gruppenadministratoren und Kurstutoren ist nicht zwingend. Prinzipiell könnten auch in Kursen/Gruppen normale Nutzer zur Korrektur zugeordnet werden, um die Verwendbarkeit des Features über die bloße Klausurkorrektur zu erweitern. Diese Funktion darf gern diskutiert werden.

Option
Ob diese Zuteilung nicht nur auf Test- sondern auch auf Fragenebene (und test parts/question groups?) durchgeführt werden können sollte, darf gern diskutiert werden.

Option 
Nach der Zuordnung kann in dieser Ansicht eingesehen werden, wer welche Anzahl von Korrekturen zugewiesen bekommen hat und wieviele davon bereits korrigiert wurden. Damit soll der jeweilige Korrekturfortschritt der Gruppe kontrolliert werden können.

Korrektur von Klausuren

• Der zugewiesene Korrektor kann über eine Liste auf die ihm zugeordneten Tests zugreifen. Er kann einsehen, wem die Tests bereits zuvor zugewiesen waren.
• Weiterhin sollen vom aktuellen Korrektor bereits korrigierte Tests in eine separate Liste einsortiert werden, was die Unterscheidung vereinfachen und den Fortschritt visualisieren soll.
• Der Korrektor soll die Möglichkeit haben, seine Zuordnung ohne Korrektur wieder aufzuheben. Die Klausur ist damit für den Korrekturdurchlauf wieder neu zuordenbar, was im Bereich "Zuweisung von Korrekturen" angezeigt wird. Die frei gewordenen Klausuren können von anderen Korrektoren nach dem Zufallsprinzip "gezogen" werden. Eine neuerliche Zuordnung der Klausur soll nicht den nun befreiten Korrektor treffen.
• Ein Korrektor kann einen Kommentar pro Aufgabe hinterlassen (z.B. für die Punktezuteilung zu Aussagen bei Freitextaufgaben), der für nachfolgende Korrektoren einsehbar ist.
• Für die Korrektur werden jene Fragetypen angezeigt, die für die manuelle Korrektur im T&A-Adminbereich freigegeben sind.

Erneute und überschneidungsfreie Zuteilung von Korrektoren
Wurden alle Klausuren des Durchlaufs korrigiert, können sie wie in "Zuweisung von Korrektoren" beschrieben erneut verteilt werden.

Festsetzung der Ergebnisse der Korrekturdurchläufe
Bei nur einem Durchgang ist das Ergebnis des 1. Korrektors final.

Bei zwei Korrekturduchgängen ist (Option für die Zuteilungsansicht/Korrektureinstellungen, nach Beginn der Korrekturen nicht mehr änderbar(?))

• der Mittelwert
• das niedrigere Ergebnis von beiden
• das höhere Ergebnis von beiden (default)

festzuschreiben.

Bei drei Korrekturdurchgängen ist die Bewertung des Drittkorrektors zu nutzen, die sich aber nur zwischen den Bewertungen von 1. und 2. Korrektur bewegen darf.

Dokumentation/PDF

Nach Abschluss einer Korrektur soll für die jeweilige Klausur eine für die Einsicht nutzbare PDF (ad hoc bei Download-Anfrage) generiert werden, die über die Korrekturansicht (und ggfs. gesammelt über das Testarchiv via Testexport?) heruntergeladen werden kann. Die PDF soll die Bewertungen der Korrektoren sowie deren Kommentare beinhalten. Die Kommentarfreie und nur das Endergebnis berücksichtigende PDF wird bereits an anderer Stelle in ILIAS geboten.

3 User Interface Modifications

3.1 List of Affected Views

3.2 User Interface Details

3.3 New User Interface Concepts

4 Technical Information

5 Contact

• Idea / concept:  Jobst, Christoph [cjobst] (University Leipzig)
• Maintainer: (will be set by Jour Fixe / maintainer)
• Implementation of the feature is done by (will be set by Jour Fixe / maintainer)

6 Funding

If you are interest in funding this feature, please add your name and institution to this list.

• University Leipzig

7 Discussion

8 Implementation

{please give a description of the final implementation and add screenshots if possible}

Test Cases

Test cases completed at {date} by {user}

• {Test case number linked to Testrail} : {test case title}

Approval

Approved at {date} by {user}.