ILIAS is an international project. Everyone participating in the community should have a chance to inform oneself about new developments. Therefore, the community agreed on using English in the Feature Wiki. Please take consideration of your community fellows.
1 Description
Bisher bietet ILIAS die Möglichkeit, einen Test mit einem fixen oder einem zufälligen Satz an Fragen zu definieren. In beiden Fällen ist die Durchführung, wie auch die Bewertung des Tests, durchgangsorientiert. Dies ermöglicht eine prüfungstypische Leistungsbemessung.
In Ergänzung dazu soll ein dritter Modus für den Test implementiert werden. Dieser soll ein Selbsttest-Szenario abbilden, welcher eine selbstgesteuerte Leistungsbemessung ermöglichen soll und im Folgenden erläutert wird.
Um den Nutzen genau zu definieren wird das Selbsttest-Feature hier zunächst aus den relevanten Nutzer-Perspektiven in seiner Bedienung beschrieben:
Perspektive Student: Ein Student kann zu bestimmten Fachthemen Lernfragen bearbeiten, die er inhaltlich selbstgesteuert, ort- und zeitunanbhängig bearbeitet, d.h. startet, unterbricht, fortsetzt und beendet. Die Lernfragen stammen aus jeweils einem umfangreichen Kategorie-Fragenpool, welcher thematisch und nach Schwierigkeitsgrad gegliedert vorliegt. Es existieren also in einer Kategorie mehrere thematische Fragenpools, die auf oberster Ebene eine redaktionelle Unterteilung bilden, über die hinaus eine thematische Fragenzusammenstellung nicht möglich ist. D.h. der Student entscheidet sich für die Bearbeitung eines Selbsttests, der einem Fragenpool zugehörig ist, durch Auswahl in der Magazin-Ansicht einer Kategorie. Der Student kann innerhalb dieses thematischen Fragenpools beliebig viele Frageninhalte aus. Die ausgewählten Fragenthemen werden in einer hierarchisch Struktur angeboten und schließen ggf. vorhandene Unterthemen ein. Weiterhin wählt der Student aus den angelegten Schwierigkeitsgraden diejenigen aus, die er zu bearbeiten wünscht, mindestens jedoch einen. Sodann kann die Bearbeitung der Testfragen erfolgen.
Die Reihenfolge der zu bearbeitenden Fragen wird durch die Fragensortierung in der jeweiligen Themen-Taxonomie festgelegt. Dies bedeutet, dass alle Fragen Teil einer Themen-Taxonomie und dort in ihrer Abfolge festgelegt werden. Je nach erfolgter Themen- und Schwierigkeitsgradselektion des Studenten werden aus der primär angelegten Gesamtreihenfolge Fragen ausgeschlossen.
Fragen, die durch den Studenten falsch beantwortet wurden oder die auf Wunsch des Studenten zurückgestellt werden, werden unabhängig von allen anderen Anordnungsmechanismen an das Ende des jeweiligen Selbsttest-Fragensatzes gesetzt.
Optional kann Der Student kann jedoch auch nur solche Fragen des Pools vorlegen lassen, die er "nicht vollständig richtig bearbeitet" hat.
Das Ende eines Selbsttests ist nur durch erklärten Willen des Studenten - d.h. Beginn eines neuen Durchlaufs, ggf. mit anderer Fragenselektion - möglich. Davon unberührt bleibt der Fall, dass die Fragensatz-Selektion komplett durchgearbeitet wurde. Sollte der vorausgewählte Fragensatz des Pools erschöpft sein, d.h. keine Fragen mehr in der Selektion des Studenten auftauchen, die nicht beantwortet, falsch beantwortet oder verschoben wurden, bleibt die Selbsttestkonfiguration "ruhend". Sollte der Student den Selbsttest abermals nutzen und in der Zwischenzeit dem Fragenpool neue, seiner thematischen Selektion zugehörige Fragen hinzugefügt worden sein, werden diese zur (insofern ja erstmaligen) Bearbeitung angezeigt.
Der Student hat jederzeit die Möglichkeit, seine Themenwahl zu verändern. Dem Studenten soll es möglich sein, durch die Steuerung der Themen innerhalb des Gesamtbestandes eines Fragenpools strukturiert vorzugehen. Es ist somit möglich, dass der Student durch die Konfiguration mehrerer Fragensätze den gesamten Pool abarbeitet.
Der Student erhält einen Überblick über seine Testleistungen auch während der Bearbeitung einzelner Fragen oder bei Abschluss seines jeweiligen Testfragen-Settings. Der Leistungsüberblick bezieht sich allerdings auf die Gesamtheit aller Fragen eines Fragenpools. Denn das zu erreichende Ziel des Studenten ist die Kenntnis der Fragen zum gesamten Themenbereich eines Fragenpools (z.B. Mietrecht). Es wird also nicht nur auf Basis des vorselektierten Fragensatzes bewertet, sondern der Lernstand trifft eine Aussage zur Gesamtheit des Lernziels "Im Pool abgefragtes Wissen nachgewiesen".
Der Student hat die Möglichkeit, die bisherigen Bearbeitungen eines Selbsttest-Fragensettings zurückzusetzen, also den bisherigen sog. Durchlauf zu löschen.
Perspektive Fragepoolverwalter: Der Administrator eines Fragenpools erhält die Möglichkeit, für jeden Fragenpool eine spezifische Einstufung von Schwierigkeitsgraden zu erstellen.
In einem Fragenpool kann es also drei Schwierigkeitsgrade geben: Basiswissen, Examenswissen und Exzellenzwissen. Im anderen Fragenpool kann es deutlich feinere Ausprägungen der Schwierigkeitsgrade geben: sehr leicht, leicht, mittel, sehr mittel, schwer, sehr schwer"
Der Fragenpoolverwalter legt in einer geordneten Liste beliebig viele Einträge mit gewünschten Graden an, den er jederzeit verändern und auch komplett löschen kann. Es wird einen Standardeintrag geben ("Standard"), dem alle existierenden Fragen zugeordnet werden, wenn Fragen eines bereits existierenden Pools keinem Schwierigkeitsgrad aufweisen bzw. Fragen in einen Fragenpool mit einem anderen Schwierigkeitsgrad-Setting importiert werden.
Die Einordnung der Fragen zu diesen Ausprägungen erfolgen über ein Integer-Datenfeld der jeweiligen Fragen. Insofern ist erforderlich, dass die Ausprägungen über die Index 1-n erhalten bleiben. Sollte eine Ausprägung eines Schwierigkeitsgrades gelöscht sein, wird die jeweilige Frage automatisch korrigiert in die nächst niedrigere, vorhandene Ausprägung geordnet.
Wenn eine Frage entfernt oder überarbeitet wird, werden Bearbeitungsdaten dieser Frage von allen Teilnehmer gelöscht. Nur so ist es möglich, im unendlichen Zeitfenster eines interaktiven Selbsttests Fragen zu verändern oder zu löschen. Die Neufassung der Frage gillt als unbeantwortet und wird in den entsprechenden Selektionen der Fragenpool-Nutzer als wieder zu bearbeiten präsentiert.
Perspektive Fragenautor:
In Erweiterung des bisherigen Verfahrens wird dem Fragenautor ermöglicht, die im Fragenpool angelegten Schwierigkeitsgrade einer neuen Fragen zuzuordnen.
Darüber hinaus wird dem Fragenautor bei der Neuanlage einer Frage ermöglicht, die Frage einem thematischen Taxonomieknoten unterzuordnen. Die thematische Fragenanordnung in einem Fragenpool erfolgt über die thematischen Knoten eines im Fragenpool angelegten Taxonomiebaumes. Die jeweiligen Knoten der Pooltaxonomie stehen dem Autoren zur Nutzung innerhalb der Fragenerstellungsmaske zur Verfügung.
Durch Teilnehmer schon genutzte Fragen sind jederzeit editierbar. Beim Abspeichern der Frage werden alle zur Vorgängerversion gespeicherten Teilnehmerantworten entfernt.
Test Konfiguration:
Damit der Selbsttest-Modus für eine Testkonfiguration ausgewählt werden kann, wird das derzeit eindimensionale Checkbox-Setting „Zufällige Auswahl von Fragen“ der Test-Einstellungsmakse erweitert. Zukünftig wird eine alternative Einfachauswahl (Radio-Group-Setting) realisiert, um zwischen den dann drei Test-Modi „E-Klausur mit fixer Auswahl von Fragen“, „E-Klausur mit zufälliger Auswahl von Fragen“ und „Selbsttest“ unterscheiden zu können.
Wenn ein Test im Modus „Selbsttest“ konfiguriert ist, bietet die Ansicht im Navigationsreiter „Fragen“ im Gegensatz zu den anderen beiden Modi lediglich die Möglichkeit, genau einen Fragenpool auszuwählen. Aus diesem werden die Fragen für den Selbsttest bezogen.
Anders als bei Tests in den Modi „E-Klausur mit fixer Auswahl von Fragen“ und „E-Klausur" mit zufälliger Auswahl von Fragen“, bei denen die Fragen direkt nach der Fragen-Auswahl bzw. unmittelbar vor Beginn eines Test Durchlaufs als Kopie im Test abgelegt werden, geschieht dies bei Tests im Modus „Selbsttest“ nicht.
Fragenpool Pflege:
Die Fragen können wie bisher üblich, im Fragenpool gepflegt und können zu jeder Zeit ergänzt bzw. reduziert oder auch angepasst werden.
Da die Fragen allerdings beim Modus "Selbstest" nicht als Kopie im Test abgelegt werden, sondern sich die eingereichten Antworten der Prüflinge direkt auf die Originale der Fragen im Pool beziehen, ist beim Modifizieren oder Löschen von Fragen darauf zu achten, dass schon vorhandene Teilnehmerantworten zu diesen Fragen in der Datenbank gelöscht und somit in der Evaluierung für die Teilnehmer nicht mehr berücksichtigt werden. Wie auch im Modus „E-Klausur mit zufälliger Auswahl von Fragen“ ist es in einem "Selbstest nicht möglich, die Fragen direkt in der Autorenmaske des Tests zu bearbeiten, sondern nur in der Editiermaske des jeweiligen Fragenpools.
Entsprechend dem neuen ILIAS 4.3 Feature Taxonomy in Glossary, wird es innerhalb eines Fragenpools möglich sein, Fragen innerhalb einer primären Taxonomie-Hierarchie (insbesondere themenorientiert) einzusortieren. Auf jeder Ebene dieser primären Taxonomie-Hierarchie ist es möglich, die Reihenfolge von Unterthemen und Fragen manuell zu definieren.
Die Zuweisung eines Schwierigkeitsgrades einer Frage erfolgt im Fragendatensatz über eine Referenz zu einem Schwierigkeitsgrad, der im Fragenpool angelegt ist. Die Darstellung und Nutzerführung von Schwierigkeitsgraden eines Fragenpool erfolgt vergleichsweise wie in der Autorenumgebung Notenschema eines Tests. Im Fall von Import und Export von Fragen ohne Bezug zum Schwierigkeitsgrad-Setting des aufnehmenden bzw. abgebenden Fragenpool werden die Fragen im Schwierigkeitsgrad "Standard" überführt.
Test Durchführung:
Wenn ein Teilnehmer eine Bearbeitung im Modus "Selbstest" beginnt, wird er zunächst auf eine Auswahlmaske geleitet, auf der die vorhandenen thematischen Taxonomie-Hierarchieen präsentiert werden. Innerhalb dieser Ansicht wählt der Prüfling nun aus keiner, einer, mehreren oder allen vorhandenen Taxonomie-Hierarchieen jeweils einen Knoten aus. Diese Auswahl definiert nun die Schnittmenge an Fragen, welche dem Selbsttestteilnehmer vorgelegt werden.
Da beim Modus "Selbsttest" die Menge der vorgelegten Fragen zum einen davon abhängig ist, welche thematische Auswahl der Teilnehmer innerhalb der Taxonomie-Hierarchie beim Starten des Tests trifft, und sich zum anderen immer am aktuellen Fragenbestand innerhalb des angeschlossenen Fragenpools orientieren soll, gilt es bei jeder im Test anzuzeigenden Frage neu zu ermitteln, welche Frage als nächstes angezeigt werden muss.
Die Ermittlungslogik der als nächstes anzuzeigenden Frage basiert auf mehreren Kriterien:
Grundsätzlich werden nicht beantwortete Fragen den bereits beantworteten Fragen vorgezogen. Solange im Pool noch unbeantwortete Fragen bereit stehen, werden bereits beantwortete Fragen nicht zur Bearbeitung dargestellt.
Weiter werden Fragen, die bereits bestmöglich beantwortet wurden, grundsätzlich nicht mehr vorgelegt.
Wenn klar ist, dass keine noch unbeantwortete Frage oder eine bereits beantwortete Frage für die Vorlage vorhanden ist, ist das nächste Abfolgekriterium die Reihenfolge der Fragen innerhalb der primären Taxonomie-Hierarchie, d.h. es wird aus dieser Reihenfolgedie erste Frage vorgelegt.
Wenn die Menge der Fragen, aus welcher die als nächstes vorzulegende Frage ausgewählt wird, gleich der Menge der noch unbeantworteten Fragen ist, gilt es als weiteres Kriterium zu prüfen, ob diese Frage „zurückgestellt“ ist. Sollte die Frage „zurückgestellt“ sein, und es gibt innerhalb der selben Ebene der primären Taxonomie-Hierarchie noch weitere, nicht „ zurückgestellte“ Fragen, so sind diese bei der Vorlage der definierten Reihenfolge nach zu bevorzugen. Somit kann der Prüfling die Beantwortung der Fragen maximal an das Ende der vorausgewählten primären Taxonomie „zurückstellen“.
Wenn ein Prüfling nun alle aktuell vom Pool zur Verfügung gestellten Fragen bestmöglich beantwortet hat, so ist der Test für den Prüfling zunächst nicht länger durchführbar. Jedoch ist dieser durch seinen „Endlos-Charakter“ trotz allem nicht abgeschlossen, da früher oder später weitere Fragen im Pool ergänzt oder vorhandene Fragen verändert werden könnten. Dies führt dazu, dass wieder unbeantwortete Fragen für den Prüfling bereit stünden.
Unabhängig von der thematischen Taxonomie oder sonstigen Fragenselektion nach Schwierigkeitsgrad, kann der Selbsttest-Fragensatz durch die Option "nicht vollständig richtig bearbeitete Fragen" bestimmt werden.
Test Leistungsbewertung:
Da der formative Selbsttest so angedacht ist, dass zu jedem Zeitpunkt der Bearbeitung eines Prüflings eine Leistungsbemessung möglich sein muss und eine maximale Testfragenmenge durch die stetige Möglichkeit der Fragenpflege während des Tests zu keinem Zeitpunkt endgültig definiert ist, muss die Leistungsbewertung für Selbsttests dahingehend angepasst werden, dass die maximal erreichbare Punktzahl sich je Prüfling individuell am gesamten Fragenbestand des jeweiligen Fragenpools orientiert.
Development: Feature is to be developed by Databay AG AG
3 Additional Information
If you want to know more about this feature, its implementation or funding, please contact:
Björn Heyser / bheyser [at] databay [dot] de
Volker Reuschenbach / reuschenbach [at] uni-muenster [dot] de
Maximilian Becker / mbecker [at] databay [dot] de
4 Discussion
Matthias Kunkel, 14 August 2012: Does the title of this feature request really fits? Self assessment is always done with the test. So there is nothing new on this. But if I read the German description it seems for me that another title would be more appropriate ;-)
BH, 14 August 2012: I tried to choose a title that contains the terms "self" and "assessment" as well as the terms "test" and "assessment" without repeating the term "assessment" multiple times, so it should be clear that this feature deals with a topic "self-assessment" within the "test & assessment" module from ILIAS. If you have any idea for a more fitting title, please feel free to change it.
JF 20 Aug 2012: We postpone the decision to our JF in Würselen, 17 Sep 2012.
JF 7 Jan 2013: In general we appreciate the feature and schedule it for 4.4. The discussion of the details of the implementation should be further discussed with the core team. We would like to avoid the "self assessment" term and split the overall idea into multiple features that can be used separately.
Question Pools: Use of Taxonomies. Similar to glossaries taxonomies can be used to structure content in question pools. This feature can be used separately of later usage of taxonomies in tests.
Tests: Continuous Testing Mode. This mode works on "the same level" as the current "random" mode. If used, a question pool must be selected as the base for the set of questions (if possible the selection of multiple pools would be nice). It should not be necessary that these question pools use taxonomies. If they don't the questions of the pool(s) should be handled as "one topic".
Tests: If the continuous testing mode is selected and the selected pools are attached to taxonomies, an option "User Selects Topics From Taxonomy" is offered. This would allow the user to select topics before starting the test.
Tests: If the continuous testing mode is selected and the selected pools are attached to taxonomies, an option "Taxonomy Determines Sequence" is offered. If activated the selection of the next question is determined by the taxonomy (like described above), otherwise the selection is "randomized".
JF 27 May 2013: We discussed some presentation aspects of the feature today. We ask Databay to work out mockup-screens for
The question selection screen at the beginning of the test
The "evaluation" screen: How are the ongoing "results" presented to the user?
We also ask Databay to make a list of test settings that are "useless" for the new test type.
BH 21 Aug 2013:
As described at the end of the section "1 Description > Perspektive Student" the evaluation for the continuesly running tests relates to all questions of the configured question pool with the current implementation. The originally contemplated strategy for the evaluation, that is described in the section "1 Description > Test Leistungsbewertung", is inconsistent with the current implementation.
We wanted to solve this contradiction in the concept, that creeped in anytime during the conceptional discussion, by adding a setting, so the tutor can select his desired evaluation mode. A different mode for tutors and students evaluation would be imaginable, too.
Since the funding was insufficient to supply an implementation for a second evaluation mode activable by a setting, and since the purpose of the customer is an evaluation of the students allready done work against the whole learning objective, we plan to discuss this second evaluation mode and the corresponding configuration possibilities in a detailed manner with a new and dedicated feature request.
Marko Glaubitz, 25.07.2014: The continuous testing mode is a great. However, our students have comlained about a usability issue: when a question cannot be answered by a student, the student is "stuck" on that question. If the test option "postpone questions" is enabled, students have the chance to skip the question. If not, all following questions cannot be accessed. On the one hand, students are activley demotivated by not being able to make progress and on the other hand a trial-and-error approach to solving the question might evolve. Inmho, this cannot be the aim of a great tool that is supposed to support self-study phases.
In my view, this behaviour should changed so that questions which are not answered correctly give a feedback (if no textual feedback is present then the simple message "the answer was not correct, this question will return in the next run") and move on to the next question in line. I would even go so far as to to propose this behaviour regardless of whether "postpone questions" is activated.
Fabian Kruse, 22.12.2014: I wholeheartedly support Marko Glaubitz’s feature request. The current implementation strikes me as user-unfriendly when we look at it from a student's perspective.
5 Implementation
MJ 21 Aug 2013: Most features mentioned on this wiki page are already implemented and available in the v4.4.0 Pre-Alpha release.
5.1 Description of current implementation
How to manage taxonomies with the question pool?
Create a question pool object as usual an open the new subtab screen "Taxonomies" within the settings tab
You can manage multiple taxonomies with different properties and purposes
Taxonomies can be marked as useable for navigation
An manual sorting of questions assigned to the taxonomy can be activated for the taxonomy
How to assign questions to the taxonomy within the question pool?
Within the question editing screen there is a new form section for taxonomy assignments (only for questions in question pools)
The question can be assigned to one or more taxonomies one or multiple times
How to order questions within a taxonomy maually?
After creating a taxonomy and after assigning questions the questions are sortable per taxonomy node
The sorting of questions within the taxonomy is managed within the taxonomy settings screen again
Edit an existing taxonomy an open the "Assigned Items" screen
What are the benefits of having question pool taxonomies for the pool itself?
Taxonomies can be shown in the question pool by activating the corresponding setting
If shown, you can use the taxonomies to filter the question list within the question pool
If shown, the taxonomies are provided as table filter except the taxonomy that is selected as navigation taxonomy
How to activate the continuous testing mode?
Create a test object as usual and open the general settings screen.
Here you can choose the test mode (fixed, random or the new continuous test mode).
How to configure questions for the test?
For supplying the test with questions a single question pool is to be selected
The questions can either be ordered by last edit date or even by assignments to a taxonomy provided by the selected question pool
Taxonomies provided by the selected question pool can be used by the students to filter the questions
How the students get into the test?
The start of execution and the access to test results does not differ from the fixed or random test mode
How the students navigate through the test continuesly?
Similar to the fixed and random test, the student navigates over the questions with next and previous buttons
Since there is no shuffled or fixed sequence, but a dynamic one, the student cannot navigate to the last question or the one before, but the student gets into a list of previously answered questions when he invokes the previous button
When enabled, the student can change the current question selection with taxonomy filters by invoking the question selection button
When the student has answered all questions of the current question selection correctly, he comes to a screen with a hint to change the question selection
When the student has answered all questions of the connected pool correctly, he comes to a screen with a corresoinding hint
What is about the taxonomy filters provided by the connected source question pool?
The student is able to define a filter set with the taxonomies provided by the source question pool every time when taxonomy filters are enabled
The question selection screen is presented to the student every time he starts or resumes the test
Furthermore the student can easily access the question selection screen again with a test navigation button that replaces the known question list/summary button
What is about the presentation of test results?
The well known variety of evaluation possibilities that are provided with fixed and random tests are transparent integrated with the continuous test mode
All the familiar links to the different result views are provided for continuous tests as usual (e.g. on the info screen or within the participants table)
The access rules for test results within continuous tests are configured in the same way as for fixed and random tests
How can the tutor take care of a grown and/or improved test question set continuesly?
The tutor can manage the set of questions for the continuous tests easily by adding, editing or deleting questions in the connected pool
Newly added questions are classified as non answered questions for the students the next time they run the continuous test (or even immediately)
The deletion or editing of questions leads in the deletion of all corresponding solutions submitted by students within connected continuous tests
Deleted questions are not presented to the students as well as they aren't considered in any evaluation within continuous tests any longer
Edited questions are also classified as non answered questions for the students within continuous tests
What happens when the configured source question pool gets deleted?
When the source question pool gets trashed, the test is still useable completely, but a corresponding info is send to the tuto on info and questions tab
When the source question pool gets deleted permanently, the test falls into a frozen state and no execution or evaluation is possible any longer
When the participants results are all deleted it is possible to configure an alternative non deleted pool and the test wakes up from the frozen state
