Das Testen neuer und bestehender Softwarekomponenten ist ein zentraler Bestandteil des Entwicklungs- und Qualitätssicherungsprozesses von ILIAS. Im Gegensatz zu Programmierarbeiten ist aber das Testen bestehender Softwarekomponenten eine freiwillige und kostenlose Leistung einzelner Tester in der Community. Um diese Personen besser zu unterstützen, wurde mit der Entwicklung von ILIAS 5.0 der gesamte Prozess des Testens verbessert. Zentral war hierbei die Einführung des Testcase-Managementtools Testrail. Noch vor Abschluß der Testphase von 5.0 zeigt sich, dass die Qualität und die Dokumentation des Testprozesse deutlich verbessert werden konnte.

Ursprünglich sollte ein professionelles Tool für die Erstellung von Testcases und für das Management des Testprozesses nur beim Test&Assessment zum Einsatz kommen. Eine entsprechende Empfehlung und Toolauswahl wurde von der SIG E-Assessment im Juli 2014 ausgesprochen. Grundidee war, wenn sich ein solches Tool beim Testen des umfangreichen und komplexen Test&Assessment bewährt, ist es auch für ILIAS insgesamt geeignet. Und obwohl Testrail eine kommerzielle Softwarelösung ist, stellte Hersteller Gurock Software in Berlin dankenswerterweise eine umfangreiche Lizenz kostenlos zur Verfügung.

 
Anders als bei den bislang verwendeten Excel-basierten Testfällen bietet ein Testcase in Testrail mehr Informationen über seine Vorbedingungen, die durchzuführenden Schritte beim Testen und das zu erwartende Ergebnis. Durch diese bessere Dokumentation und Führung können auch Nicht-ILIAS-Experten präzise und reibungslos Software testen, Fehler finden und Bugreports anlegen. Diese niedrigere Barriere erhöht zugleich die Zahl potentieller ILIAS-Tester, da der Zeitaufwand niedriger und der Einstieg leichter wird.

Als webbasierte Software unterstützt das neue Testcase-Managementtool das Testen einer Komponente durch mehrere Tester, ohne dass hierfür kontinuierliche Abstimmungsprozesse notwendig sind. Auf einen Blick ist jetzt erkennbar, welche Testcases bereits erfolgreich durchlaufen wurden, welche noch angepackt werden müssen und bei welchen aktuell ein Fehler vorliegt. Und statt den aktuellen Stand des Testens bei jedem Tester per Mail oder telefonisch abzufragen, genügt jetzt ein Blick in Testrail, um den Fortschritt beim Testen einzusehen.

Unterschlagen werden soll aber nicht, dass der bisherige Erfolg des neuen Testprozesses auch mit viel Arbeit einher ging - nämlich für das Erstellen von Testcases im neuen Testmanagementtool. Dank finanzieller Unterstützung durch die Universität Giessen und den ILIAS-Verein konnten seit Sommer über 250 Testcases für das Test&Assessment-Tool erstellt werden. Zugleich schrieben Serviceprovider und Freiwillige zahlreiche Testcases für weitere Module in ILIAS, so dass bereits jetzt über 1.000 Testcases vorliegen und genutzt werden können. Für ILIAS 5.0 werden damit inzwischen weit über 20 Komponenten in Testrail ganz oder teilweise getestet.

Der bisherige Erfolg des neuen Testprozesses ging und geht aber auch mit viel Arbeit einher - nämlich für das Erstellen von Testcases im neuen Testmanagementtool. Dank finanzieller Unterstützung durch die Universität Giessen und den ILIAS-Verein konnten im Sommer über 250 Testcases für das Test&Assessment-Tool erstellt werden. Serviceprovider und Freiwillige schrieben zudem zahlreiche Testcases für weitere Module in ILIAS. Inzwischen liegen bereits über 1.000 Testcases vor und können für 5.0 genutzt werden .

Parallel zum Einsatz von Testrail werden andere Komponenten für 5.0  noch weiter mit Excel-basierten Testfälle getestet. Angesichts der sich bereits jetzt abzeichnenden Vorteile des neuen Prozesses bietet es sich aber an, auch diese Testfälle in Testrail zu überführen und in der Testphase von 5.1 ab Sommer 2015 nur noch Testrail als zentrales Testmanagementool zu verwenden. Für dieses große Unterfangen ist das ILIAS-Team aber auf personelle und finanzielle Unterstützung aus der Community angewiesen. Für die Qualität der Software wäre die konsequente Umstellung des Testprozesses auf jeden Fall ein großer Gewinn - und das sowohl für Entwickler als auch für Anwender.

Nachtrag Februar 2015

Mit der Veröffentlichung von ILIAS 5.0.0 konnte dank Testrail auch eine Übersicht über das Release, die Zahl der gestesteten Fälle und der noch nicht erfolgreich abgeschlossenen Testfälle gegeben werden. Wenn mit 5.1 alle Testfälle zentral über Testrail dokumentiert werden, ist diese Grafik noch aussagekräftiger.