Article
Identifizierung von formalen Fehlern durch automatische Reviewalgorithmen
Search Medline for
Authors
Published: | September 18, 2012 |
---|
Outline
Text
Nach den Richtlinien der GMA ist die Begutachtung und Bewertung von Prüfungsinhalten ein wesentlicher Baustein der Qualitätssicherung studienbegleitender Prüfungen. Diese werden oftmals von einer Gruppe von fachinternen und -externen Experten (Review-Komitee) im Rahmen eines gemeinsamen Treffens durchgeführt.
Hierbei scheitert der zeit- und kostenintensive Review-Prozess, der vor allem auf inhaltlicher Basis stattfinden sollte, häufig schon an formalen Unstimmigkeiten der Items. Da die Überprüfung formaler Aspekte unabhängig von einer inhaltlichen Kontrolle erfolgen kann, wurden von uns für das Item-Management-System (IMS) automatisierte Review-Algorithmen entwickelt, die den Autor bereits während der Eingabe der Frage auf formale Diskrepanzen hinweisen.
Diese Algorithmen umfassen unter anderem die Identifizierung von signifikanten Längenunterschieden und Ähnlichkeiten von Antworten, doppelten Verneinungen im Fragetext oder Wortwiederholungen. In ersten Versuchen zeigte sich bei den Anwendern eine hohe Akzeptanz für diese Funktionalität. Die integrierten Algorithmen stellen ein wirksames Hilfsmittel bei der Eingabe der Fragen und damit bei der Vorauswahl der Fragen für die inhaltliche Begutachtung durch das Review-Komitee dar.