gms | German Medical Science

Fragestellung: Mit dem Prüfungsformat OSCE sollen objektiv und strukturiert praktisches Wissen sowie praktische klinische Fähig- und Fertigkeiten bei Medizinstudierenden geprüft werden. Dabei wird davon ausgegangen, dass die jeweiligen OSCE-Stationen auch die ihnen zugrunde liegenden intendierten und definierten Lernziele abprüfen.

In dieser Studie soll untersucht werden, welche Wissensstrukturen im OSCE geprüft werden und wie diese Wissensstrukturen jeweils zusammenhängen. In die Betrachtung fließen dabei sowohl die inhaltlichen Aspekte des Prüfungswissens als auch solche, die sich auf die Art des Wissens beziehen sowie formale, statistische Aspekte ein.

Methodik: Die folgenden Daten beziehen sich auf den OSCE Innere Medizin, an welchem 230 Studierende im 2. oder 3. klinischen Semester im Februar 2010 teilnahmen. Die Prüfung wurde zu diesem Zeitpunkt zum ersten mal mit maschinenlesbaren Bewertungsbögen durchgeführt, so dass detaillierte Informationen zu jedem Item verfügbar waren. Der OSCE bestand aus 11 Stationen mit standardisierten Bewertungsbögen mit insgesamt 234 Einzelitems, für die jeweils die Information vorliegt, ob der/die Studierende die Aufgabe gelöst hat oder nicht.

Die Berechnung einer Reliabilitäts- und Faktorenanalyse (Extraktionsmethode: Hauptkomponentenanalyse, Rotationsmethode: Varimax) erfolgte mit PASW 17.

Ergebnisse: Cronbachs α liegt für alle 243 Items bei 0,891 in einem sehr guten Bereich; betrachtet man die einzelnen Stationen, so liegt der höchste Wert bei α;=0,853 und der niedrigste bei α;=0,275 (Station mit nur 10 Items).

Die Faktorenanalyse ergibt folgendes Bild:

Zieht man 10 Faktoren in die Analyse ein, so erklären diese 10 Faktoren 25,7% Varianz, um 50% Varianzaufklärung zu bekommen, müssten 30 Faktoren mit überwiegend nur noch geringen Eigenwerten mit einbezogen werden. Daraus lässt sich folgern, dass der OSCE sehr unterschiedliche Wissensaspekte, -arten und -inhalte abprüft.

Die Interpretation der einzelnen Faktoren nach inhaltlichen, strukturellen (Art des Wissens) und formalen Kriterien fällt nur teilweise eindeutig aus.

So existiert zwar ein Zusammenhang zwischen inhaltlich ähnlichen Items, allerdings gilt dies nur für vier Stationen (Kardiale Untersuchung, EKG und die Anamnesestationen Abgeschlagenheit und Thoraxschmerz), deren Items jeweils recht deutlich auf einen bestimmten Faktor laden.

Es scheint kein Zusammenhang zwischen solchen Items zu bestehen, die gleiche Arten von Wissen abprüfen (z.B. praktische Fähigkeiten oder theoretisches Wissen). Ebenso lassen sich keine Unterschiede bei den Faktorladungen von schwierigen und leichten Items feststellen. Die Interpretation in Hinblick auf die korrigierte Trennschärfe der einzelnen Items hingegen zeigt, dass Items mit geringer Trennschärfe auf keinen Faktor, solche mit hoher Trennschärfe aber recht deutlich auf nur zwei Faktoren laden.

Schlussfolgerungen: Die Ergebnisse der Faktorenanalyse zeigen, dass die Prüfungsleistung im OSCE von sehr verschiedenen Kriterien abhängt. Inhaltliche Aspekte spielen dabei eine wichtige Rolle, jedoch nicht ausschließlich. Aus diesem Grund stellen diese Ergebnisse eine wichtige Ergänzung zur Reliabilitätsanalyse dar.

Allerdings werden weitere Berechnungen, unter Einbeziehung möglicher Kontrollvariablen wie Prüfereinteilung, Geschlecht, Semesterzahl o. ä., notwendig sein, um das heterogene Bild, das die Faktorenanalyse ergab, zu ergänzen.