gms | German Medical Science

Hintergrund und Fragestellung: Die Wahrscheinlichkeit, eine Multiple-Choice-Aufgabe (MCQ) durch alleiniges „Raten“ zu lösen, ist reziprok zur Alternativenzahl. Wie hoch ist aber die Wahrscheinlichkeit, durch alleiniges „Raten“ eine komplette MC-Prüfung zu bestehen, und wie kann durch das Prüfungsdesign diese „falsch-positive Bestehens-Wahrscheinlichkeit“ kontrolliert werden?

Material und Methoden: Eine Prüfung bestehe aus insgesamt n Aufgaben, von denen jede a Antworten vorgebe (davon wiederum jeweils r richtige). Die Anzahl r richtiger Alternativen möge nicht zwischen den Aufgaben variieren und sei Prüflingen vorab bekannt. Eine Aufgabe gelte als korrekt gelöst genau dann, wenn sämtliche der r Richtigantworten und a–r Distraktoren erkannt werden. Die Prüfung gelte genau dann als bestanden, wenn mindestens c Aufgaben richtig beantwortet werden. Bestimmt werden soll die Mindestanzahl n der Aufgaben, die zu stellen sind, um eine vorgegebene Wahrscheinlichkeit α des Bestehens der Prüfung durch „alleiniges Raten“ (ausschließlich zufällige Auswahl von jeweils r Antworten in einer Aufgabe), zu kontrollieren.

Ergebnisse: Die Wahrscheinlichkeit, eine Aufgabe durch Raten korrekt zu lösen ist 1/(a r) mit Binominalkoeffizienten (a r)=a!/(r!(a-r)!). Die Wahrscheinlichkeit, die komplette Prüfung durch Raten zu bestehen, ist durch die Binomnialverteilung mit Parametern n und 1/(a r) bestimmt.

Standardstrategien zur Fallzahlplanung liefern über Normalapproximation dieser Binomnialverteilung eine Mindest-Aufgabenanzahl n(α) zur Kontrolle der Bestehenswahrscheinlichkeit α: Bezeichnet z_1-α das (1-α)-Perzentil der Standard-Normalverteilung, ergibt sich n(α)=(z_1-α)²/\'7b[c–1/(a r)]*[1/(a r)*(1–1/(a r))]\'7d.

Die Anzahl der benötigten Aufgaben nimmt insbesondere mit steigendem a und ebenso mit steigendem r (solange 2≤r≤a/2) monoton ab.

Um beispielsweise eine Bestehens-Wahrscheinlichkeit α=1% in einer Prüfung mit 1-aus-5-Aufgaben zu kontrollieren, sind n=8 Aufgaben zu stellen; ferner genügen bereits n=5 Aufgaben bei jeweils r=2 von fünf richtigen Antworten.

Diskussion und Schlussfolgerung: Für in der Medizin übliche Prüfungsdesigns, z. B. n = 50 1-aus-5 MCQ ist die Wahrscheinlichkeit, durch „alleiniges Raten“ zu bestehen, <0.1%. Diese kann monoton mit steigender Zahl a von Antworten pro Aufgabe und steigender Zahl richtiger Antworten (≤a/2) verringert werden.