Article
„Richtig geraten!“ Mit welcher Wahrscheinlichkeit kann man sich erfolgreich durch eine Multiple-Choice Prüfung raten?
Search Medline for
Authors
Published: | September 2, 2009 |
---|
Outline
Text
Hintergrund und Fragestellung: Die Wahrscheinlichkeit, eine Multiple-Choice-Aufgabe (MCQ) durch alleiniges „Raten“ zu lösen, ist reziprok zur Alternativenzahl. Wie hoch ist aber die Wahrscheinlichkeit, durch alleiniges „Raten“ eine komplette MC-Prüfung zu bestehen, und wie kann durch das Prüfungsdesign diese „falsch-positive Bestehens-Wahrscheinlichkeit“ kontrolliert werden?
Material und Methoden: Eine Prüfung bestehe aus insgesamt n Aufgaben, von denen jede a Antworten vorgebe (davon wiederum jeweils r richtige). Die Anzahl r richtiger Alternativen möge nicht zwischen den Aufgaben variieren und sei Prüflingen vorab bekannt. Eine Aufgabe gelte als korrekt gelöst genau dann, wenn sämtliche der r Richtigantworten und a–r Distraktoren erkannt werden. Die Prüfung gelte genau dann als bestanden, wenn mindestens c Aufgaben richtig beantwortet werden. Bestimmt werden soll die Mindestanzahl n der Aufgaben, die zu stellen sind, um eine vorgegebene Wahrscheinlichkeit α des Bestehens der Prüfung durch „alleiniges Raten“ (ausschließlich zufällige Auswahl von jeweils r Antworten in einer Aufgabe), zu kontrollieren.
Ergebnisse: Die Wahrscheinlichkeit, eine Aufgabe durch Raten korrekt zu lösen ist 1/(a r) mit Binominalkoeffizienten (a r)=a!/(r!(a-r)!). Die Wahrscheinlichkeit, die komplette Prüfung durch Raten zu bestehen, ist durch die Binomnialverteilung mit Parametern n und 1/(a r) bestimmt.
Standardstrategien zur Fallzahlplanung liefern über Normalapproximation dieser Binomnialverteilung eine Mindest-Aufgabenanzahl n(α) zur Kontrolle der Bestehenswahrscheinlichkeit α: Bezeichnet z1-α das (1-α)-Perzentil der Standard-Normalverteilung, ergibt sich n(α)=(z1-α)2/\'7b[c–1/(a r)]*[1/(a r)*(1–1/(a r))]\'7d.
Die Anzahl der benötigten Aufgaben nimmt insbesondere mit steigendem a und ebenso mit steigendem r (solange 2≤r≤a/2) monoton ab.
Um beispielsweise eine Bestehens-Wahrscheinlichkeit α=1% in einer Prüfung mit 1-aus-5-Aufgaben zu kontrollieren, sind n=8 Aufgaben zu stellen; ferner genügen bereits n=5 Aufgaben bei jeweils r=2 von fünf richtigen Antworten.
Diskussion und Schlussfolgerung: Für in der Medizin übliche Prüfungsdesigns, z. B. n = 50 1-aus-5 MCQ ist die Wahrscheinlichkeit, durch „alleiniges Raten“ zu bestehen, <0.1%. Diese kann monoton mit steigender Zahl a von Antworten pro Aufgabe und steigender Zahl richtiger Antworten (≤a/2) verringert werden.