Article
“Pass, fail” – On Standard Setting Procedures for the Assessment of Practical Skills at Medical Schools in Germany, Austria, and Switzerland
Search Medline for
Authors
-
Daniel Bauer
- Klinikum der Universität München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, Deutschland; Universität Bern, Institut für Medizinische Lehre, Bern, Schweiz; Gesellschaft für Medizinische Ausbildung e.V., Ausschuss Prüfungen, Erlangen, Deutschland
-
Sören Huwendiek
- Universität Bern, Institut für Medizinische Lehre, Bern, Schweiz; Gesellschaft für Medizinische Ausbildung e.V., Ausschuss Prüfungen, Erlangen, Deutschland
-
Maren März
- Charité Universitätsmedizin Berlin, Referat für Studienangelegenheiten, Berlin, Deutschland; Gesellschaft für Medizinische Ausbildung e.V., Ausschuss Prüfungen, Erlangen, Deutschland
| Received: | December 7, 2015 |
|---|---|
| Revised: | June 29, 2016 |
| Accepted: | June 29, 2016 |
| Published: | August 15, 2016 |
Outline
Short report
The members of the GMA committee on assessment have the common goal to make exams in the training and continuing education of health professionals in Germany, Austria and Switzerland (D/A/CH countries) as appropriate as possible. For this purpose, they engage in a discourse with each other, considering both scientific research and regional/local contexts. The committee is pleased to present in the present special issue its views on practical skills from the assessment perspective.
The teaching of practical skills is now well-established in the medical programs in the D/A/CH region, reflected in the national catalogues of learning objectives: The Swiss Catalogue of Learning Objectives for Undergraduate Medical Training (SCLO) [1], the Austrian Competence Catalogue for Medical Skills (ÖKÄF) [2], and the German National Competence Based Catalogues of Learning Objectives for Undergraduate Medical Education (NKLM) [3].
The assessment of practical skills, too, is largely established. As early as 2007, over 70% of Germany’s medical programs featured practical skills assessment, most of which in OSCE format [4], and since 2011, an OSCE complements the Swiss Federal Licensing Examination and must be passed independently of the MCQ examination [5]. Besides OSCE, the oral-practical examination [6] is a common format, but also OSPEs (Objective Structured Practical/Preclinical Exams) are used [7]. This shows that practical examinations in medical education are indeed varied and widespread, but what about their quality?
Yudkowsky lists various criteria compromising construct validity – i.e., the meaningful interpretability of the data obtained in an exam [8]. As is the case with exams of other formats, it is necessary in the assessment of practical skills such as the OSCE to prevent construct underrepresentation by providing sufficient and representative examination content and to minimize construct-irrelevant variance, i.e., to ignore, in interpreting exam performance, such information not relating to the subject matter under scrutiny. Quality-maintaining measures are being taken in many programs, such as blueprinting (selection of adequate, representative exam content), review (e.g., with respect to wording of tasks and checklists, and to anticipate task difficulty), as well as training of examiners and possibly, simulated patients involved.
However, it seems that one aspect of quality assurance has been receiving only little attention: the deliberate setting of grades and pass/fail boundaries. In a commentary recently published, Tekian & Norcini advocate questioning the traditional, ubiquitous 60% pass boundary, and recommend to apply methods based on the assessment content in order to determine pass/fail and grades, for only this way, comparability can be established between test cohorts [9]. The challenge is, therefore, to operationalize these general requirements within the context of one’s actual practical skills assessment (the so-called standard setting) [10], [11].
So far, there is little data on the use of these criterion-oriented standard setting procedures in practical examinations at the medical schools of the D/A/CH countries. Accordingly, we exemplarily analysed 20 study and/or exam regulations or equivalent documents available on the internet relating to medical curricula in Germany, including all model programs. It turned out that the majority of programs apply the 60% pass boundary to practical exams [12], [13], [14], while some do not specifically address grades and pass criteria for practical exams [15], [16], [17], [18], [19] beyond perhaps referring to general directives (e.g., §13 (2) ÄAppO).
Nevertheless, this common 60% rule does not rule out criterion-oriented standard setting approaches. Tekian & Norcini explicitly mention procedures under which a criterion-oriented pass/fail boundary can be rescaled to 60%, so that - if necessary - the traditional 60% can be retained. In fact, the Hannover medical program uses such a procedure in which an examination board determines, according to the [anticipated] difficulty and scope of the tasks, the maximum score from which at least 60% must be achieved to pass an exam [20]. Some regulations delegate the burden on the examiners [21], [22], [23], [24], occasionally with the caution to apply "proper methods" [25], or have an examination committee in place [26], [27], [28] to define pass and grade criteria. One faculty explicitly allows criterion-oriented methods for determining the pass boundaries [29], while others require only the disclosure of pass criteria at the beginning of the respective term, without the obligation to further specify them [30], [31].
The Medical Universities of Vienna [32] and Graz [33] use norm-oriented procedures while Innsbruck allows some adaptation depending on task difficulty [34]. The pass boundary for the clinical skills part of the Swiss Federal Licensing Examination [35] is determined with the borderline regression method, which is also true, e.g., for the OSCE in Basel’s medical program [36].
In summary, it is apparent from the examined documents that the regulations on pass and grade determination are heterogeneous. In some locations, detailed rules have been formulated, but many regulations handle pass/fail and grades rather superficially, which of course does not mean that decisions are not made very consciously in the local reality. Interpreting the documents was not always easy, and there may be passages that have been misinterpreted. Likewise, due to the selection of the studied faculties, interesting approaches may have been overlooked. For instance, dental and veterinary regulations were not analysed for this work. Still, our findings coincide well with those of Härtl et al., who conducted a survey on the assessment of communication skills at German-speaking medical schools. From 31 OSCEs with communication as test objective, 21 pegged the pass boundary to a fixed score or percentage, 5 applied the borderline regression method, 2 used Angoff’s method, and in 6 OSCEs, the method used was unknown (some multiple responses) [37].
On behalf of the committee we recommend to question the local regulations used to determine pass/fail and scoring criteria for practical exams, to seek the discourse, and to share and discuss experiences with the scientific community. Procedures used to define pass criteria and scoring should be based on examination content. This would add to the validity of pass/fail decisions of practical exams and better ensure fairness to examinees. The members of the GMA committee on assessment are gladly available for this discourse as discussion partners.
References
- 1.
- Bloch R, Bürgi H. The Swiss catalogue of learning objectives. Med Teach. 2002;24(2):144-150. DOI: 10.1080/01421590220120759
- 2.
- Schnabel K, Boldt P, Breuer G, Fichtner A, Karsten G, Kujumdshiev S, Schmidts M, Stosch C. Konsensusstatement "Praktische Fertigkeiten im Medizinstudium" - ein Positionspapier des GMA-Ausschusses für praktische Fertigkeiten. GMS Z Med Ausbild. 2011;28(4):Doc58. DOI: 10.3205/zma000770
- 3.
- MFT Medizinischer Fakultätentag der Bundesrepublik Deutschland e. V. Nationaler Kompetenzbasierter Lernzielkatalog Medizin (NKLM). Berlin: MFT Medizinischer Fakultätentag der Bundesrepublik Deutschland e. V; 2015.
- 4.
- Möltner A, Duelli R, Resch F, Schultz J, Jünger J. Fakultätsinterne Prüfungen an den deutschen medizinischen Fakultäten. GMS Z Med Ausbild. 2010;27(3):Doc44. DOI: 10.3205/zma000681
- 5.
- Guttormsen S, Beyeler C, Bonvin R, Feller S, Schirlo C, Schnabel K, Schurten T, Berendonk C. The new licensing examination for human medicine: from concept to implementation. Swiss Med Wkly. 2013;143:w13897.
- 6.
- Schickler A, Brüstle P, Biller S. Mündlich-praktischer Teil des Zweiten Abschnitts der Ärztlichen Prüfung in Freiburg 2012 - Analyse der Notenvergabe zur Überprüfung von Qualitätssicherungsmaßnahmen. GMS Z Med Ausbild. 2015;32(4):Doc39. DOI: 10.3205/zma000981
- 7.
- Boeckers A, Fassnacht U, Feneberg A, Boeckers T. Modifizierte objective structured practical examination (OSPE) als Leistungskontrolle im Kurs der Mikroskopischen Anatomie an der Universität Ulm. GMS Z Med Ausbild. 2006;23(4):Doc71. Zugänglich unter/available from: http://www.egms.de/static/de/journals/zma/2006-23/zma000290.shtml
- 8.
- Yudkowsky R. Performance Tests. In: Downing S, Yudkowsky R (Hrsg). Assessment in Health Professions Education. New York: Routledge; 2009.
- 9.
- Tekian A, Norcini J. Overcome the 60% passing score and improve the quality of assessment. GMS Z Med Ausbild. 2015;32(4):Doc43. DOI: 10.3205/zma000985
- 10.
- Friedman Ben-David M. AMEE Guide No. 18: Standard setting in student assessment. Med Teach. 2000;22(2):120-130. DOI: 10.1080/01421590078526
- 11.
- Boursicot K, Roberts T, Pell G. Standard setting for clinical competence at graduation from medical school: a comparison of passing scores across five medical schools. Adv Health Sc Educ. 2006;11(2):173-183. DOI: 10.1007/s10459-005-5291-8
- 12.
- Prüfungsordnung des Modellstudiengang Medizin der Charité-Universitätsmedizin Berlin in der Fassung vom 13.04.2015 [Internet]. Berlin: Charité-Universitätsmedizin. http://www.charite.de/fileadmin/user_upload/portal/charite/presse/publikationen/amtl-mitteilungsblatt/2015/AMB150417-144.pdf
- 13.
- Studien- und Prüfungsordnung für den Modellstudiengang Medizin der Rheinisch-Westfälischen Technischen Hochschule Aachen mit dem Abschluss "Ärztliche Prüfung" vom 05.11.2008 in der Fassung der Dritten Ordnung zur Änderung der Studien- und Prüfungsordnung vom 25.10.2013 veröffentlicht als Gesamtfassung [Internet]. Rheinisch-Westfälisch Technische Hochschule Aachen. http://www.rwth-aachen.de/global/show_document.asp?id=aaaaaaaaaagdhjq
- 14.
- Studienordnung für den Studiengang Humanmedizin an der Ernst Moritz Arndt Universität Greifswald vom 26. August 2004 [Internet]. Ernst Moritz Arndt Universität Greifswald. http://www.uni-greifswald.de/fileadmin/mp/e_dez4/zpa/PO/Staatsexamen/Humanmedizin/Studienordnung_Humanmedizin_Lesefassung-13-AEndS.pdf
- 15.
- Studienordnung für das Medizinstudium an der Medizinischen Fakultät Heidelberg der Universität Heidelberg für das 3., 4. und 5. Studienjahr vom 22. 07.2010 [Internet. Medizinische Fakultät Heidelberg. http://www.uni-heidelberg.de/md/studium/download/03-02-7a-05.pdf
- 16.
- Studienordnung für den Studiengang Medizin an der Universität Leipzig vom 8. Mai 2012 [Internet]. Universität Leipzig. db.uni-leipzig.de/bekanntmachung/dokudownload.php?dok_id=3170
- 17.
- Studienordnung für den Studiengang Humanmedizin an der Medizinischen Fakultät Mannheim der Universität Heidelberg vom 16. Mai 2013 [Internet]. Medizinische Fakultät Mannheim der Universität Heidelberg. http://www.umm.uni-heidelberg.de/studium/studienordnung.pdf
- 18.
- Prüfungsordnung des Modellstudiengangs Medizin an der Medizinischen Fakultät der Universität Hamburg vom 20.06.2012 [Internet]. Medizinische Fakultät der Universität Hamburg. https://www.uni-hamburg.de/campuscenter/studienorganisation/ordnungen-satzungen/pruefungs-studienordnungen/medizin/up-po-u-fak-u-med-u-modellstud-u-medizin-u-20150715.pdf
- 19.
- Studienordnung für den Studiengang Medizin an der Universität des Saarlandes vom 20. Februar 2003 [Internet]. Universität des Saarlandes. http://www.uni-saarland.de/fileadmin/user_upload/Campus/Service/Recht_und_Datenschutz/Recht_der_Universitaet/Ausbildungs-_Pruefungs-_Studienordnungen/DB03-106.pdf
- 20.
- Prüfungsordnung für den Studiengang Medizin an der Medizinischen Hochschule Hannover in der Fassung vom 15.07.2015 [Internet]. Medizinische Hochschule Hannover. https://www.mh-hannover.de/fileadmin/mhh/download/studium_ausbildung/Medizin/Ordnungen/2015_07_15_SudOPruefO_Medizin_MHH.pdf
- 21.
- Technische Universität Dresden Medizinische Fakultät Carl Gustav Carus, Studienordnung für den Studiengang Medizin vom 26.05.2010 [Internet]. Technische Universität Dresden. http://www.verw.tu-dresden.de/AmtBek/PDF-Dateien/2011-05/25ZsoSE08.09.2011.pdf
- 22.
- Nichtamtliche Lesefassung der Studienordnung für das Studium der Humanmedizin an der Universität Rostock unter Berücksichtigung der 1., 2. und 3. Satzung zur Änderung der Studienordnung vom Februar 2009 [Internet]. Universität Rostock. http://www.med.uni-rostock.de/fileadmin/Verwaltung/studiendekanat/humanmedizin/downloads/Lesefassung_Sto_Humanmedizin_2009.pdf
- 23.
- Studienordnung (StO) für den Modellstudiengang Humanmedizin an der Medizinischen Fakultät der Universität zu Köln mit dem Abschluss "Ärztliche Prüfung" vom 06. Januar 2014 [Internet]. Universität zu Köln. http://am.uni-koeln.de/e10890/am_mitteilungen/@1/AM_02_2014.pdf
- 24.
- Studienordnung für den Studiengang Humanmedizin mit dem Abschluss "Ärztliche Prüfung" am Fachbereich Medizin der Justus-Liebig-Universität Gießen vom 03. Juli 2006 [Internet]. Justus-Liebig-Universität Gießen. https://www.uni-giessen.de/mug/6/pdf/6_60_11_2_neu.pdf
- 25.
- Studienordnung für den Studiengang Medizin an der Martin-Luther-Universität Halle-Wittenberg vom 21.04.2009 [Internet]. Martin-Luther-Universität Halle-Wittenberg. http://www.verwaltung.uni-halle.de/KANZLER/ZGST/ABL/2009/09_08_01.pdf
- 26.
- Prüfungsordnung für den Modellstudiengang Humanmedizin an der Carl von Ossietzky Universität Oldenburg vom 24.02.2012 [Internet]. Carl von Ossietzky Universität Oldenburg. https://www.uni-oldenburg.de/uni/amtliche_mitteilungen/dateien/AM2013-03_09-Neufassung_EMS_PO_FKVI.pdf
- 27.
- Prüfungsordnung für den Brandenburger Modellstudiengang Medizin an der Medizinischen Hochschule Brandenburg Theodor Fontane [Internet]. Medizinische Hochschule Brandenburg Theodor Fontane. http://www.mhb-fontane.de/files/Dateien/Studiengang%20Humanmedizin/Pruefungsordnung_BMM_2015.pdf
- 28.
- Prüfungsordnung der Ruhr-Universität Bochum für den Modellstudiengang Medizin vom 20. April 2005 [Internet]. Ruhr-Universität Bochum. http://medizinstudium.ruhr-uni-bochum.de/medidek/infoszumstudium/amtliches/pruefungsordnungordnung_MSM_2005-04-20.pdf
- 29.
- Prüfungs- und Studienordnung für den Studiengang Medizin an der Ludwig-Maximilians-Universität München in der Fassung vom 24.09.2009 [Internet]. Ludwig-Maximilians-Universität München. http://www.mecum-online.de/downloads/studienrecht/ordnungen/so_medizin24_11_09.pdf
- 30.
- Studien- und Prüfungsordnung für den Modellstudiengang Humanmedizin an der Heinrich-Heine-Universität Düsseldorf vom 7.10.2013 [Internet]. Heinrich-Heine-Universität Düsseldorf. http://www.medizin.hhu.de/fileadmin/redaktion/Fakultaeten/Medizinische_Fakultaet/Studiendekanat/Dokumente/Medizin_Studium/131007_Studien-_und_Pruefungsordnung.pdf
- 31.
- Studienordnung für den Studiengang Humanmedizin mit dem Abschluss "Ärztliche Prüfung" an der Philipps-Universität Marburg vom 23.09.2015 [Internet]. Philipps-Universität Marburg. https://www.uni-marburg.de/administration/amtlich/60_2015.pdf
- 32.
- Information zur Bestehensgrenze und zur Notengebung bei den Gesamtprüfungen (SIP) für Humanmediziner (N202) und Zahnmediziner (N203, 1. u. 2. Studienjahr [Internet]. Medizinische Universität Wien. https://www.meduniwien.ac.at/homepage/fileadmin/HP-Relaunch/pdfstudien/HumanmedizinN202/allg-info-bestehensgrenzen-20101001.pdf
- 33.
- Beurteilungskriterien des OSCE [Internet]. Medizinische Universität Graz. https://www.medunigraz.at/themen-studieren/humanmedizin/osce-objective-structured-clinical-examination/beurteilungskriterien-des-osce/
- 34.
- Information Famulatur OSCE [Internet]. Medizinische Universität Innsbruck. https://www.i-med.ac.at/studium/studierende/docs/Information-OSCE_13-14-fin.pdf
- 35.
- Berendonk C, Schirlo C, Balestra G, Bonvin R, Feller S, Huber P, Jünger E, Monti M, Schnabel K, Beyeler C, Guttormsen S, Huwendiek S. The new final Clinical Skills examination in human medicine in Switzerland: Essential steps of exam development, implementation and evaluation, and central insights from the perspective of the national Working Group. GMS Z Med Ausbild. 2015;32(4):Doc40. DOI: 10.3205/zma000982
- 36.
- Prüfungen [Internet]. Universität Basel. https://medizinstudium.unibas.ch/allgemeine-infos/pruefungen.html
- 37.
- Härtl A, Bachmann C, Blum K, Höfer S, Peters T, Preusche I, Raski B, Rüttermann S, Wagner-Menghin M, Wünsch A, Kiessling C. Wunsch und Wirklichkeit - eine Umfrage im deutschsprachigen Raum zum Lehren und Prüfen kommunikativer Kompetenzen im Medizinstudium. GMS Z Med Ausbild. 2015;32(5):Doc56. DOI: 10.3205/zma000998
