gms | German Medical Science

Einleitung: Trotz einer Vielzahl an verfügbaren Instrumenten zur Bewertung der methodischen Qualität von systematischen Reviews (SRs), liegen mit dem Overview Quality Assessment Questionnaire (OQAQ) und dem Assessment of Multiple Systematic Reviews (AMSTAR) nur zwei etablierte Instrumente vor, wobei letzteres auf dem OQAQ aufbaut und sich zunehmend größerer Beliebtheit erfreut. Obwohl AMSTAR vielfach als validiert beschrieben wird, liegt bislang noch keine systematische Analyse diesbezüglich vor.

Methoden: Im September 2013 wurde eine systematische Literaturrecherche in Medline, Embase, PsycInfo und CINAHL durchgeführt. Recherchiert wurde nach Studien, die psychometrische Eigenschaften (insbesondere Validität und Reliabilität) von AMSTAR berichten. Alle Abstracts, sowie bei potentieller Relevanz die Volltexte, wurden unabhängig von zwei Personen hinsichtlich der Einschlusskriterien bewertet. Relevante Daten wurden von einer Person aus den Studien extrahiert und von einer zweiten Person überprüft.

Ergebnisse: Es konnten 12 Studien eingeschlossen werden, in denen psychometrische Eigenschaften von AMSTAR berichtet wurden. In drei dieser Arbeiten wurde eine revidierte Version des Instruments (R-AMSTAR) benutzt, die explizit die Berechnung eines Gesamtwerts vorsieht. Vier Studien wurden speziell zum Zwecke einer Validierung durchgeführt. Die Reliabilität wurde in 10 und die Validität in 5 Studien untersucht. Das Cohens Kappa erstreckte sich von 0,50 bis 0,87 (Median 0,70; 5 Studien). Die Items 10 und 11 erreichten meistens die höchsten Werte. Die Kappa-Werte der Items mit niedriger Interrater-Reliabilität waren heterogen. Die Intra-Klassen-Korrelation (ICC) reichte von 0,60 bis 0,84 (Median 0,82; 5 Studien). Hinsichtlich der Validität korreliert AMSTAR regelhaft sehr gut (>0,80) mit anderen Skalen (OQAQ, Sacks-Liste, Expertenurteil). Bis auf eine Studie wurden die Reviews nur von zwei Personen bewertet. Zudem geht aus den meisten Studien die Erfahrung der Bewerter nicht hervor.

Schlussfolgerung: Die Messungen zur Validität müssen kritisch betrachtet werden, da als Außenkriterium Instrumente verwendet wurden, die in die Entwicklung von AMSTAR eingeflossen sind, was einen möglichen Zirkelschluss nahelegt. Das heterogene Bild der Reliabilität einzelner Items deutet auf Probleme bei der Interpretation einzelner Items hin. Dem sollte in weiteren Studien mit einer höheren Zahl an Bewertern pro Review und unter Berücksichtigung deren Erfahrung nachgegangen werden.