gms | German Medical Science

Einleitung und Fragestellung: Der Net Reclassification Improvement (NRI) [1], [2] hat sich zu einem populären Maß für die Evaluation von Verbesserung bei Risikoprädiktionsmodellen entwickelt [3]. Der NRI stellt ein einfach zu berechnendes Maß dar, allerdings gibt es keinen Grenzwert, der den Umfang der Verbesserung einordnet [4]. Aus diesem Grund wird häufig der p-Wert bzw. das Vorliegen statistischer Signifikanz als Entscheidungskriterium für das Vorliegen einer Verbesserung herangezogen. Das Ziel dieser Untersuchung war zum einen, die Abhängigkeit der statistischen Signifikanz des NRI vom Stichprobenumfang sowie von Gewichtungen darzustellen, und zum anderen alternative statistische Testverfahren mit variierender Nullhypothese und Tests für die einzelnen Komponenten des NRI zu untersuchen. Außerdem wird der Gebrauch von Konfidenzintervallen vorgeschlagen und eine Konfidenzellipse für die beiden Komponenten entwickelt.

Material und Methoden: Zur Illustration der verschiedenen Konzepte wird eine Analyse in der European Investigation into Cancer and Nutrition (EPIC)-Potsdam Studie durchgeführt. Es handelt sich um eine prospektive Kohortenstudie mit 27.548 Teilnehmern im Alter von 35-65 Jahren zur Baseline-Erhebung. In die Analyse werden 25.167 Teilnehmer eingeschlossen, von denen 849 einen inzidenten Typ-2-Diabetes nach einem mittleren Follow-up-Zeitraum von 7 Jahren entwickelten. Der NRI wird anhand eines Vergleichs des Deutschen Diabetes Risiko Scores mit einem um Familienanamnese erweiterten Modell berechnet. Dies ist die Basis für weitere methodische Analysen zum statistischen Testen.

Ergebnisse: Die statistische Signifikanz des aus den Daten berechneten NRIs von 0.0998 wird deutlich von der Stichprobengröße beeinflusst. Eine unterschiedliche Gewichtung zeigte ebenfalls starken Einfluss auf die statistische Signifikanz. Eine unterschiedliche Wahl der Nullhypothese, gegen die der NRI getestet wird, konnte diese Abhängigkeit in sinnvoller Weise modifizieren. Auch für die Einzelkomponenten scheint eine einzelne Testung mit Anwendung unterschiedlicher Nullhypothesen sinnvoll zu sein. Durch die Berechnung eines Konfidenzintervalls kann für die Einzelkomponenten und auch den gesamten NRI eine Aussage über Präzision und statistische Signifikanz getroffen werden. Die Verwendung einer neu entwickelten Konfidenzellipse bietet die Möglichkeit simultan beide Komponenten zu betrachten und zahlreiche Nullhypothesen zu überprüfen.

Diskussion: Die Anwendung unterschiedlicher Nullhypothesen für den Signifikanztest des NRI und auch der Einzelkomponenten scheint eine hilfreiche Ergänzung zum Konzept des NRI zu sein. Die Konstruktion einer Konfidenzellipse ermöglicht weiterhin, eine übergreifende Aussage zu beiden Komponenten gleichzeitig zu treffen, welches sowohl Präzision als auch Signifikanz einschließt.