Öffnen – Interrater Reliabilität – Übungen (PDF)
Interrater Reliabilität
Definition: Die Interrater-Reliabilität ist ein Maß für die Übereinstimmung zweier oder mehrerer Rater, die die gleiche Stimulus- oder Messreihe bewerten. Es gibt verschiedene Möglichkeiten, die Interrater-Reliabilität zu messen. Die allgemein akzeptierte Methode ist die Kappa-Statistik.
Beispiel: Zwei Rater bewerten 20 Patienten mit einer Skala von 1 bis 10. Die Ergebnisse sind in der Tabelle unten dargestellt. Die Interrater-Reliabilität wird berechnet, indem zuerst die Konkordanz zwischen den beiden Ratern berechnet wird. Dies wird durch Multiplikation der Zahl der Stimuli, die von beiden Ratern mit denselben Werten bewertet wurden, mit der Anzahl der Stimuli, die insgesamt bewertet wurden, dividiert. In diesem Fall sind es 18 Stimuli (Patienten), die von beiden Ratern mit denselben Werten bewertet wurden (Konkordanz). Die Interrater-Reliabilität beträgt somit 18/20 oder 0,9.
| Patient | Rater 1 | Rater 2 |
|---|---|---|
| 1 | 2 | 2 |
| 2 | 4 | 4 |
| 3 | 6 | 7 |
| 4 | 8 | 8 |
| 5 | 10 | 10 |
| 6 | 2 | 3 |
| 7 | 4 | 5 |
| 8 | 6 | 7 |
| 9 | 8 | 8 |
| 10 | 10 | 9 |
| 11 | 2 | 1 |
| 12 | 4 | 3 |
| 13 | 6 | 6 |
| 14 | 8 | 7 |
| 15 | 10 | 8 |
| 16 | 2 | 2 |
| 17 | 4 | 4 |
| 18 | 6 | 6 |
| 19 | 8 | 8 |
| 20 | 10 | 10 |
Berechnung der Kappa-Statistik
Die Kappa-Statistik ist eine weitere Möglichkeit, die Interrater-Reliabilität zu messen. Es gibt verschiedene Formeln für die Kappa-Statistik, aber die allgemein akzeptierte Formel ist die folgende:
In dieser Formel ist po dieObservierte Interrater-Reliabilität und pe die Erwartete Interrater-Reliabilität. Die Erwartete Interrater-Reliabilität wird berechnet, indem die Produkte der Einzelwerte jeder Rater multipliziert werden und dann durch die Anzahl der Stimuli dividiert wird.
Beispiel: In unserem Beispiel oben haben wir 20 Stimuli (Patienten). Die beobachtete Interrater-Reliabilität beträgt 18/20 oder 0,9. Die erwartete Interrater-Reliabilität wird berechnet, indem die Produkte der Einzelwerte jeder Rater multipliziert werden. In diesem Fall sind es 18 * 18 oder 324. Dies wird dann durch die Anzahl der Stimuli dividiert, um die erwartete Interrater-Reliabilität zu erhalten. In diesem Fall ist die erwartete Interrater-Reliabilität 324/20 oder 16,2.
Die Kappa-Statistik wird berechnet, indem zuerst die beobachtete Interrater-Reliabilität von der erwarteten Interrater-Reliabilität subtrahiert wird. In diesem Fall ist das 0,9-16,2 oder -15,3. Dies wird dann durch 1-16,2 dividiert, um die Kappa-Statistik zu erhalten. In diesem Fall ist die Kappa-Statistik -15,3/1-16,2 oder -0,93.
Berechnung der ICC (Intraklassenkorrelationskoeffizient)
Die ICC (Intraklassenkorrelationskoeffizient) ist eine weitere Möglichkeit, die Interrater-Reliabilität zu messen. Die ICC wird berechnet, indem zuerst die Varianz der Ratings der einzelnen Rater berechnet wird. Dies wird dann durch die Summe der Varianzen der einzelnen Rater und der Varianz des Stimulus- oder Messwerts dividiert. Die ICC wird dann durch 1 minus dieser Zahl berechnet.
Beispiel: In unserem Beispiel oben haben wir 20 Stimuli (Patienten). Die Varianz der Ratings der einzelnen Rater wird berechnet, indem zuerst die Summe der Squares der Abweichungen von den Mittelwerten der Ratings berechnet wird. In diesem Fall ist es 18 * 18 oder 324. Dies wird dann durch die Anzahl der Stimuli dividiert, um die Varianz der Ratings der einzelnen Rater zu erhalten. In diesem Fall ist die Varianz der Ratings der einzelnen Rater 324/20 oder 16,2.
Die Varianz des Stimulus- oder Messwerts wird berechnet, indem zuerst die Summe der Quadrate der Abweichungen von den Mittelwerten der Stimuli berechnet wird. In diesem Fall ist es 18 * 18 oder 324. Dies wird dann durch die Anzahl der Stimuli dividiert, um die Varianz des Stimulus- oder Messwerts zu erhalten. In diesem Fall ist die Varianz des Stimulus- oder Messwerts 324/20 oder 16,2.
Die ICC wird berechnet, indem zuerst die Varianz der Ratings der einzelnen Rater von der Summe der Varianzen der einzelnen Rater und der Varianz des Stimulus- oder Messwerts subtrahiert wird. In diesem Fall ist es 16,2-16,2-16,2 oder -32,6. Dies wird dann durch 1 minus dieser Zahl dividiert, um die ICC zu erhalten. In diesem Fall ist die ICC -32,6/1–32,6 oder 1,0.
Aufgaben
- Berechnen Sie die Interrater-Reliabilität für die folgenden Daten:
| Patient | Rater 1 | Rater 2 |
|---|---|---|
| 1 | 1 | 2 |
| 2 | 2 | 2 |
| 3 | 3 | 3 |
| 4 | 4 | 3 |
| 5 | 5 | 5 |
| 6 | 4 | 5 |
| 7 | 3 | 4 |
| 8 | 2 | 3 |
| 9 | 1 | 2 |
| 10 | 2 | 1 |
- Berechnen Sie die Kappa-Statistik für die folgenden Daten:
| Patient | Rater 1 | Rater 2 |
|---|---|---|
| 1 | 1 | 2 |
| 2 | 2 | 2 |
| 3 | 3 | 3 |
| 4 | 4 | 3 |
| 5 | 5 | 5 |
| 6 | 4 | 5 |
| 7 | 3 | 4 |
| 8 | 2 | 3 |
| 9 | 1 | 2 |
| 10 | 2 | 1 |
- Berechnen Sie die ICC für die folgenden Daten:
