Cohens Kappa in SPSS berechnen

1 Sinn und Zweck von Cohens Kappa

Zur kurzen Einordnung: Cohens Kappa berechnet die Interrater-Reliabilität zwischen zwei Personen (=Ratern). Damit dient es der Beurteilung von Übereinstimmung zwischen zwei unabhängigen Ratern. Außerdem kann es für die Intrarater-Reliabilität verwendet werden, um zu schauen, ob derselbe Rater zu unterschiedlichen Zeitpunkten mit derselben Messmethode ähnliche/gleiche Ergebnisse erzielt.
Zugleich wird mit Cohens Kappa ersichtlich, wie sehr der bzw. die Rater in ihrem bzw. ihren Urteilen übereinstimmen. Ein typisches Beispiel ist, ob zwei Ärzte bei ihren Diagnosen übereinstimmen und Patienten dieselben Krankheiten diagnostizieren oder eben nicht. Wenn es sich um mehr als zwei Rater handelt und deren Übereinstimmung verglichen werden soll, ist Fleiss Kappa zu berechnen.

 

2 Voraussetzungen zur Berechnung von Cohens Kappa in SPSS

Für die Berechnung bedarf es lediglich einer nominalen Skalierung der zu prüfenden Variable. Die Einschätzungen der verschiedenen Rater sollten in verschiedenen Variablen, also spaltenweise vorliegen. In etwa so, wie im folgenden Bild. Hierbei bedeutet eine 0, dass die Rater keine Krankheit diagnostizierten. Eine 1 ist dementsprechend eine diagnostizierte Krankheit.

 

3 Berechnung von Cohens Kappa in SPSS

Die Berechnung von Cohens Kappa in SPSS geht über Analysieren > Deskriptive Statistiken > Kreuztabellen.
In die Tabelle kommt einer der beiden Ratereinschätzungen in die Spalte, die andere in die Zeile. Das sollte dann so aussehen:

Als Nächstes muss unter dem Button “Statistiken” Kappa ausgewählt werden:

Zusätzlich kann man sich unter “Zellen” noch die Prozentwerte “Zeilenweise” und “Spaltenweise” ausgeben lassen, das ist aber nicht unbedingt notwendig und wird daher hier nicht weiter vertieft.

 

4 Interpretation der Ergebnisse von Cohens Kappa in SPSS

Als Erstes erhält man eine Übersicht über die Anzahl der verarbeiteten und damit von beiden Ratern beurteilten Fällen. Hier sind es 37. Fehlende Fälle gibt es keine.

 

Als Zweites gibt SPSS die Kreuztabelle aus. Hier sind 4 Fälle abgebildet.

1. 0x0: beide Rater diagnostizieren keine Krankheit (hier: 15)
2. 1×0: Rater 1 diagnostiziert eine Krankheit und Rater 2 diagnostiziert keine Krankheit (hier: 0)
3. 0x1: Rater 1 diagnostiziert keine Krankheit und Rater 2 diagnostiziert eine Krankheit (hier: 5)
4. 1×1: beide Rater diagnostizieren eine Krankheit (hier: 17)

Idealerweise treten die Fälle 1×0 und 0x1 nicht auf, da sie Abweichungen darstellen. Im vorliegenden Beispiel sind immerhin nur 5 Fälle falsch klassifiziert, wo Rater 1 nichts, Rater 2 aber eine Krankheit diagnostiziert hat. Jetzt stellt sich die Frage, ob das ein guter oder schlechter Wert ist. Hierzu schauen wir uns Cohens Kappa an:

Als Drittes schaut man in die Ergebnistabelle. Hier gibt es eigentlich nur zwei interessante Werte.

• Der eine ist Cohens Kappa selbst und er beträgt 0,734.
• Der zweite Wert steht in der letzten Spalte und ist die näherungsweise Signifikanz. Sie beträgt abgerundet ,000.

Die Übereinstimmung mit Cohens Kappa ist somit statistisch signifikant. Schließlich stellt sich die Frage, wie hoch die Übereinstimmung ist. Sie kann theoretisch zwischen perfekt (1) und schlecht (0) sein. Im Beispiel ist die Übereinstimmung beachtlich (“substantial”). Hierzu dient folgende Systematisierung nach Landis und Koch (1977).

 

5 Literatur

• Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and psychological measurement, 20(1), 37-46.
• Landis, J., & Koch, G. (1977). The Measurement of Observer Agreement for Categorical Data. Biometrics, 33(1), 159-174. doi:10.2307/2529310

6 Videotutorial

https://www.youtube.com/watch?v=hOCGtM6ShFE

 

7 Tipp zum Schluss

Findest du die Tabellen von SPSS hässlich? Dann schau dir mal an, wie man mit wenigen Klicks die Tabellen in SPSS im APA-Standard ausgeben lassen kann.

 

Weitere nützliche Tutorials findest du auf meinem YouTube-Kanal.