Fleiss Kappa in SPSS berechnen

von | Mrz 11, 2022 | Interraterreliabilität, Kappa, SPSS | 0 Kommentare

Sinn und Zweck von Fleiss Kappa

Zur kurzen Einordnung: Fleiss’ Kappa berechnet die Interrater-Reliabilität zwischen mehr als zwei Personen (=Ratern). Damit dient es der Beurteilung von Übereinstimmung zwischen mindestens drei unabhängigen Ratern. Außerdem ist mit Kappa ersichtlich, wie sehr die Rater in ihren Urteilen übereinstimmen. Ein typisches Beispiel ist, ob drei Psychologen oder Ärzte bei ihren Diagnosen übereinstimmen und Patienten dieselben Krankheiten diagnostizieren oder eben nicht. Wenn es sich um nur zwei Rater handelt, ist Cohens Kappa zu berechnen.

 

Voraussetzungen zur Berechnung von Fleiss Kappa in SPSS

Für die Berechnung bedarf es lediglich einer nominalen Skalierung der zu prüfenden Variable. Die Einschätzungen der verschiedenen (hier genau drei) Rater sollten in verschiedenen Variablen, also spaltenweise vorliegen. In etwa so, wie im folgenden Bild. Hierbei bedeutet eine 0, dass die Rater keine Krankheit diagnostizierten. Eine 1 ist dementsprechend eine diagnostizierte Krankheit.

  datenbasis

 

Berechnung von Fleiss’ Kappa in SPSS

SPSS Version 25 und früher

Standardmäßig war die Berechnung von Fleiss’ Kappa in SPSS bis einschließlich Version 25 nicht möglich. Hierzu gibt es aber ein Plugin von IBM. Leider bietet es IBM nicht mehr auf seinen Seiten an – man soll ja die neue Version kaufen. 😉

Das Plugin kann man bei allerdings hier noch herunterladen. Die .spe-Datei muss man dazu lediglich herunterladen und mit einem Doppelklick installieren (Achtung: es können Administrator-Rechte notwendig sein).

Nach der Installation ist Fleiss’ Kappa in Analysieren > Skala > Fleiss Kappa verfügbar:

  menüansicht

 

Nach dem Klick auf Fleiss Kappa erhält man folgendes Dialogfeld:

dialogfeld fleiss

Sämtliche Rater, deren Urteilen verglichen werden sollen, müssen nach rechts geschoben werden. In meinem Fall sind das 3 Rater. Weitere Einstellmöglichkeiten existieren nicht und man kann mit OK die Berechnung ausführen.  

 

SPSS Version 26 und später

Ab Version 26 von SPSS ist Fleiss’ Kappa standardmäßig implementiert. Ihr findet es unter Analysieren > Skala > Reliabilitätsanalyse

Hier sind die Rater und deren Urteile in das Feld Bewertungen zu schieben.

Fleiss Kappa SPSS

 

Als Nächstes ist Statistiken auszuwählen. Im folgenden Dialogfeld ist im Bereich Bewerterübergreifende Übereinstimmung: Fleiss-Kappa der Haken bei Übereinstimmung bei einzelnen Kategorien anzuhaken. Danach geht es mit Weiter und OK zur Auswertung.

Fleiss Kappa SPSS

 

Interpretation der Ergebnisse von Fleiss’ Kappa in SPSS

SPSS gibt nun zwei Tabellen aus. “Overall Kappa” und “Kappas for Individual Categories”. Interessant ist nur die erste Tabelle mit “Overall Kappa”, welche unten steht:

fleiss kappa tabelle

In dieser Ergebnistabelle interessieren uns nur zwei Werte.

  • Der eine ist Kappa selbst und er beträgt 0,636.
  • Der zweite relevante Wert steht  in der vierten Spalte und ist die Signifikanz (p). Sie beträgt ,000.

Die Übereinstimmung anhand von Fleiss Kappa ist somit statistisch signifikant. Schließlich stellt sich die Frage, wie hoch die Übereinstimmung des Wertes 0,636 ist. Theoretisch kann sie zwischen perfekt (1) und schlecht (0) sein. Im Beispiel ist die Übereinstimmung beachtlich (“substantial”). Hierzu dient folgende Systematisierung nach Landis und Koch (1977).

cohen-landis-koch

Literatur

  • Fleiss, J. L. (1971) “Measuring nominal scale agreement among many raters.” Psychological Bulletin, Vol. 76, No. 5 pp. 378–382
  • Landis, J., & Koch, G. (1977). The Measurement of Observer Agreement for Categorical Data. Biometrics, 33(1), 159-174. doi:10.2307/2529310
  • Weitere nützliche Tutorials findest du auf meinem YouTube-Kanal.

     

    Videotutorial

    Fleiss' Kappa in SPSS berechnen - Daten analysieren in SPSS (71)
    Dieses Video ansehen auf YouTube.

     

    Tipp zum Schluss

    Findest du die Tabellen von SPSS hässlich? Dann schau dir mal an, wie man mit wenigen Klicks die Tabellen in SPSS im APA-Standard ausgeben lassen kann.

     

Hat dir der Beitrag geholfen?

Dann würde ich mich über eine kleine Spende freuen, die es mir erlaubt, weiterhin kostenfreie Inhalte zu veröffentlichen.
Alternativ kannst du über meinen Amazon Affiliate-Link einkaufen – ohne Zusatzkosten.

Vielen Dank und viel Erfolg!

Über mich

Björn Walther

Excel- und SPSS-Experte

YouTube-Kanal

Excel Online-Kurs

YouTube-Kanal