Inhaltsverzeichnis
1 Prinzip der Cook Distanzen – einflussreiche Fälle erkennen
Mit der Cook-Distanz in SPSS (folgend manchmal auch Cook’s Distance) kann man einflussreiche Fälle, u.a. im Rahmen einer multiplen linearen Regression identifizieren. Mitunter nennt man diese Fälle auch Ausreißer. Im Prinzip sind es aber für die Stichprobe ungewöhnliche Kombinationen von x-Variablen und y-Variable, die grafisch gesprochen (deutlich) außerhalb der Punktewolke liegen.
Im Beispieldiagramm sind die roten Dreiecke deutlich von der Punktewolke (grüne Datenpunkte) entfernt. Es ist einmal eine sehr große und leichte Person (rechts unten), und einmal eine sehr kleine und schwere Person (links oben) – gleichzeitig ist erkennbar, dass große und schwere Personen oder kleine und leichte Personen nichts ungewöhnliches für diese Stichprobe sind.
Bei den ungewöhnlichen Fällen (auch „Fälle mit Hebelwirkung“ genannt) wird die blaue (beste) Regressionsgerade jeweils in deren Richtung gehebelt, was jeweils die rote Regressionsgerade bedeuten würde. Diese passt jeweils deutlich schlechter für alle anderen Datenpunkte als vorher, was das Modell z.T. erheblich verschlechtern kann. Folglich ist es wünschenswert, solche Fälle zu identifizieren und über das weitere Vorgehen zu diskutieren.
Die Prüfung auf einflussreiche Fälle sollte routinemäßig im Rahmen Voraussetzungsprüfung der Regression.erfolgen.
2 Ermitteln der Cook-Distanz in SPSS
Zunächst wird ganz normal eine (multiple) lineare Regression vorbereitet.
Über „Analysieren“ > „Regression“ > „Linear“:
Im Beispiel möchte ich den Abiturschnitt mit den unabhängigen Variablen Motivation und Intelligenzquotient prognostizieren.
Nun ist lediglich über die Schaltfläche Speichern folgendes Dialogfeld aufzurufen:
Hier ist nur ein einziger Haken zu setzen: im Abschnitt „Distanzen“ bei „Cook“.
Über „Weiter“ und „OK“ wird die Regression berechnet und die Cook-Distanz in einer neuen Variable (COO_1) gespeichert.
Die Nummer am Ende dient lediglich der Zählung und wird immer um 1 höher, wenn weitere Cook-Distanzen in SPSS berechnet werden. Die Cook-Distanz findet man in der Datenansicht ganz am Ende:
Mit einem Rechtsklick auf COO_1 und einer absteigenden Sortierung sieht man die größten Werte, also Fälle mit großer Hebelwirkung für das gerechnete Modell ganz oben. Diese Fälle sollte man sich genauer anschauen, da sie potenziell die Regressionsgerade zu sehr in ihre Richtung hebeln und für den Großteil der Fälle damit eine schlechtere Passung zur Folge hat.
3 Interpretation der Cook-Distanz
Wie bereits erwähnt, dient die Cook-Distanz zur Identifikation von einflussreichen Fällen/Fällen mit großer Hebelwirkung.
Hierzu gibt es 3 Zugänge:
3.1 Zugang 1 und 2 – feste und halbfeste Grenzen
1) Cook, R., & Weisberg, S. (1982). Criticism and Influence Analysis in Regression. Sociological Methodology, 13, 313-361. sprechen von einer Grenze von 1 (S. 345). Sind also Cook-Distanzen unter 1, existieren in ihrer Auffassung keine einflussreichen Fälle.
2) Hardin, J. W., & Hilbe, J. M. (2007). Generalized linear models and extensions, S. 49. sprechen von problematischen Werten, die über 4/n liegen. n ist hierbei die Stichprobengröße. Im Falle meiner Stichprobe mit 51 Fällen wäre 0,078 der Grenzwert. Offensichtlich ist mit einer zunehmenden Stichprobengröße diese Grenze immer kleiner werdend. Das kann zu Problemen führen, weswegen man die dritte Variante in Betracht ziehen sollte.
3.2 Zugang 3 – Verhältnismäßigkeit
Hierbei gibt es keine festen oder variablen Grenzen. Vielmehr betrachtet man die Cook-Distanzen in Relation zueinander. Hierbei hilft ein einfaches Streudiagramm deutlich mehr als auf die nackten obigen Zahlen zu blicken.
Über „Grafik“ > „Diagrammerstellung…“ wird Streu-Punktdiagramm (1) gewählt und hier das einfache Streudiagramm (2) ausgewählt. Auf die y-Achse kommt die Cook’s Distance (3) und auf die x-Achse eine laufende Nummer oder die Fallnummer, die man sich zur Not generieren kann.
Das Streudiagramm sieht in meinem Fall wie folgt aus und wird per Doppelklick in den Editor geladen und um die Fallnummer im Datenbeschriftungsmodus per Linksklick auf die jeweiligen Datenpunkte ergänzt:
Hier ist erkennbar, dass Fall 7 und besonders Fall 15 eine große Cook-Distanz haben. Das war auch oben in der Tabelle schon erkennbar, dass die Distanzen 0,53382 und 0,19609 deutlich größer als der Rest sind. Diese Fälle stechen aber nun sehr deutlich hervor und sollten noch mal etwas näher betrachtet werden, anstatt sie direkt blind auszuschließen. Der tatsächliche Abiturschnitt und der prognostizierte weichen stark voneinander ab. Der 1. Schüler ist deutlich zu schlecht, der 2. Schüler etwas besser als erwartet.
Die Werte sind folgende:
| ID |
Abitur Tatsächlich |
Motivation | IQ |
Abitur Prognose |
| 15 | 3,4 | 3 | 97 | 2,64861 |
| 7 | 2 | 3 | 100 | 2,51618 |
Diskussion
Beim Durchscrollen des Datensatzes fällt insbesondere auf, dass Schüler mit einer hohen Motivation von 3 häufig einen deutlich besseren Abiturschnitt haben. Der Schüler mit ID 15 hat einen Schnitt von 3,4. Der „zweitschlechteste“ Schüler mit einer Motivation von 3 (höchste Ausprägung) hat einen Abiturschnitt von 2,2. Zwar spielt die Intelligenz auch eine nicht vernachlässigbare Rolle, allerdings haben im Datensatz motivierte Schüler mindestens einen IQ von 115 und damit per se eine bessere Grundveranlagung für gute schulische Leistungen. Man würde also eher einen höheren IQ und ein bessere Abiturnote für diese vergleichsweise hohe Motivation erwarten.
Warum hat Schüler mit ID 7 ebenfalls eine hohe Cook-Distanz? Hier ist die Motivation ebenfalls hoch, das Abitur entsprechend gut. Hier spielt vor allem der IQ eine Rolle. Die Grundveranlagung ist mit einem IQ von 100 zwar prinzipiell gegeben, allerdings schätzt das Modell auf Basis der vorliegenden Daten mit einem eher durchschnittlichen IQ die tatsächliche Note deutlich niedriger ein. Somit ist die tatsächliche Note besonders aufgrund des IQ’s zu hoch als erwartet werden würde.
4 Fazit – Ausreißer, oder nicht?
Bevor diese Frage beantwortet werden kann, muss die Frage gestellt werden, ob bei der Messung und Datenerfassung kein Fehler vorliegt. Vielleicht hat der Schüler mit der ID 15 ja ein Abitur von 2,4 statt 3,4 – ein Tippfehler bei der Erfassung ist denkbar. Oder aber der Schüler mit der ID 7 hat einen IQ von 110 und demzufolge wäre das gute Abitur für das Modell auch wieder plausibler. Wie aber nun weiter?
Aufgrund der vorliegenden Daten und der deutlichen Abweichung der tatsächlichen und geschätzten Werte können die zwei obigen Fälle sicherlich als ungewöhnliche Fälle (für die Stichprobe!) klassifiziert werden. Ist das ein Grund, sie auszuschließen?
Nicht unbedingt. Sind keine Mess- oder Erhebungsfehler ersichtlich bzw. wurden die Werte erneut auf Plausibilität geprüft und es konnte kein Fehler festgestellt werden, dann ist ein Ausschluss sehr schwer möglich. Hierfür gibt es schlicht keine Argumente.
Nur, weil die Beobachtungen anders als die Masse sind, ist das kein Grund sie auszuschließen – das Motto „was nicht passt, wird passend gemacht“ ist hier fehl am Platz. Eine Diskussion, warum diese Fälle ungewöhnlich sind, ist viel zielführender, besonders im Hinblick auf Folgeuntersuchungen, wo auch Ausreißer auftreten können.
5 Videotutorial
6 Literatur
- Cook, R., & Weisberg, S. (1982). Criticism and Influence Analysis in Regression. Sociological Methodology, 13, 313-361.
- Hardin, James W., and Joseph M. Hilbe. Generalized linear models and extensions. Stata press, 2007.
