Regressionsvoraussetzungen / -empfehlungen?

Dieser Beitrag behandelt die 9 wesentlichen Voraussetzungen einer einfachen sowie multiplen linearen Regression. Die unten genannten Voraussetzungen 3-6 sowie 8 und 9 können erst nach Berechnung des Regressionsmodells geprüft werden. Streng genommen sind die Voraussetzungen nicht alle zwingend notwendig, allerdings empfehlenswert, um Implikationen ableiten zu können und keine weiteren Limitationen der Studie und deren Ergebnisse diskutieren zu müssen.

Der Satz von Gauß besagt, dass in einem linearen Regressionsmodell mit den erfüllten Annahmen für die Fehlerterme I) Erwartungswert von Null, II) konstante Varianz („Homoskedastizität“) und III) Unkorreliertheit, der Kleinste-Quadrate-Schätzer der beste lineare erwartungstreue Schätzer (BLES oder BLUE auf Englisch) ist. „Beste“ bedeutet hier, dass er unter allen linearen und erwartungstreuen Schätzern die kleinste (Ko-)Varianz hat.

Die Residuen (= Differenzen zwischen den beobachteten Werten der abhängigen Variablen und den vorhergesagten Werten der abhängigen Variablen durch das Modell) sind Schätzungen der Fehlerterme und werden oft synonym verwendet.

 

1. Linearität

Die Beziehung zwischen der bzw. den unabhängigen Variablen (x) und der abhängigen Variable (y) sollte (halbwegs) linear sein – sonst bräuchte man ja keine lineare Regression zu rechnen. Das bedeutet, dass eine Steigerung einer unabhängigen Variable um eine Einheit zu einer proportionalen Erhöhung oder Verringerung der abhängigen Variable führt. Bei einer perfekten Linearität von 1 : 1 führt eine Steigerung der unabhängigen Variable zu einer exakten Erhöhung der y-Variable um denselben Wert.

Im Vorfeld einer Analyse unbekannte Zusammenhänge lassen sich allerdings meist auch hinreichend gut durch lineare Zusammenhänge approximieren (vgl. Cohen et al. (2003), S. 195). Ein Streudiagramm zur Veranschaulichung des Zusammenhanges zwischen unabhängigen Variable und abhängiger Variable kann hierfür hilfreich sein (siehe unten), besonders wenn es sich um nur eine einfache lineare Regression handelt, die den Einfluss nur einer unabhängigen Variable auf die abhängige Variable untersucht.

Im multiplen linearen Kontext muss allerdings auch nicht jede aufgenommene unabhängigen Variable linear mit der y-Variable zusammenhängen – das ist in der Praxis ohnehin nicht der Fall. Wichtiger ist, dass die unabhängigen Variablen untereinander ja auch in irgendeiner Form korrelieren und diese Korrelation im multiplen Regressionskontext hiermit beachtet wird.

Exemplarisch zeigt das nachfolgende Streudiagramm einen linearen Zusammenhang mithilfe einer Regressionsgeraden, welche den in Summe geringsten Abstand zu allen Datenpunkten hat.

 

2. Zufallsstichprobe

Der Datensatz, welcher für die Modellschätzung verwendet wird, muss aus zufälligen Beobachtungen bestehen. Anders ausgedrückt, es sollten voneinander unabhängige Beobachtungen vorliegen. Damit ist gemeint, dass „die Entscheidung darüber, welche Untersuchungsobjekte zur Stichprobe gehören und welche nicht, ausschließlich vom Zufall abhängt.“ (Döring, Bortz (2016), S. 310).

Mit einer Zufallsstichprobe ist sichergestellt, dass die Ergebnisse und Erkenntnisse aus der Regression der Stichprobe auf die (gesamte) Population übertragbar sind und keine Verfälschungen durch systematische Verzerrungen existieren. In der Praxis und speziell bei Onlinebefragungen wird i.d.R. von einem hohen Maß an Zufälligkeit ausgegangen. Ein die Zufälligkeit einschränkender Faktor ist zum Beispiel, wenn die Einladungen zur Befragung nur im sozialen (privaten/beruflichen) Umfeld der Versuchsleitung gestreut werden. Hierdurch kann ein sog. selection bias entstehen, welcher die Verallgemeinerbarkeit der Erkenntnisse einschränken könnte.

 

3. Keine Multikollinearität

Multikollinearität beschreibt hohe Korrelationswerte von unabhängigen Variablen untereinander. In der einfachen linearen Regression existiert nur eine unabhängige Variable, weswegen per definition keine Multikollinearität vorliegen kann.

Würde in einer multiplen linearen Regression Multikollinearität vorliegen, würde das bedeuten, dass eine unabhängige Variable im Extremfall als (exakt) lineare Funktion einer anderen ausgedrückt werden kann. Inhaltlich ist das meist der Fall, wenn zwei Variablen aufgenommen werden, die sehr ähnliche Dinge messen (z.B. Alter in Jahren und Berufserfahrung in Jahren). Eine Folge von Multikollinearität sind verzerrte Schätzungen der Regressionskoeffizienten.

Eine Korrelation der unabhängigen Variablen von bis zu 0,8 gilt i.d.R. als unbedenklich (Field (2018), S. 402). Werte darüber sind ein starker Indikator für Multikollinearität. Die Prüfung sollte allerdings nicht lediglich grafisch oder anhand der Korrelation erfolgen, sondern vornehmlich analytisch mit den sog. VIF-Werten (z.B. in R, SPSS).

Ein Ausschluss von problematischen unabhängigen Variablen sollte NIE alleinig anhand der VIF-Werte vorgenommen werden, sondern immer auch inhaltlich begründet werden.

 

4. Exogenität der unabhängigen Variablen

Die unabhängigen Variablen müssen exogen sein, das heißt, sie dürfen nicht mit dem Fehlerterm (Epsilon) korrelieren.
Korrelieren die unabhängigen Variablen mit dem Fehlerterm, würde sog. Endogenität vorliegen.

Exogenität gewährleistet, dass die Schätzungen der Regressionskoeffizienten unverzerrt sind. Dies kann überprüft werden, indem die Korrelation zwischen den unabhängigen Variablen und dem Fehlerterm analysiert wird. Endogenität geht zumeist darauf zurück, dass wichtige Einflussvariablen im Modell fehlen. Seltener, aber auch möglich, können Messfehler (keine hinreichende Validität der verwendeten Skalen) als Ursache angeführt werden (vgl. Wooldridge (2013), S. 683).

Sollte eine theoretisch-konzeptionelle Modellherleitung vorgenommen worden sein, ist die Wahrscheinlichkeit für Endogenität erfahrungsgemäß allerdings eher gering.

 

5. Homoskedastizität der Residuen

Homoskedastizität beschreibt eine gleichmäßige bzw. gleichbleibende Varianz der Residuen des Regressionsmodells. Residuen sind die Differenz zwischen den durch das Modell geschätzten und tatsächlich beobachteten Werten der abhängigen Variable.

Zur Prüfung werden in einem Streudiagramm (Residuals vs. Fitted) die Residuen an der y-Achse und die durch das Modell geschätzten Werte der abhängigen Variable an der x-Achse abgetragen (R, SPSS). Alternativ kann auch ein White-Test oder Breusch-Pagan-Test gerechnet werden (in R, SPSS). Diese haben aber den Nachteil, dass sie bei kleinen Stichproben zu liberal und bei großen Stichproben zu sensitiv bei Verletzungen sind (vgl. Lantz (2003)).

Beispielsweise zeigt das obige Diagramm eher heteroskedastische also ungleichmäßige Streuung der Residuen. Im Idealfall wäre die rote Linie exakt auf der gestrichelten 0-Linie bzw. weist wenige „Dellen“ auf.

Die Folge von Heteroskedastizität sind verzerrt geschätzte Standardfehler der Koeffizienten. Da diese zu verzerrten t-Werten führen, sind damit automatisch auch die p-Werte der Koeffizienten verzerrt. Die Wahrscheinlichkeit Fehler 1. Art und Fehler 2. Art bei der Hypothesenprüfung zu begehen sind damit erhöht. Es besteht also eine erhöhte Chance Effekte nicht zu erkennen oder nicht vorhandene Effekte als vorhanden zu diagnostizieren.

Gleichzeitig ist auch der p-Wert des F-Tests (infolge eines verzerrten F-Wertes) verzerrt. Dies ist aber häufig weniger problematisch, da die Verzerrungen bei fundierten Modell typischerweise nicht so groß sind.

Eine geeignete Gegenmaßnahme ist das pauschale Schätzen robuster Standardfehler (vgl. Hayes (2013, S. 714), die sich bei Vorliegen von Heteroskedastizität von den Standardfehlern unterscheiden: „investigators should employ a heteroskedasticity-consistent estimator such as HC3—if not as a matter of routine, at least as a means of doublechecking one’s inferences to see if they might be influenced by heteroskedasticity“ (ebda.). Es gibt auch noch weitere Möglichkeiten (Ampassung der Modellspezifikation, Transformation der AV, EGLS-Regression), i.d.R. sind robuste Standardfehler aber völlig ausreichend (vgl. Kaufman (2013), S. 74-75, Wooldridge (2013), S. 296)

 

6. Normalverteilung der Residuen

Die Residuen des Regressionsmodells sollten in etwa einer Normalverteilung folgen – grafisch gesprochen bilden sie eine Glockenkurve, symmetrisch um ihren Mittelwert. Diese Annahme ist besonders wichtig für die Durchführung von Hypothesentests, weil keine annähernde Normalverteilung „means that the t statistics will not have t distributions and the F statistics will not have F distributions. This is a potentially serious problem because our inference hinges on being able to obtain critical values or p-values from the t or F distributions.“ (Wooldridge (2012), S. 174). Somit ist das Ziehen von Schlussfolgerungen bei Nichtnormalverteilung eingeschränkt.

ACHTUNG: Die unabhängigen Variablen als auch die abhängige Variable können völlig beliebig verteilt sein. Normalverteilte Variablen sind ein Mythos!

Die Prüfung erfolgt typischerweise grafisch mittels Histogramm oder Q-Q-Plot oder analytischer Tests (in R, SPSS). Die häufig anzutreffenden analytischen Tests sind der Kolmogorov-Smirnov sowie der Shapiro-Wilk-Test, welche jedoch nicht zu empfehlen sind. Sie sind bei kleinen Stichproben zu liberal bei Abweichungen von der Normalverteilung und bei großen Stichproben zu sensitiv bei vernachlässigbaren Abweichungen von der Normalverteilung (vgl. Lantz (2003). Die grafische Prüfung ist demzufolge vorzuziehen. Aber auch hier kann bei der Breite der Säulen beim Histogramm „getrickst“ werden, weswegen Q-Q-Diagramme zu empfehlen sind:

 

7. Skalenniveau der abhängigen Variable

Die abhängige Variable sollte ein intervall- oder verhältnisskaliertes Messniveau besitzen. sein. Die unabhängigen Variablen können ein beliebiges Messniveau besitzen, also dichotom (2 Ausprägungen), kategorial mit mehr als 2 Ausprägungen, ordinal oder metrisch (intervall- bzw. verhältnisskaliert.

Achtung: Bei der Verwendung latenter Konstrukte werden diese typischerweise über validierte Skalen (mehrere Items auf einer Likert-Skala) operationalisiert. Wird aus ordinalskalierten Items ein Skalenwert (Summe oder Mittelwert) gebildet, gilt dies als quasimetrisch und damit ist deren Verwendung als abhängige Variable in der linearen Regression zulässig. (vgl. zur Skalenaxiomatik und begründbarer liberaler Haltung hierzu: Bortz, Schuster (2011), S. 23)

 

8. Keine einflussreichen Fälle

Mit einflussreichen Fällen sind Fälle mit großer Hebelwirkung gemeint. Sie liegen zumeist weit von der Mehrheit der Beobachtungen entfernt und üben einen überproportionalen Einfluss auf die Lage der Regressionsgerade und damit die Koeffizientenschätzungen aus (vgl. Wooldridge (2013), S. 326-328). Sie hebeln die Gerade sozusagen in ihre Richtung, weswegen man auch von Fällen mit (großer) Hebelwirkung spricht. Beispielsweise würden die beiden roten Dreiecke in der schematischen Darstellung einer einfachen lineare Regression jeweils die rote statt der blauen Regressionsgerade zur Folge haben.

Einflussreiche Fälle können NICHT oder nur sehr schwer (im multiplen Regressionsmodell) im Vorfeld ausgemacht werden, sind also erst nach Berechnung des Modells erkennbar. Hierzu wird häufig die Cook’s Distanz verwendet (in SPSS, R).

Diese Distanzen können auch in einem Streudiagramm abgetragen werden, wo problematische Fälle zumeist mit ihrer Fallnummer direkt angezeigt werden.

Die Existenz von einflussreichen Fällen rechtfertigt KEINEN pauschalen Auschluss. Vielmehr ist das lediglich ein Hinweis darauf, dass diese Fälle für die Stichprobe ungewöhnliche/unplausible Kombinationen der unabhängigen Variable(n) und abhängigen Variable aufweisen. Für jene sollte daher geprüft werden, ob keine Mess- oder Erfassungsfehler existieren oder es sich um sog. „Extremkreuzer“ handelt. Sollten es keine offensichtlichen Fehler geben, gibt es KEINE Argumente für einen Ausschluss.

 

9. Keine Autokorrelation (optional)

Autokorrelation beschreibt eine Korrelation der Residuen verschieden von Null. Die Residuen sollten allerdings unkorreliert sein, was mit dem Durbin-Watson-Test geprüft wird. Aber Achtung: Autokorrelation spielt nur wirklich bei Zeitreihendaten eine Rolle oder Regressionsdaten, wo die Reihenfolge der Fälle inhaltlich bedeutsam und nicht änderbar ist (vgl. Field (2018), S. 387), was bei typischen Regressionsanalysen von Querschnittsdaten NICHT gegeben ist. Unabhängig davon kann dem sich daraus ergebendem Problem verzerrter Standardfehler der Koeffizienten analog zu Heteroskedastizität mit der pauschalen Berechnung robuster Standardfehler begegnet werden (vgl. Abschnitt 5).

 

10. Literatur

• Bortz, J., Schuster, C. (2011). Statistik für Human- und Sozialwissenschaftler: Limitierte Sonderausgabe. Deutschland: Springer Berlin Heidelberg.
• Cohen, J.; Cohen, P.; West, S. G.; Aiken, L. S. (2003): Applied multiple regression/correlation analysis for the behavioral sciences. 3. Aufl. Mahwah, N.J: L. Erlbaum Associates.
• Döring, N., Bortz, J. (2016). Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften. Deutschland: Springer Berlin Heidelberg.
• Field, A. P. (2018). Discovering statistics using IBM SPSS statistics. London ; Thousand Oaks.
• Hayes, A. F., & Cai, L. (2007): Using heteroskedasticity-consistent standard error estimators in OLS regression: An introduction and software implementation. Behavior research methods, 39(4), 709-722.
• Kaufman, R. L. (2013). Heteroskedasticity in Regression: Detection and Correction. USA: SAGE Publications.
• Lantz, B. (2013). The large sample size fallacy. Scandinavian journal of caring sciences, 27(2), 487-492.
• Wooldridge, J. M. (2013). Introductory Econometrics: A Modern Approach. South-Western Cengage Learning.