1 Objektivität von Messungen und Tests
Objektivität einer Messung oder, speziell in der Psychologie eines Tests bedeutet, dass die Rahmenbedingungen oder andere Einflussfaktoren keinen Einfluss nehmen konnten. Die Messung bzw. das Testergebnis ist folglich unabhängig von Rahmenbedingungen.
Das bedeutet: “Völlige Objektivität wäre also dann gegeben, wenn sowohl jeder beliebige [Test]Leiter, der einen bestimmten Test mit einer bestimmten [Test]Person durchführt, als auch jeder beliebige [Test]Auswerter die [Test]Leistung der [Test]Person genau gleich auswertet und interpretiert.” (Moosbrugger, Kelava (2011), S. 8)
Objektivität lässt sich folglich in Durchführungsobjektivität, Auswertungsobjektivität und Interpretationsobjektivität unterteilen.
2 Durchführungsobjektivität
Durchführungsobjektivität ist immer dann gegeben, wenn die Messung bzw. der Test unter kontrollierten, möglichst standardisierten Bedingungen stattfindet. Es sollte in dem Zusammenhang keine Einflussmöglichkeit durch einen Untersuchungsleiter gegeben sein. Selbst ein nur unbewusster unterschiedlicher Umgang mit Probanden durch den Untersuchungsleiter kann die Messung bzw. das Testergebnis beeinflussen/verzerren.
Instruktionen sollten daher schriftlich an Probanden gegeben werden, um solche sog. Versuchsleitereffekte (auch Rosenthal-Effekt, Rosenthal, R., Fode, K. L. (1963)) zu vermeiden.
Insbesondere computergestützte bzw. online durchgeführte Befragungen besitzen Durchführungsobjektivität, da keine Interaktion mit dem Versuchsleiter stattfindet, die verzerrend wirken könnte.
3 Auswertungsobjektivität
Auswertungsobjektivität ist immer dann gegeben, wenn die Testergebnisse bzw. die Messung nicht von der auswertenden Person abhängen. Sie sind somit intersubjektiv reproduzierbar (vgl. Bortz, J., Döring, N. (2016), S. 442). Auswertungsobjektivität ist gefährdet, wenn Antworten eines offenen Antwortformats von auswertenden Personen eingeschätzt oder bewertet werden oder von Probanden gezeigtes Verhalten beurteilt wird.
Wenn eine Einschätzung oder Bewertung unausweichlich ist,
- müssen sich detaillierte Kriterien bzw. Auswertungsregeln ohne Ermessensspielraum im Manual finden, die durch Auswertende befolgt werden.
- Zusätzlich sollten, wenn möglich, Einschätzungen durch mehrere, mindestens zwei, Auswertende vorgenommen werden und je nach Skalenniveau der Antwort das Maß an Übereinstimmung quantifiziert werden. Hierfür eignen sich folgende Maße:
Kategoriales Skalenniveau der Antwort
Ordinales Skalenniveau der Antwort
- Spearman-Rangkorrelationskoeffizient (SPSS, R)
- Kendall-Tau-Rangkorrelationskoeffizient (SPSS, R)
- Konkordanzkoeffizent nach Kendall
Intervallskalenniveau der Antwort: Intraklassenkorrelationskoeffizient (ICC)
Universelles Maß: Krippendorffs Alpha (Hayes, A. F., & Krippendorff, K. (2007))
Sollte es sich um einen Multiple-Choice-Fragebogen bzw. generell geschlossene Fragen mit festen Antwortvorgaben oder ein standardisiertes Interview handeln, besteht in der Regel Auswertungsobjektivität.
4 Interpretationsobjektivität
Interpretationsobjektivität ist immer dann gegeben, wenn die Interpretation der Testergebnisse nicht von der auswertenden Person abhängt. Es sollten demnach von unterschiedlichen auswertenden Personen dieselben Schlüsse aus den vorhandenen Befunden/Ergebnissen gezogen werden. Voraussetzung hierfür sind im Manual festgelegte unmissverständliche Regeln für die Interpretation von Ergebnissen.
Bei der Interpretation helfen Vergleichswerte, die Referenzcharakter bei der Interpretation ausüben (vgl. Rammstedt (2010), S. 242).
5 Literatur
- Bortz, J., Döring, N. (2016). Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften. Deutschland: Springer Berlin Heidelberg.
- Hayes, A. F., & Krippendorff, K. (2007). Answering the call for a standard reliability measure for coding data. Communication methods and measures, 1(1), 77-89.
- Moosbrugger, H., Kelava, A. (2011). Testtheorie und Fragebogenkonstruktion. Deutschland: Springer Berlin Heidelberg.
- Rammstedt, B. (2010). Reliabilität, validität, objektivität. In Handbuch der sozialwissenschaftlichen Datenanalyse, 239-258. VS Verlag für Sozialwissenschaften.
- Rosenthal, R., & Fode, K. L. (1963). The effect of experimenter bias on the performance of the albino rat. Behavioral Science, 8(3), 183-189.