Item response theory; IRT; Differential item functioning; Instructional sensitivity; Validity; Research on instruction; Instructional quality; Instructional content
Naumann Alexander, Rieser Svenja, Musow Stephanie, Hochweber Jan, Hartig Johannes (2018), Sensitivity of Test Items to Teaching Quality, in
Learning and Instruction, 60, 41-53.
Naumann Alexander, Musow Stephanie, Aichele Christine, Hochweber Jan, Hartig Johannes (2018), Instruktionssensitivität von Tests und Items, in
Zeitschrift für Erziehungswissenschaften , 22(1), 181-202.
Naumann Alexander, Hartig Johannes, Hochweber Jan (2017), Absolute and Relative Measures of Instructional Sensitivity, in
Journal of Educational and Behavioral Statistics, 42(6), 678-705.
Naumann Alexander, Hochweber Jan, Klieme Eckhard (2016), A Psychometric Framework for the Evaluation of Instructional Sensitivity, in
Educational Assessment, 21(2), 89-101.
Ergebnisse aus standardisierten Schulleistungstests werden häufig genutzt, um Rückschlüsse auf die Qualität des Unterrichts ziehen zu können. Dies setzt voraus, dass die Testinstrumente instruktionssensitiv sind, d. h. dazu in der Lage sind, Effekte des Unterrichts abzubilden. Das Projekt baut auf einem von Naumann, Hochweber und Hartig (2014) vorgestellten längsschnittlichen Mehrebenen-Differential-Item-Functioning-Modell (LML-DIF-Modell) zur Untersuchung von Instruktionssensitivität auf. Dieses Modell integriert bestehende Ansätze, indem es sowohl Veränderungen in Schülerleistungen über die Zeit als auch Unterschiede zwischen Schulklassen einbezieht, und es erlaubt die Unterscheidung der globalen und differenziellen Sensitivität von Tests und Items. Das beantragte Projekt verfolgt vier Ziele, von denen die ersten beiden primär methodologischer Natur sind: (1) die Weiterentwicklung des LML-DIF-Modells und (2) die Untersuchung der Qualität und Bedingungen der Parameterschätzung. Zwei weitere Ziele beziehen sich auf inhaltlichen Fragen der Unterrichtsforschung und Testentwicklung: (3) die Validierung von statistischen Indikatoren für Instruktionssensitivität und (4) die Entwicklung von Kriterien zur Klassifikation der Instruktionssensitivität auf Test- und Itemebene. Die Arbeitspakete zur Erreichung dieser Ziele lassen sich einteilen in die Bereiche Modellentwicklung, Simulationsstudien, Sekundäranalysen und eine Datenerhebung an Schweizer Schulen. Eine Weiterentwicklung des Modells soll hinsichtlich des Einbezugs der Instruktionssensitivität auf Testebene, des Einbezugs von Prädiktorvariablen, der Modellierung variierender Itemdiskriminationen, der Verallgemeinerung auf mehrstufige Antworten und der Anwendung auf Trenddaten erfolgen. Simulationsstudien unterstützen die Modellentwicklung und dienen der Erforschung der Qualität und Bedingungen der Parameterschätzung (z. B. Stichprobenanforderungen). Sekundäranalysen dienen der Entwicklung von Kriterien für "hohe" oder "geringe" Instruktionssensitivität; hierzu sollen so viele geeignete Datensätze wie möglich reanalysiert werden. Darüber hinaus sollen statistische Indikatoren für Instruktionssensitivität validiert werden, indem deren Zusammenhänge mit Prädiktoren auf Klassen- und Itemebene gezeigt werden. Einige weitere Sekundäranalysen dienen darüber hinaus der Ersterprobung von neu entwickelten Modellvarianten. Da in den Daten aus bereits vorliegenden Studien einige für unsere Fragestellungen interessante Variablen fehlen, ist schliesslich die Erhebung eigener Testdaten an Schweizer Schulen geplant. Hierbei liegt der Fokus auf detaillierten Untersuchungen des Unterrichtsinhalts und umfassenden Einschätzungen der Testaufgaben bezüglich ihrer Nähe zum Unterricht.