Project

Back to overview

"Instruktionssensitivität von Testitems in der Pädagogisch-Psychologischen Diagnostik"

Applicant Hochweber Jan
Number 157261
Funding scheme Project funding (Div. I-III)
Research institution Institut Professionsforschung und Kompetenzentwicklung Pädagogische Hochschule St. Gallen
Institution of higher education Pädagogische Hochschule St.Gallen - PHSG
Main discipline Education and learning sciences, subject-specific education
Start/End 01.10.2015 - 28.02.2019
Approved amount 246'535.00
Show all

Keywords (8)

Item response theory; IRT; Differential item functioning; Instructional sensitivity; Validity; Research on instruction; Instructional quality; Instructional content

Lay Summary (German)

Lead
Ergebnisse von Schülerinnen und Schülern aus standardisierten Leistungstests werden häufig als für den Rückschluss auf die Qualität von Schule und Unterricht genutzt. Dieses Vorgehen setzt voraus, dass die Testinstrumente im Allgemeinen instruktionssensitiv sind, also dazu in der Lage, Lernzuwächse als Folge von Unterricht abzubilden. Das Projekt untersucht, wie sich die Instruktionssensitivität von Tests und Items empirisch erfassen und in der pädagogisch-psychologischen Diagnostik praktisch nutzen lässt.
Lay summary

Ziele des Forschungsprojekts

Das Projekt baut auf einem von Naumann, Hochweber und Hartig (2014) vorgestellten statistischen Modell (LML-DIF-Modell) zur Analyse der Instruktionssensitivität von Testitems auf. Dieses Modell integriert bestehende Ansätze zur Erfassung von Instruktionssensitivität, indem es sowohl Veränderungen in Schülerleistungen über die Zeit als auch Unterschiede in den Schülerleistungen zwischen Schulklassen einbezieht. Im Projekt werden vier übergeordnete Ziele verfolgt:
-  die Weiterentwicklung des LML-DIF-Modells
-  die Untersuchung der Qualität und Bedingungen der Parameterschätzung
-  die Validierung von statistischen Indikatoren für Instruktionssensitivität
-  die Entwicklung von Kriterien zur Klassifikation von Instruktionssensitivität auf Test- und Itemebene

Wissenschaftlicher und gesellschaftlicher Kontext

Von Schülerinnen und Schülern gezeigte Leistungen in curriculums- oder standardbasierten Leistungsmessungen dienen oftmals als ein zentrales Erfolgskriterium für die Wirksamkeit von Schul- und Bildungssystemen, Schultypen, Schulen oder Unterricht. Eine Voraussetzung, um von den Testergebnissen Rückschlüsse auf die Qualität des Unterrichts ziehen zu können ist, dass die Testinstrumente Lernzuwächse infolge von Unterricht überhaupt erfassen können, die Instrumente also instruktionssensitiv sind. Das vorliegende Projekt befasst sich mit der (Weiter-)Entwicklung statistischer Modelle zur Analyse der Instruktionssensitivität von Testinstrumenten sowie der zugehörigen psychometrischen Theorie und trägt so dazu bei, dass an Schulen durchgeführte Leistungstests den intendierten Zielsetzungen gerecht werden können.
Direct link to Lay Summary Last update: 25.09.2015

Responsible applicant and co-applicants

Employees

Publications

Publication
Sensitivity of Test Items to Teaching Quality
Naumann Alexander, Rieser Svenja, Musow Stephanie, Hochweber Jan, Hartig Johannes (2018), Sensitivity of Test Items to Teaching Quality, in Learning and Instruction, 60, 41-53.
Instruktionssensitivität von Tests und Items
Naumann Alexander, Musow Stephanie, Aichele Christine, Hochweber Jan, Hartig Johannes (2018), Instruktionssensitivität von Tests und Items, in Zeitschrift für Erziehungswissenschaften , 22(1), 181-202.
Absolute and Relative Measures of Instructional Sensitivity
Naumann Alexander, Hartig Johannes, Hochweber Jan (2017), Absolute and Relative Measures of Instructional Sensitivity, in Journal of Educational and Behavioral Statistics, 42(6), 678-705.
A Psychometric Framework for the Evaluation of Instructional Sensitivity
Naumann Alexander, Hochweber Jan, Klieme Eckhard (2016), A Psychometric Framework for the Evaluation of Instructional Sensitivity, in Educational Assessment, 21(2), 89-101.

Scientific events

Active participation

Title Type of contribution Title of article or contribution Date Place Persons involved
Annual Meeting of the National Council on Measurement in Education (NCME) Talk given at a conference Multilevel IRT as a validation strategy for expert judgements on instructional sensitivity. Symposium: Application of multilevel IRT models for collecting valitity evidence in educational assessment 04.04.2019 Toronto, Canada Hartig Johannes; Hochweber Jan; Leininger Stephanie;
Annual Meeting of the National Council on Measurement in Education (NCME) Talk given at a conference A longitudinal multilevel extension of the linear logistic test model to predict the instructional sensitivity of test items. Symposium: Application of multilevel IRT models for collecting valitity evidence in educational assessment. 04.04.2019 Toronto, Canada Leininger Stephanie; Hochweber Jan; Hartig Johannes;
7. Tagung der Gesellschaft für Empirische Bildungsforschung (GEBF) Talk given at a conference Sensitivität von Testitems für Unterrichtsinhalte und Lernmotivation 25.02.2019 Köln, Germany Leininger Stephanie; Hochweber Jan; Hartig Johannes;
83. Tagung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF) Talk given at a conference Relevanz der Instruktionssensitivität von Testitems bei der Konstruktion von Schulleistungstests 24.09.2018 Lüneburg, Germany Leininger Stephanie; Hochweber Jan; Hartig Johannes;
83. Tagung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF) Talk given at a conference Sensitivität von Testaufgaben zu Unterrichtsqualität 24.09.2018 Lüneburg, Germany Hochweber Jan; Leininger Stephanie; Hartig Johannes;
51. Kongress der Deutschen Gesellschaft für Psychologie (DGPs) Talk given at a conference Modellierung der Instruktionssensitivität von Items in Erhebungsdesigns mit mehr als zwei Messzeitpunkten 15.09.2018 Frankfurt, Germany Hochweber Jan; Hartig Johannes; Leininger Stephanie;
EARLI SIG 18 (Special Interest Group 18: Educational Effectiveness) Talk given at a conference Validity of test score interpretations: The role of instructional sensitivity 29.08.2018 Groningen, Netherlands Leininger Stephanie; Hartig Johannes; Hochweber Jan;
EARLI SIG 18 (Special Interest Group 18: Educational Effectiveness) Talk given at a conference How to measure instructional sensitivity? An investigation of the judgemental approach 29.08.2018 Groningen, Netherlands Hochweber Jan; Hartig Johannes; Leininger Stephanie;
The 8th European Congress of Methodology (EAM) Talk given at a conference Instructional sensitivity of polytomous test and questionnaire items 25.07.2018 Jena, Germany Leininger Stephanie; Hochweber Jan; Hartig Johannes;
Kongress der Schweizerischen Gesellschaft für Bildungsforschung (SGBF) Talk given at a conference Das Verhältnis von Unterrichts- und Schüler/innen-Merkmalen in der Evaluation der Instruktionssensitivität von Testaufgaben 27.06.2018 Zürich, Switzerland Hochweber Jan; Hartig Johannes; Leininger Stephanie;
Kongress der Schweizerischen Gesellschaft für Bildungsforschung (SGBF) Talk given at a conference Eigenschaften von Expertenratings in der Evaluation der Instruktionssensitivität von Testaufgaben 27.06.2018 Zürich, Switzerland Hochweber Jan; Hartig Johannes; Leininger Stephanie;
Annual Meeting der American Educational Research Association (AERA) Talk given at a conference Linking test and item sensitivity. Symposium: Validity of educational assessment: Capturing (instructional effects on) students‘ learning growth 13.04.2018 New York, United States of America Hartig Johannes; Leininger Stephanie; Hochweber Jan;
Annual Meeting der American Educational Research Association (AERA) Talk given at a conference The impact of student characteristics on estimates of test items‘ instructional sensitivity. Symposium: Validity of educational assessment: Capturing (instructional effects on) students‘ learning growth 13.04.2018 New York, United States of America Leininger Stephanie; Hochweber Jan; Hartig Johannes;
6. Tagung der Gesellschaft für Empirische Bildungsforschung (GEBF) Talk given at a conference Expertenratings - Ein Verfahrensvergleich zur Evaluation der Instruktionssensitvität von Testitems 15.02.2018 Basel, Switzerland Hochweber Jan; Leininger Stephanie; Hartig Johannes;
6. Tagung der Gesellschaft für Empirische Bildungsforschung (GEBF) Talk given at a conference Vorhersage statischer Indikatoren der Instruktionssensitivität durch Expertenratings 15.02.2018 Basel, Switzerland Leininger Stephanie; Hartig Johannes; Hochweber Jan;
Kolloquium der Abteilung Bildungsqualität und Evaluation (BIQUA), DIPF Individual talk Sensitivity of Test Items to Teaching Quality 15.11.2017 Frankfurt am Main, Germany Hochweber Jan; Leininger Stephanie; Hartig Johannes;
Kolloquium der Abteilung Bildungsqualität und Evaluation (BIQUA), DIPF Individual talk Expert ratings – an appropriate method to evaluate the instructional sensitivity of test items? 15.11.2017 Frankfurt am Main, Germany Hartig Johannes; Hochweber Jan; Leininger Stephanie;
82. Tagung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF) Talk given at a conference Evaluation der Instruktionssensitivität als Gütekriterium von Schulleistungstests 25.09.2017 Tübingen, Germany Hartig Johannes; Leininger Stephanie; Hochweber Jan;
82. Tagung der Arbeitsgruppe für Empirische Pädagogische Forschung (AEPF) Talk given at a conference Instruktionssensitivität von Testitems und die Bedeutung für die Testwertinterpretation 25.09.2017 Tübingen, Germany Hartig Johannes; Hochweber Jan;
13. Tagung der Fachgruppe Methoden & Evaluation der Deutschen Gesellschaft fur Psychologie (DGPs) Talk given at a conference Die Rolle von Itemkovarianzstrukturen auf Klassenebene in der Messung von Instruktionssensitivität 17.09.2017 Tübingen, Germany Hochweber Jan; Hartig Johannes;
17th Biennial Conference der European Association for Research on Learning and Instruction (EARLI) Talk given at a conference Measuring the instructional sensitivity of items 27.08.2017 Tampere, Finland Hartig Johannes; Hochweber Jan;
17th Biennial Conference der European Association for Research on Learning and Instruction (EARLI) Talk given at a conference Evaluating the instructional sensitivity of test items in consideration of student characteristics 27.08.2017 Tampere, Finland Leininger Stephanie; Hochweber Jan; Hartig Johannes;
17th Biennial Conference der European Association for Research on Learning and Instruction (EARLI) Talk given at a conference Using item properties to predict the instructional sensitivity of test items 27.08.2017 Tampere, Finland Hochweber Jan; Leininger Stephanie; Hartig Johannes;
Kongress der Schweizerischen Gesellschaft für Bildungsforschung (SGBF) Talk given at a conference Die Instruktionssensitivität von Schulleistungstests – Welche Relevanz haben Schülermerkmale bei der Überprüfung dieses Gütekriteriums? 26.06.2017 Fribourg, Switzerland Hartig Johannes; Hochweber Jan; Leininger Stephanie;
Kongress der Schweizerischen Gesellschaft für Bildungsforschung (SGBF) Talk given at a conference Die Sensitivität von Testaufgaben für die Inhalte des Unterrichts – eine längsschnittliche Perspektive 26.06.2017 Fribourg, Switzerland Leininger Stephanie; Hochweber Jan; Hartig Johannes;
5. Tagung der Gesellschaft für Empirische Bildungsforschung (GEBF) Talk given at a conference Messung der Instruktionssensitivität von Items: absolute und relative Maße 13.03.2017 Heidelberg, Germany Hartig Johannes; Hochweber Jan;
5. Tagung der Gesellschaft für Empirische Bildungsforschung (GEBF) Talk given at a conference Evaluation der Instruktionssensitivität von Schulleistungstests unter Berücksichtigung von Schülermerkmalen 13.03.2017 Heidelberg, Germany Hartig Johannes; Leininger Stephanie; Hochweber Jan;
13. Tagung der Fachgruppe Methoden und Evaluation der Deutschen Gesellschaft für Psychologie (DGPs) Talk given at a conference Ein Ansatz zur Erklärung der Instruktionssensitivität von Testitems basierend auf schwierigkeitsbestimmenden Aufgabenmerkmalen 18.09.2016 Tübingen, Germany Hartig Johannes; Hochweber Jan;
Kongress der Schweizerischen Gesellschaft für Bildungsforschung (SGBF) Talk given at a conference Ein Ansatz zur Erklärung der Instruktionssensitivität von Testitems basierend auf schwierigkeitsbestimmenden Aufgabenmerkmalen 29.06.2016 Lausanne, Switzerland Leininger Stephanie; Hartig Johannes; Hochweber Jan;
Annual Meeting der American Educational Research Association (AERA) Talk given at a conference On the sensitivity of achievement test items to cognitive activation 08.04.2016 Washington, DC., United States of America Hartig Johannes; Hochweber Jan;
Annual Meeting des National Council on Measurement in Education (NCME) Talk given at a conference Modeling the instructional sensitivity of polytomous items 07.04.2016 Washington, DC, United States of America Hartig Johannes; Hochweber Jan;
4. Tagung der Gesellschaft für Empirische Bildungsforschung (GEBF) Talk given at a conference Instruktionssensitivität polytomer Test- und Fragebogenitems 07.03.2016 Berlin, Germany Hochweber Jan; Hartig Johannes;


Associated projects

Number Title Start Funding scheme
182216 Construction of instructionally sensitive test items 01.01.2020 Project funding (Div. I-III)
182216 Construction of instructionally sensitive test items 01.01.2020 Project funding (Div. I-III)

Abstract

Ergebnisse aus standardisierten Schulleistungstests werden häufig genutzt, um Rückschlüsse auf die Qualität des Unterrichts ziehen zu können. Dies setzt voraus, dass die Testinstrumente instruktionssensitiv sind, d. h. dazu in der Lage sind, Effekte des Unterrichts abzubilden. Das Projekt baut auf einem von Naumann, Hochweber und Hartig (2014) vorgestellten längsschnittlichen Mehrebenen-Differential-Item-Functioning-Modell (LML-DIF-Modell) zur Untersuchung von Instruktionssensitivität auf. Dieses Modell integriert bestehende Ansätze, indem es sowohl Veränderungen in Schülerleistungen über die Zeit als auch Unterschiede zwischen Schulklassen einbezieht, und es erlaubt die Unterscheidung der globalen und differenziellen Sensitivität von Tests und Items. Das beantragte Projekt verfolgt vier Ziele, von denen die ersten beiden primär methodologischer Natur sind: (1) die Weiterentwicklung des LML-DIF-Modells und (2) die Untersuchung der Qualität und Bedingungen der Parameterschätzung. Zwei weitere Ziele beziehen sich auf inhaltlichen Fragen der Unterrichtsforschung und Testentwicklung: (3) die Validierung von statistischen Indikatoren für Instruktionssensitivität und (4) die Entwicklung von Kriterien zur Klassifikation der Instruktionssensitivität auf Test- und Itemebene. Die Arbeitspakete zur Erreichung dieser Ziele lassen sich einteilen in die Bereiche Modellentwicklung, Simulationsstudien, Sekundäranalysen und eine Datenerhebung an Schweizer Schulen. Eine Weiterentwicklung des Modells soll hinsichtlich des Einbezugs der Instruktionssensitivität auf Testebene, des Einbezugs von Prädiktorvariablen, der Modellierung variierender Itemdiskriminationen, der Verallgemeinerung auf mehrstufige Antworten und der Anwendung auf Trenddaten erfolgen. Simulationsstudien unterstützen die Modellentwicklung und dienen der Erforschung der Qualität und Bedingungen der Parameterschätzung (z. B. Stichprobenanforderungen). Sekundäranalysen dienen der Entwicklung von Kriterien für "hohe" oder "geringe" Instruktionssensitivität; hierzu sollen so viele geeignete Datensätze wie möglich reanalysiert werden. Darüber hinaus sollen statistische Indikatoren für Instruktionssensitivität validiert werden, indem deren Zusammenhänge mit Prädiktoren auf Klassen- und Itemebene gezeigt werden. Einige weitere Sekundäranalysen dienen darüber hinaus der Ersterprobung von neu entwickelten Modellvarianten. Da in den Daten aus bereits vorliegenden Studien einige für unsere Fragestellungen interessante Variablen fehlen, ist schliesslich die Erhebung eigener Testdaten an Schweizer Schulen geplant. Hierbei liegt der Fokus auf detaillierten Untersuchungen des Unterrichtsinhalts und umfassenden Einschätzungen der Testaufgaben bezüglich ihrer Nähe zum Unterricht.
-