Project

Back to overview

Modeling Developmental Trajectories with Intensive Longitudinal Data from Large-Scale Formative Assessments

English title Modeling Developmental Trajectories with Intensive Longitudinal Data from Large-Scale Formative Assessments
Applicant Tomasik Martin
Number 188920
Funding scheme Project funding (Div. I-III)
Research institution Institut für Bildungsevaluation Assoziertes Inst. der Universität Zürich
Institution of higher education University of Zurich - ZH
Main discipline Education and learning sciences, subject-specific education
Start/End 01.03.2021 - 29.02.2024
Approved amount 831'056.00
Show all

All Disciplines (2)

Discipline
Education and learning sciences, subject-specific education
Psychology

Keywords (10)

longitudinal dynamics; developmental science; formative assessment; heterogeneity; educational measurement; developmental trajectory; measurement burst; ergodicity; intensive longitudinal data; dynamic systems

Lay Summary (German)

Lead
In diesem Forschungsprojekt werden statistische Methoden entwickelt, die zur Analyse von intensiven Längsschnittdaten eingesetzt werden können. Datengrundlage für dieses Forschungsprojekt ist das computerbasiertes formatives Feedbacksystem MINDSTEPS, das von mehreren zehntausend Schülern aus der Nordwestschweiz verwendet wird.
Lay summary
Intensive Längsschnittdaten, wie sie beispielsweise im Rahmen einer regelmässigen formativen Beurteilung von Schülerinnen und Schülern generiert werden, können geeignet sein, um eine Reihe interessanter erziehungswissenschaftlicher oder pädagogisch-psychologischer Fragestellungen zu beantworten. Hierzu zählen beispielsweise Fragen nach dem Ausmass intraindividueller Schwankungen in den Schulleistungen, nach der Heterogenität in der Dynamik der Lernzuwächse oder nach dem Zusammenhang in den Lernfortschritten zwischen unterschiedlichen Kompetenzbereichen und Domänen. Für die Beantwortung dieser Fragen mithilfe solcher Daten befinden sich die mathematisch-statistischen Methoden allerdings erst in der Entwicklung. Das übergeordnete Ziel dieses Forschungsprojekts ist es, die Methodenentwicklung voranzutreiben und die Methoden anhand der Daten aus dem laufenden computerbasierten Feedbacksystem MINDSTEPS [https://www.mindsteps.ch] zu evaluieren.

Dazu sollen in vier Teilprojekten verschiedene aufeinander aufbauende Fragestellungen bearbeitet werden. Erstens soll geprüft werden, inwieweit sich ILD dazu eignen, ein und dasselbe Konzept (etwa die Mathematikleistungen) über die Zeit hinweg mit unterschiedlichen Indikatoren (etwa einfache Additionsaufgaben im Gegensatz zu schwierigeren Logarithmusaufgaben) zu erfassen. Auf dieser Grundlage sollen dann individuelle Lernverläufe von Schülerinnen und Schülern modelliert werden. Zweitens sollen Methoden entwickelt werden, um die Heterogenität in diesen so definierten Lernverläufen zu untersuchen. Drittens sollen die längsschnittlichen Dynamiken zwischen unterschiedlichen Konzepten und Inhaltsdomänen untersucht werden. Viertens, schliesslich, soll die Methodenentwicklung um Ansätze zur Modellierung von Kontexteffekten erweitert werden, wodurch sich beispielsweise der Einfluss der Lernumgebung auf die Lernverläufe darstellen lässt.
Direct link to Lay Summary Last update: 17.02.2021

Responsible applicant and co-applicants

Employees

Project partner

Abstract

By referring to intensive longitudinal data from the large-scale formative assessment system implemented in primary and secondary schools of four cantons in Switzerland (N = 100,000), we propose developing and implementing a novel methodology to analyze the developmental trajectories of students from a truly intraindividual perspective. Based on previous research showing that interindividual differences rarely correspond with intraindividual change (e.g., Molenaar & Campbell, 2009), this project aims to contribute to a paradigmatic shift in education science by reinstating the individual student as the primary focus of empirical research. In doing so, we suggest four hierarchically related approaches that address issues that are both fundamental in developmental science and highly relevant in the domain of education. These approaches are built around four increasingly complex statistical concepts (i.e., mean, variance, covariance, and multilevel). First, we suggest comparing different modelling approaches in order to determine a valid developmental score despite the challenge of imbalanced categorical data that has been collected at varying time intervals with different test items at each assessment. Second, we want to explore interindividual heterogeneity within intraindividual change by growth-mixture modelling, dynamic latent class analysis, generalized mixture modelling with dynamic structural equation models, and graph models based on higher-order time-series data. Third, we would inspect intraindividual covariation between the different concepts and content domains underlying the developmental score using dynamic systems, as well as machine learning approaches. Fourth and finally, using a summer vacation design, we would disentangle the institutional from the noninstitutional effects on students’ intraindividual learning progress in order to explore how much of the heterogeneity in learning progress can be explained by which factors. The methods developed and the lessons learned in the proposed project will enable future researchers in education science to conduct research based on data from digital learning platforms and show how such data repositories can provide an opportunity for future long-term longitudinal research on learning trajectories.
-