Project

Psychological Assessments; Data Analysis; R Software

Lead
Psychologie beschäftigt sich mit zahlreichen Eigenschaften von Personen, welche nicht direkt beobachtbar sind. Beispiele sind etwa Intelligenz, Aufmerksamkeit, oder Persönlichkeitseigenschaften wie Extraversion. Zur Erfassung dieser Eigenschaften werden in der Regel psychologische Tests und Fragebögen eingesetzt. Diese Tests werden in empirischen Studien einer strengen Qualitätssicherung unterworfen. Dieses Projekt dient der Entwicklung einer frei zugänglichen Software-Toolbox und neuer statistischer Verfahren, um Psychologen bei dieser Qualitätssicherung zu unterstützen.
Lay summary
Psychologische Tests und Fragebögen sind in der Psychologie und verwandten Wissenschaften weit verbreitet, um verschiedene Eigenschaften wie etwa Intelligenz, Gedächtnis, Aufmerksamkeit oder auch Persönlichkeitseigenschaften wie Extraversion oder Offenheit zu erfassen. An psychologische Testverfahren wird dabei der Anspruch gestellt, dass sie strengen Gütekriterien genügen, etwa hinsichtlich ihrer Fairness. Die Prüfung dieser Gütekriterien erfolgt zum Teil durch empirische Studien, also datenbasierte Analysen. In diesen Analysen werden oft Modelle der modernen psychologischen Testtheorie (oder Item-Response-Theorie) verwendet, um das Antwortverhalten der Personen zu beschreiben. Dieses Projekt hat zum Ziel, eine Software-Toolbox zu entwickeln, welche Psychologen bei der Entwicklung und Analyse psychologischer Tests auf Basis dieser Modelle unterstützen. Die dabei entwickelte Software wird frei zugänglich und kostenlos sein. Im Rahmen dieser Entwicklung werden auch neuartige statische Verfahren zur Analyse psychologischer Tests entwickelt, welche ebenfalls über Software Anwendern zur Verfügung gestellt werden. Diese Verfahren unterstützen Anwender bei der Planung und Durchführung der Qualitätssicherung psychologischer Tests.

Direct link to Lay Summary

Last update: 23.01.2020

This research project concerns the development of a statistical toolbox for power analysis in the context of the development of psychological tests and questionnaires. This toolbox will be implemented as a software package in the R system for statistical computing. The software will be easy to use, well documented, and aims at practitioners who wish to evaluate or develop psychological or educational assessments within an Item Response Theory (IRT) framework.Tests and questionnaires are ubiquitous in psychology, education and many social sciences, and have to meet certain professional standards. Some standards (such as fairness and reliability) can be evaluated using empirical studies applying statistical methods. When planning these empirical studies, the costs of the study as well as the power to detect statistically significant results should be carefully balanced. On the one hand, datasets should be designed so that the observed data allow the detection of problems of practical significance with the item set. On the other hand, the collection of test data typically requires extensive resources, so it is economical to determine the necessary sample size before the study. In a typical statistical analysis, this dilemma is usually addressed by means of a power analysis. However, few tools for planning the sample size or for carrying out a power analysis in the context of IRT models are available at the moment. The purpose of the research project is the development of a statistical toolbox for power analysis in the IRT framework.