Project

Back to overview

BEST: Beyond Screen readers and Alt Text - Designing Multisensory Alternative to Text for Different Reading Abilities

English title BEST: Beyond Screen readers and Alt Text - Designing Multisensory Alternative to Text for Different Reading Abilities
Applicant Landoni Monica
Number 184740
Funding scheme Project funding (Div. I-III)
Research institution Istituto del Software (SI) Facoltà di scienze informatiche
Institution of higher education Università della Svizzera italiana - USI
Main discipline Information Technology
Start/End 01.09.2019 - 31.08.2023
Approved amount 482'600.00
Show all

Keywords (8)

assistive technology; case study ; accessibility; sensorial stories; diversity; enhanced picture books; reading; inclusion

Lay Summary (Italian)

Lead
Questo progetto esplora come la tecnologia possa fare da supporto a diverse forme di lettura aiutando i lettori a dare un senso a testi e contenuti multimediali. L'obiettivo è quello di fornire strumenti che assistano persone con diverse abilità di lettura e consentano loro un'esperienza di lettura gratificante.
Lay summary

Ci siamo ispirati a ricerche su strumenti già disponibili per aiutare gli utenti con problemi di vista a dare un senso a testi ed immagini, ed esploreremo come questi possano essere ampliati per fornire un'esperienza di lettura multisensoriale. Inizieremo da un lavoro che ha prodotto una tassonomia di 5 categorie (interattività, stabilità, rappresentazione, struttura e personalizzazione) che definiscono lo spazio di progettazione per la produzione di rappresentazioni innovative e multisensoriali di contenuti testuali. BEST espanderà questo spazio per adattarlo a differenti abilità di lettura e fornire un'esperienza di lettura efficace e gratificante ad utenti con diverse abilità. Noi crediamo che le rappresentazioni multisensoriali correttamente progettate possano servire, non solo ai lettori con problemi di vista, ma anche a coloro che temporaneamente o permanentemente affrontano difficoltà di lettura di diverso tipo. Il nostro contributo sarà la progettazione, l'implementazione e la valutazione di strumenti per il supporto della lettura tenendo conto delle diverse abilità dell’utente. Considerando diverse combinazioni di contesto, età, e abilità, produrremo e testeremo una serie di prototipi. Ci concentreremo su due specifici sotto-progetti: EPPics (Enhanced Personalised Picture Stories) e Muses (Multisensory storytelling). EPPics esplora un contesto formale, e coinvolge come co-designers bambini in età prescolare ed i loro insegnanti in un approccio di progettazione collaborativa. Useremo storie personali per promuovere le competenze pre-lettura con l’obbiettivo di produrre uno strumento che segua gli alunni nello sviluppo di capacità di lettura partendo da zero. Muses coinvolgerà adulti con disabilità cognitive lievi nel ruolo di visitatori in un museo. Insieme ai loro educatori avranno un ruolo attivo nella progettazione di nuovi strumenti con un approccio critico e collaborativo. L'obiettivo è di sviluppare strumenti per supportare la lettura prima, durante e dopo la visita, e soddisfare le esigenze e preferenze individuali. 

 

Direct link to Lay Summary Last update: 30.08.2019

Responsible applicant and co-applicants

Employees

Abstract

This project explores how technology can support different forms of reading and sense making of text and multimedia content. Reading is a complex process that includes seeing the character (accessibility via visibility), being able to distinctly identify each character from the other (recognition via legibility) and finally making sense of the characters as a group (interpretation via readability). The aim of our project is to provide useful and usable assistive tools for people with different reading abilities for a rewarding reading experience. We take inspiration from works on screen readers as these are widely available to help users make sense of written text and images, and we move on considering how this paradigm could be further expanded to provide a multisensory reading experience. We will start from a seminal work by Morris et at., (2018) revisiting the concept of alternative text (alt text), descriptive text associated to images in HTML and other types of documents, to provide a rich reading experience to blind and visually impaired users. The main outcome of their study is a taxonomy of 5 categories (interactivity, stability, representation, structure and personalisation) to define the design space for producing prototypes of innovative representations of visual content in a multisensory way. BEST will adopt and further expand that design space for producing alternative representations of text (Alt to Text) to fit different reading abilities and provide an effective and rewarding reading experience. We believe that properly designed multisensory representations have the potential to serve, not only readers visually impaired, but also those experiencing either temporarily or permanently a variety of reading difficulties.Our main contribution will be the design, implementation and evaluation of tools to support reading while catering for different abilities. By considering different combinations of context (formal and non), age (from pre-school children to adults), and abilities, we will produce and test a series of prototypes to support reading. We will focus on two specific sub-projects: EPPics (Enhanced Personalised Picture Stories) and Muses (Multisensory story-telling). EPPics explores a formal context, pre-school, and engages as co-designers pre-school children and teachers in a collaborative design approach focusing on the concept of personalised stories, as a way to foster pre-reading skills. It aims at producing an authoring tool to cater for individual reading needs and follows pupils building and developing reading skills from scratch. Personalisation and gamification will be at its core. Muses will involve adults with mild cognitive disabilities as visitors in a museum, a non formal context, together with their care givers and educators. They will take an active role in collaborative critical design. The objective of this sub-project is to develop tools for supporting reading before, during and after the visit, to suit individual needs and preferences. Both sub-projects are based on feasibility studies conducted by the applicant, and by running them in parallel, we will be able to exchange and take advantage of each other findings.
-