↑

CHASING: CHAllenging Speech training In Neurological patients by interactive Gaming

Summary

The CHASING project investigates the potential of web-based speech training for neurological patients through a combination of gaming and advanced speech technology, incl. Automatic Speech Recognition (ASR). Results so far indicate that patients appreciate web-based speech training as opposed to face-to face training with a therapist (Beijer et al., 2010, 2011, 2012), and that this training has positive effects for chronic neurological patients with dysarthric speech and diminished speech intelligibility. Chronic patients with Parkinson’s disease and stroke tend to succeed in realizing the targeted increased voice intensity (i.e. loudness), which is required for adequate communication, but speech intelligibility lags behind. Improved articulation is believed to lead to improved speech intelligibility, but this requires advanced speech technology algorithms that can detect the problematic areas to provide appropriate feedback (Strik, 2012; Strik et al., 2013). In addition, speech training should preferably be intensive, which requires motivating training devices that provide guidance on articulation improvement and that allow the integrated benefits of intensified, independent speech training. Since serious games are known to have strong motivational power, in CHASING an interactive, intuitive, user adaptive ASR-based game for speech training will be developed and tested to study to what extent serious games and games principles motivate and help neurological patients become more intelligible.
Report that describes the design proces of the CHASING game; in Dutch: Schatzoekers – Verslag van een ontwerpproces

Keywords: e-health, game-based therapy, natural interaction technology, automatic speech recognition.

The team

Centre for Language and Speech Technology (CLST), Centre for Language Studies (CLS), Radboud University, Nijmegen;
Project coordination, speech technology, effect studies

  • Helmer Strik – project leader, phonetics, speech technology
  • Toni Rietveld – phonetics, statistics
  • Catia Cucchiarini – phonetics
  • Mario Ganzeboom – PhD student
  • Marjoke Bakker – postdoc researcher
  • Emre Yilmaz – postdoc, speech technology

Sint Maartenskliniek (SMK), Nijmegen;
Speech therapy, effect studies

  • Lilian Beijer – postdoc researcher

Waag Society, Amsterdam;
Game design and development

  • Sabine Wildevuur – head Creative Care Lab
  • Jurre Ongering [was: Paulien Melis] – project leader Waag
  • Douwe-Sjoerd Boschman – concept developer
  • Lodewijk Loos – programmer

Summary for laymen (in Dutch)
Het CHASING project beoogt een interactieve game voor neurologische patiënten met dysartrische spraak te ontwikkelen en te evalueren. Deze patiënten zijn minder verstaanbaar door verminderde spierkracht en/of coördinatie van de spraakorganen, zoals tong, lippen en kaken. Voor een actieve maatschappelijke participatie is het van belang om de kwaliteit van de spraak te verbeteren.

Het CHASING project is een extensie van de e-Health en e-Learning projecten die eerder uitgevoerd zijn bij het CLST, en van het EST- onderzoeksprogramma (Beijer, 2012) waarin de voorwaarden zijn onderzocht voor webgebaseerde spraaktraining, de effecten ervan op spraakverstaanbaarheid, en de waardering van E-learninggestuurde SpraakTherapie (EST) door neurologische gebruikers. De resultaten gaven aanleiding om de mogelijkheid tot zelfstandige spraaktraining in de eigen leefomgeving van neurologische patiënten aantrekkelijker te maken en beter te laten aansluiten op dagelijks voorkomende spreeksituaties. Het game-element leent zich uitstekend om de stap tussen spraaktraining op functie- en activiteitenniveau enerzijds en spraaktraining op participatieniveau anderzijds te overbruggen. Geavanceerde spraaktechnologie wordt ingezet om automatische, objectieve assessment van dysartrische spraak te realiseren en om automatische feedback te geven die als basis voor de therapie dient. De toepassing van spraaktechnologie ten behoeve van assessment van dysartrische (en dus variabele spraak, zowel binnen als tussen sprekers), is een uitdagend en innovatief aspect van het CHASING-project.

Naast de effecten van een spraakgame, wordt onderzoek gedaan naar de waardering van spraaktrainingsgames door dysartrische sprekers. Achtergrondvariabelen zoals leeftijd, geslacht, opleidingsniveau en mobiliteit worden hierin meegenomen. Naar verwachting zullen de uitkomsten een beeld geven van de eigenschappen van patiënten voor wie een spraaktrainingsgame geschikt is. Aan de hand van deze uitkomsten zal in de toekomst beter kunnen worden ingeschat welk type spraaktraining geschikt is voor bepaalde patiëntprofielen.

URLs

For publications see:

Helmer Strik, Catia Cucchiarini (2019) Verstaanbaarheid verbeteren met de CHASING-game. In:
December 2019 issue of DIXIT Magazine on ‘TST en Gezondheidszorg’
.