BLISS

BLISS: Behaviour-based Language-Interactive Speaking Systems

Applicants: Helmer Strik, Catia Cucchiarini, Mariët Theune

Composition consortium:

  • Centre for Language and Speech Technology (CLST), Radboud University: Helmer Strik, Catia Cucchiarini, Louis ten Bosch, Iris Hendrickx
  • Human Media Interaction (HMI), University of Twente: Mariët Theune & post-doc (N.N.)
  • Games for Health Projects: Jurriaan van Rijswijk, Roland Goetgeluk, R. Tieben
  • ReadSpeaker: Staffan Meij, Bert Oldewarris, Esther Judd-Klabbers

Abstract
The increasing availability of large amounts of (personal) data (Big Data) and the performance boost of advanced Human Language Technologies (HLT) hold great potential for self-management and empowerment in health and wellbeing. The topic of the present proposal is the combination of text mining of Dutch written and spoken client data with the design of an intelligent, personalized Dutch spoken dialogue system (SDS) that communicates with clients in an accessible manner to facilitate their self/joint-management of health and wellbeing. The project is couched in a broad conceptualization of health and wellbeing as happiness. The goal of this proposal is to study how text mining can be used for personalizing such a system and how this can be applied to a large-scale investigation of wellbeing happiness and self-empowerment of clients.
. The chosen approach is innovative in that it combines text mining, HLT and large-scale use by clients. So far text mining has mainly been based on written data, while here it is extended to Dutch spoken, complex data like interviews and dialogues, as these are increasingly being used in healthcare instead of written questionnaires. The use of spoken dialogue systems in healthcare applications is here extended to complex, personalized communication on happiness and wellbeing in the Dutch language. The proposed research will produce Dutch language technologies that are relevant for a whole range of applications in healthcare and other fields, and important insights for personalized healthcare innovation. Its potential impact thus stretches well beyond the scope of this project.

Keywords: personalized human-machine interaction, spoken dialogue system, self-empowerment, user-initiative, human-value based healthcare

Abstract for layman (in Dutch)
Het beschikbaar komen van grote hoeveelheden persoonlijke data (Big Data) en de enorme verbeteringen die recentelijk zijn geboekt in taal- en spraaktechnologie, bieden nieuwe kansen voor self-management en empowerment van cliënten in de zorg. Dit onderzoeksvoorstel gaat uit van een brede definitie van gezondheid en welzijn als geluk en heeft als doel het ontwikkelen van een interactief, Nederlands sprekend systeem dat mensen helpt hun welzijn en geluk te verhogen. Het idee is om grote hoeveelheden persoonlijke data van cliënten (teksten, interviews, dialogen) te doorzoeken om informatie eruit te halen over hun gezondheid en welzijn en om te weten te komen wat hen gelukkig maakt. Om dit mogelijk te maken wordt technologie ontwikkeld die relevante informatie uit Nederlandse teksten en audio-opnames kan halen. Vervolgens kan deze informatie gebruikt worden om computerprogramma’s te ontwerpen die met mensen laagdrempelig, in gesproken Nederlands kunnen communiceren om hen te ondersteunen in hun dagelijks handelen en het beheren van hun gezondheid en welzijn. De informatie uit Big Data kan hierbij gebruikt worden om het systeem te personaliseren voor individuele cliënten zodat het rekening houdt met persoonlijke behoeftes en achtergrond.
. Dit onderzoeksvoorstel is in verschillende opzichten innovatief. Onderzoek met Big Data was tot nu toe voornamelijk gebaseerd op geschreven data, terwijl in dit project ook gebruik wordt gemaakt van gesproken interviews, omdat deze nu veel meer worden verzameld dan geschreven vragenlijsten. Het voordeel is ook dat gesproken data veel meer informatie bevatten dan teksten (zoals intonatie, nadruk, aarzelingen, etc.). Verder is dit onderzoek nieuw omdat er laagdrempelige computerprogramma’s worden ontwikkeld die met mensen kunnen spreken zodat ze ook geschikt zijn voor laagopgeleiden, slechtzienden en mensen met beperkingen. Nieuw is ook dat de communicatie intelligent is en gepersonaliseerd, zodat mensen uiteindelijk geholpen worden zelf de regie te voeren over hun gezondheid, welzijn en geluk. Tenslotte is dit onderzoek innovatief omdat de technologie wordt ontwikkeld voor de Nederlandse taal, omdat het voor cliënten belangrijk is dat ze aangesproken worden in hun moedertaal.
. Om te testen of alles goed werkt en of het ontwikkelde systeem mensen daadwerkelijk kan ondersteunen, zal de ontwikkelde technologie worden ingebed in bestaande applicaties voor COMMIT2DATA – dagbesteding en agendabeheer die gebruik maken van gamification en die nu al in de zorg worden gebruikt. Vervolgens zullen deze verrijkte gaming-toepassingen bij grote aantallen gebruikers worden geëvalueerd.
. Dit onderzoek zal verschillende resultaten opleveren. Ten eerste belangrijke Nederlandstalige technologie om grote hoeveelheden teksten en opnames over en van cliënten te analyseren en daaruit relevante informatie over hun gezondheid en welzijn te halen. Deze technologie kan ook voor andere doeleinden worden gebruikt, zoals het verbeteren van een spraakherkenningssysteem. Verder levert dit project ook kennis op over een interactief systeem dat in het Nederlands kan spreken, hun antwoorden kan begrijpen en zelf beschikt over belangrijke informatie over de cliënten die ze kunnen gebruiken om hun welzijn te verbeteren, zodat ze zelf de regie houden. Ook dit systeem kan eventueel voor andere toepassingen in de zorg worden ingezet. Belangrijke resultaten zijn uiteraard ook de kennis en de inzichten die verkregen zullen worden over wat voor wie het beste werkt.