Wat was de belangrijkste vraag in je proefschrift?
De belangrijkste vraag in mijn proefschrift was of spontane gezichtssignalen (bewegingen van het gezicht zoals wenkbrauwbewegingen, oogcontact of glimlachen) een rol spelen bij hoe we taalgebruik en -verwerking begrijpen en gebruiken.
Kun je de (theoretische) achtergrond wat meer toelichten?
In onze dagelijkse gesprekken communiceren we van nature face-to-face, waarbij we elkaars gezichtsuitdrukkingen en lichaamstaal zien. Hoewel gezichtssignalen vaak worden bestudeerd in verband met emoties zoals woede of blijdschap, weten we minder over de rol die ze spelen in gesprekken. Gesprekken verlopen snel, met slechts korte pauzes tussen de sprekers (ongeveer 0-200 milliseconden), terwijl het vormen van een zin langer duurt (minstens 600 milliseconden). We moeten dus op de een of andere manier voorspellen wat iemand gaat zeggen om het hoge tempo van het gesprek bij te kunnen houden. In mijn onderzoek heb ik onderzocht of gezichtssignalen ons helpen om snel te begrijpen wat een spreker probeert te zeggen, zodat we snel kunnen reageren.
Waarom is het belangrijk om deze vraag te beantwoorden?
Als we begrijpen hoe we met elkaar praten in spontane face-to-face gesprekken, kunnen we beter begrijpen hoe mensen op een natuurlijke manier communiceren. Dit is representatiever dan alleen bestuderen hoe één persoon spreekt, omdat het dezelfde omstandigheden weerspiegelt als alledaagse gesprekken. Op deze manier krijgen we een beter beeld van hoe taal in meer realistische situaties werkt.
Kunt u ons iets vertellen over een specifiek project?
Om te achterhalen of gezichtssignalen ons kunnen helpen begrijpen wat iemand probeert te zeggen, heb ik een experiment opgezet met virtuele avatars, in feite digitale personages op een computer. De avatars vertoonden tijdens het spreken ofwel wenkbrauwbewegingen (fronsen of optrekken) ofwel geen wenkbrauwbewegingen. De deelnemers moesten op een knop drukken om aan te geven of de virtuele avatars een vraag stelden of een uitspraak deden. Het bleek dat de deelnemers heel goed in staat waren om vragen te herkennen wanneer de avatars hun wenkbrauwen fronsten, vooral als dat vroeg in de zin gebeurde. Dit suggereert dat vooral vroeg fronzen met de wenkbrauwen een sterke aanwijzing is voor een vraag.
Ik vind dit project erg interessant omdat de spraak en visuele communicatiesignalen waarmee de virtuele avatars werden geanimeerd, gebaseerd waren op het natuurlijke gedrag van echte mensen die een gesprek voeren. Dit maakt ze beter geschikt voor het bestuderen van menselijke taal en cognitie op een realistische manier dan het gebruik van acteurs of mensen die al weten waar het onderzoek over gaat.
De resultaten van dit onderzoek tonen aan dat gezichtssignalen een belangrijke rol spelen in menselijke communicatie. Dit onderzoek levert ook belangrijke methodologische inzichten op voor de ontwikkeling van virtuele personages, zoals avatars of sociale robots, door aan te tonen dat het toevoegen van wenkbrauwbewegingen zoals fronsen kan helpen om vragen beter over te brengen.
Kunt u een moment van een grote uitdaging of mislukking tijdens uw doctoraat delen en hoe u deze hebt overwonnen?
Aan het begin van mijn doctoraat ging ik ervan uit dat ik software kon gebruiken die automatisch gezichtsbewegingen uit video’s zou detecteren. Zelfs na pogingen om de software te verbeteren, bleek deze uiteindelijk niet betrouwbaar genoeg om volledig te vertrouwen op zijn beoordeling van gedrag zoals spontane face-to-face gesprekken tussen mensen. Dit betekende dat ik het gedrag van mensen handmatig moest annoteren door elke video frame voor frame te bekijken. Gelukkig voor mij sloten veel mensen zich aan bij het ‘annotatieteam’ en na meer dan 1000 uur video’s te hebben bekeken, konden we een grote verzameling gegevenspunten creëren die ik voor mijn eerste analyses kon gebruiken.
Wat was het meest lonende of memorabele moment tijdens je doctoraatsstudie?
Mijn werk heeft enige aandacht gekregen in de media (een documentaire over mijn werk in het Nederlandse jeugdprogramma Het Klokhuis en meer recentelijk een interview op Radio 1 in De Nieuws BV), wat een ongelooflijke ervaring was. Maar wat ik het meest koester van mijn doctoraatsopleiding is dat ik zo gemakkelijk omringd ben door interessante, slimme en ondersteunende mensen. Werken in de academische wereld kan soms behoorlijk uitdagend zijn voor iedereen, en het helpt enorm om een gemeenschap te hebben waarmee je dat kunt delen (zowel praktisch als emotioneel). Ik zal nooit vergeten hoe ik me voelde toen ik een groot deel van de gemeenschap die ik had opgebouwd weer bij elkaar zag in één ruimte toen ik mijn proefschrift verdedigde in de aula van de Radboud Universiteit.
Wat wil je nu gaan doen?
Momenteel ben ik postdoctoraal onderzoeker in het lab van prof. dr. Martin Pickering aan de Universiteit van Edinburgh in Schotland. Ik werk ook samen met dr. Lauren Hadley en prof. dr. Graham Naylor van de afdeling Hearing Sciences van de Universiteit van Nottingham in Glasgow. Mijn functie maakt deel uit van een groter project dat onderzoekt hoe we taal verwerken onder moeilijke omstandigheden. Hoe verwerken we bijvoorbeeld spraak in een rumoerige omgeving, zoals een drukke Schotse pub? Kunnen we dan nog steeds taal voorspellen zoals we dat onder normale omstandigheden doen, zodat we het snelle tempo van het gesprek kunnen bijhouden? En hoe doen mensen met een gehoorbeperking dat? Voorlopig ben ik erg blij dat ik mijn onderzoek kan voortzetten naar welke informatie wordt gebruikt om aankomende spraak te verwerken en wat dit kan beïnvloeden. In de toekomst zie ik mezelf verdergaan met onderzoek, maar ik zou graag de onderwerpen waar ik aan werk verbreden en/of ze meer praktische toepassingen voor de samenleving geven.
