Dit is een voorbeeld van hoe handgebaren zouden kunnen helpen bij het voorspellen van komende woorden en hoe dit zou kunnen leiden tot de soepele gesprekken die we allemaal dagelijks voeren. In mijn PhD aan het Donders Institute for Brain, Cognition & Behaviour (Radboud Universiteit Nijmegen) onderzoek ik of dit ook echt gebeurt. Wat ik niet had verwacht was dat mijn passie voor handgebaren mij uiteindelijk zou leiden naar virtual reality en het gebruik van virtuele avatars! Virtual reality wordt beschreven als een “potentially game-changing method for the language sciences” door dr. David Peeters, een Associate Professor aan de Universiteit van Tilburg die virtual reality al jaren gebruikt in zijn eigen onderzoek. In dit verhaal leg ik uit waarom ik die zeer coole maar onverwachte richting ben ingeslagen.
De constante strijd: Hoe houd ik mijn studie gecontroleerd en toch natuurlijk?
Een van de grootste uitdagingen van mijn doctoraat was het gecontroleerd houden van mijn studies (zodat ik kan leren wat wat beïnvloedt) én natuurlijk (dat wil zeggen, zo veel mogelijk lijkend op alledaagse gesprekken in het echte leven). “Experimentele controle is belangrijk in psycholinguïstisch onderzoek, want om het effect van één variabele te bestuderen moeten we die isoleren en ervoor zorgen dat alleen deze variabele verschilt tussen de condities”, legt dr. David Peeters uit. “Maar we moeten er ook voor zorgen dat we in onze experimenten een situatie creëren die lijkt op waar we uiteindelijk in geïnteresseerd zijn: communicatie in alledaagse settings.”
Introductie van mijn vriendin Ava, een virtuele avatar
Daarom gebruik ik nu deze innovatieve aanpak waarmee we een studie zowel gecontroleerd als natuurlijk kunnen maken: namelijk virtual reality (VR)! Ik gebruik een virtuele avatar, die eruitziet alsof ze uit het videospel The Sims komt. Ik noem haar Ava. Met geweldige hulp van Thijs Rinsma, ICT-ontwikkelaar bij het Donders Instituut, kan ik Ava precies zo laten praten en bewegen als ik wil.
In mijn laatste onderzoek gebruik ik deze methode om te testen of mensen de handgebaren die ze zien kunnen gebruiken om te voorspellen welke woorden iemand vervolgens gaat zeggen. Om het experiment natuurlijk te maken, liet ik Ava handgebaren maken die ik zag in gesprekken tussen vrienden, en liet ik haar vragen stellen zoals in een echt gesprek. In de ene conditie maakte Ava een gebaar, in de andere niet. Cruciaal was dat ik ervoor zorgde dat tussen deze condities niets veranderde, behalve het handgebaar.
Virtuele realiteit als instrument om taal te bestuderen
David Peeters gebruikt virtual reality ook om menselijke taal en communicatie te bestuderen. Hij heeft het gebruikt om te testen of vaststaande bevindingen uit traditionele studies te repliceren zijn in rijke virtuele omgevingen, zoals hoe tweetaligen schakelen tussen twee talen. Bovendien heeft hij VR gebruikt om experimenten uit te voeren die in de echte wereld moeilijk uitvoerbaar zijn. In één zo’n studie, geleid door Johanne Tromp als onderdeel van haar promotieonderzoek, lieten ze deelnemers een ober zijn in een virtueel restaurant om te bestuderen hoe mensen indirecte verzoeken verwerken. De restaurantgasten zeiden bijvoorbeeld “Mijn soep is koud”, waarmee zij indirect verzochten om een nieuwe soep te krijgen. Deze experimenten werden uitgevoerd in het hypermoderne Virtual Reality lab van het Max Planck Instituut voor Psycholinguïstiek.
Op de vraag wat hij vond van het gebruik van virtuele avatars om te bestuderen hoe mensen communicatieve lichaamssignalen zoals gebaren verwerken, antwoordde Peeters: “Ik vind het geweldig. Op deze manier kun je menselijke communicatie bekijken als iets waarbij veel verschillende informatiebronnen betrokken zijn, zoals het gezicht, de mond, de handen en de spraak. Vergeleken met de vele studies die zich alleen op spraak richtten, is het gebruik van VR om ook communicatieve lichamelijke signalen mee te nemen een grote stap voorwaarts.” Inderdaad, virtuele avatars maken het mogelijk om communicatie op een meer realistische manier te bestuderen, zonder in te hoeven leveren op natuurlijkheid of experimentele controle!
Ik ben benieuwd hoe virtual reality in toekomstige studies als hulpmiddel zal worden gebruikt. Voor mijn onderzoek zou het bijvoorbeeld een grote stap vooruit zijn om deelnemers gesprekken te laten voeren met deze avatars, zodat deelnemers niet alleen luisteren, maar ook spreken. Dan zouden we kunnen uitzoeken of het gebruik van Ava’s handgebaren om voorspellingen te doen, zoals ik voorspelde dat mijn vriend mij een drankje zou aanbieden, ook zou leiden tot snellere reacties. Hopelijk zullen Ava en haar toekomstige vrienden ons helpen dit en alle andere mysteries die ten grondslag liggen aan menselijke taal en communicatie te ontrafelen.
Meer lezen?
- Om te lezen hoe gebaren meestal beginnen vóór de bijbehorende spraak en zo voorspellingen mogelijk maken: Marlijn ter Bekke, Linda Drijvers & Judith Holler (2020). The predictive potential of hand gestures during conversation: An investigation of the timing of gestures in relation to speech. https://doi.org/10.31234/osf.io/b5zq7
- Meer lezen over het gebruik van VR als methode voor de taalwetenschappen: David Peeters (2019). Virtual reality: A game-changing method for the language sciences. https://doi.org/10.3758/s13423-019-01571-3
- Om meer te lezen over hoe menselijke communicatie zowel het lichaam als de spraak betrekt: Judith Holler & Stephen Levinson (2019). Multimodal language processing in human communication. https://doi.org/10.1016/j.tics.2019.05.006
Redacteur: Melis Cetincelik
Eindredactie: Sophie Slaats
Nederlandse vertaling: Veerle Wilms
Duitse vertaling: Franziska Schulz
