Wat was de hoofdvraag van je onderzoek?
Ik wilde een van de fundamentele vragen van taalonderzoek verder bestuderen, namelijk: Hoe genereren onze hersenen betekenis? De focus lag hierbij op gesproken taal. Mijn voornaamste doel was meer te weten komen over hoe luisteraars van het horen van klanken naar het begrijpen van gesproken taal overgaan en hoe ze daarbij verschillende informatiebronnen combineren.
Kun je de (theoretische) achtergrond in wat meer detail uitleggen?
Spraak is in essentie een akoestisch signaal. Iemand die praat, veroorzaakt veranderingen in de luchtdruk die zich als golven voortbewegen. Deze geluidsgolven worden waargenomen en geïnterpreteerd door degene die luistert. Er zitten echter geen ‘markers’ voor betekenis in dit geluidssignaal. Taal kun je alleen begrijpen door akoestische informatie te combineren met je kennis over een bepaalde taal. Dit merk je bijvoorbeeld goed als je een taal hoort die je niet kent; dan hoor je het geluidssignaal wel, maar begrijp je het niet omdat je niet over de nodige kennis over deze taal beschikt.
In mijn thesis keek ik naar het begrijpen van gesproken taal vanuit het ‘perceptual inference’ perspectief. Daarbij stelde ik de vraag hoe onze hersenen verschillende stukjes informatie (uit het geluidssignaal en onze voorkennis over de taal) combineren om betekenis af te leiden. Ik wilde meer te weten komen over het specifieke type informatie waar luisteraars zich op baseren en hoe ze hun strategie om geluid te begrijpen kunnen aanpassen aan de context.
Waarom is het belangrijk om een antwoord op deze vraag te vinden?
Voor mij is taal een van de indrukwekkendste onderdelen van menselijk gedrag; met fysieke signalen kunnen we complexe gedachten, ideeën en gevoelens communiceren. Dat is toch fascinerend? Verder onderzoek naar hoe onze hersenen betekenis genereren uit deze fysieke signalen vertelt ons wellicht ook meer over menselijke communicatie in het algemeen.
Kun je één specifiek project omschrijven?
In een van de hoofdstukken van mijn thesis wilde ik meer te weten komen over hoe onze hersenen akoestische informatie combineren met verschillende soorten taalkundige kennis. Om dat te doen, heb ik een EEG experiment uitgevoerd waarin de hersenactiviteit van proefpersonen werd gemeten terwijl ze naar verschillende soorten stimuli luisterden.
Een interessante bevinding uit eerder onderzoek is dat onze hersenen geluidssignalen kunnen ‘volgen’ (’track’). Een groep neuronen gaat synchroon ‘vuren’ met het ritme van het akoestisch signaal. Eerder werd gesuggereerd dat ’tracking’ belangrijk is voor het begrijpen van taal, maar we weten nog steeds niet welke soort informatie invloed heeft op dit proces.
Mijn EEG studie onderzocht of de hoeveelheid ’tracking’ enkel beïnvloed wordt door de akoestische informatie in het spraaksignaal, of ook door de taalkundige informatie in de spraak. Ik deed een experiment met drie verschillende condities. In een van de condities hoorden luisteraars ‘normale’ zinnen met bijbehorende structuur, betekenis en prosodie (i.e., de intonatie, klemtonen en ritme in een zin). In een andere conditie hoorden luisteraars de woorden uit de zin in willekeurige volgorde; ze hoorden dus een lijst betekenisvolle woorden, maar er was geen zinsstructuur of -prosodie. Door de data van proefpersonen in deze condities (woordenlijst vs echte zinnen) met elkaar te vergelijken, kon ik bepalen in welke mate proefpersonen hun kennis van taalkundige structuren gebruiken bij het volgen van het spraaksignaal. In een derde conditie hoorden proefpersonen zogenaamde ‘jabberwocky’ stimuli. Dit zijn ‘zinnen’ gemaakt van verzonnen woorden. Ze hebben wel de structuur en prosodie van een zin, maar geen betekenis. (De naam ‘jabberwocky’ komt uit het (nonsens)gedicht van Lewis Carroll over een monster ’the Jabberwock’, klik hier voor een voorbeeld en hier voor ‘vertalingen’ in verschillende talen). Door hersenactiviteit van proefpersonen in deze ‘jabberwocky’ conditie en de conditie met ‘normale’ zinnen te vergelijken, kon ik zien of het spraaksignaal ook ‘getrackt’ werd wanneer de zin wel klonk als een normale zin, maar geen betekenis had.
De resultaten van deze studie toonden aan dat de mate waarin luisteraars een spraaksignaal ’tracken’ niet alleen bepaald wordt door akoestische informatie, maar ook door het type taalkunde informatie dat aanwezig is: er was sterkere ’tracking’ wanneer proefpersonen naar normale zinnen luisterden dan wanneer ze naar woordenlijsten en jabberwocky luisterden. Het lijkt erop dat onze hersenactiviteit zich meer afstemt op een spraaksignaal als er ook structuur en betekenis uit het signaal afgeleid kan worden.
Wat is het belangrijkste of interessantste resultaat van je promotieonderzoek?
Een van de meest fascinerende resultaten was dat luisteraars erg flexibel zijn in hoe ze verschillende informatiebronnen combineren om taal te begrijpen. Tijdens een van mijn experimenten kwam ik erachter dat luisteraars verschillende voorkeuren lijken te hebben in hoe ze akoestische en taalkundige informatie gebruiken. Sommige proefpersonen leken een voorkeur te hebben voor akoestische informatie, terwijl anderen juist meer op de taalkundige informatie leken te vertrouwen. Ik denk dat deze flexibiliteit erg interessant is omdat het een goede manier is om met ‘onzekerheid’ om te gaan tijdens het begrijpen van taal.
Wat zijn de gevolgen of implicaties van dit resultaat? Hoe zal dit de wetenschap of de maatschappij verder brengen?
Hoewel we taal gebruiken met schijnbare vanzelfsprekendheid, is er nog veel wat we niet begrijpen, vooral over wat er gebeurt in onze hersenen. Het werk in mijn scriptie is een nieuw stukje in deze gigantische puzzel.
Wat wil je hierna doen?
Ik werk op dit moment als lab asscociate bij de Disney Research Studios in Zürich. Ik kan hier veel van wat ik geleerd heb tijdens de PhD toepassen, wat veel voldoening geeft.
Interviewer: Merel Wolf
Redacteur: Julia Egger
Nederlandse vertaling: Caitlin Decuyper
Duitse vertaling: Barbara Molz
Eindredactie: Merel Wolf
