Worin bestand die Hauptfragestellung Deiner Dissertation?
Die Hauptfrage meiner Dissertation war, ob spontane Gesichtsausdrücke (Bewegungen des Gesichts wie Augenbrauenbewegungen, Blickrichtung oder Lächeln) eine Rolle dabei spielen, wie wir Sprache verstehen und verwenden.
Kannst du mir den theoretischen Hintergrund etwas mehr erklären?
In unseren alltäglichen Gesprächen kommunizieren wir ganz natürlich von Angesicht zu Angesicht und sehen dabei die Mimik und Körpersprache des anderen. Während Gesichtsausdrücke häufig im Zusammenhang mit Emotionen wie Wut oder Freude untersucht werden, wissen wir weniger darüber, welche Rolle sie in Gesprächen spielen. Gespräche finden schnell statt, mit nur winzigen Pausen zwischen den Sprechern (etwa 0–200 Millisekunden), während das Bilden eines Satzes länger dauert (mindestens 600 Millisekunden). Wir müssen also irgendwie vorhersagen, was jemand sagen wird, um mit dem schnellen Tempo eines Gesprächs Schritt zu halten. In meiner Forschung habe ich untersucht, ob Gesichtsausdrücke uns helfen, schnell zu verstehen, was ein Sprecher sagen will, und so schnelle Antworten ermöglichen.
Warum ist eine Antwort auf diese Frage wichtig?
Zu verstehen, wie wir in spontanen persönlichen Gesprächen miteinander sprechen, ist der Schlüssel zum Verständnis der natürlichen Kommunikation zwischen Menschen. Dies ist repräsentativer als die Untersuchung der Sprache einer einzelnen Person, da es die gleichen Bedingungen wie in alltäglichen Gesprächen widerspiegelt. Auf diese Weise erhalten wir ein besseres Bild davon, wie Sprache in realen Situationen funktioniert.
Können du uns etwas über ein bestimmtes Projekt erzählen?
Um herauszufinden, ob Gesichtsausdrücke uns helfen können, zu verstehen, was jemand sagen will, habe ich ein Experiment mit virtuellen Avataren durchgeführt, also digitalen Figuren auf einem Computer. Die Avatare zeigten während des Sprechens entweder Augenbrauenbewegungen wie Stirnrunzeln oder Anheben der Augenbrauen oder gar keine Augenbrauenbewegungen. Die Teilnehmer wurden gebeten, auf einen Knopf zu drücken, um anzugeben, ob die virtuellen Avatare eine Frage stellten oder eine Aussage machten. Es stellte sich heraus, dass die Teilnehmer Fragen besonders gut erkennen konnten, wenn die Avatare die Augenbrauen zusammenzogen, insbesondere wenn dies zu Beginn ihrer Äußerung geschah. Dies deutet darauf hin, dass insbesondere frühes Zusammenziehen der Augenbrauen ein starkes Signal für eine Frage ist.
Dieses Projekt gefällt mir sehr gut, weil die sprachlichen und visuellen Kommunikationssignale, mit denen die virtuellen Avatare animiert wurden, auf dem natürlichen Verhalten realer Menschen in Gesprächen basieren. Dadurch eignen sie sich besser für die realistische Untersuchung der menschlichen Sprache und Kognition als Schauspieler oder Personen, die bereits wissen, worum es in der Studie geht.
Die Ergebnisse dieser Studie zeigen, dass Gesichtsausdrücke eine wichtige Rolle in der menschlichen Kommunikation spielen. Die Studie liefert auch wichtige methodische Erkenntnisse für die Entwicklung virtueller Charaktere wie Avatare oder soziale Roboter, indem sie zeigt, dass das Hinzufügen von Augenbrauenbewegungen wie Stirnrunzeln dazu beitragen kann, Fragen besser zu vermitteln.
Können du uns von einer großen Herausforderung oder einem Rückschlag während deiner Promotion erzählen und wie du diese überwunden hast?
Zu Beginn meiner Promotion ging ich davon aus, dass ich eine Software verwenden könnte, die Gesichtsbewegungen automatisch aus Videos erkennt. Selbst nach mehreren Verbesserungen war die Software jedoch nicht zuverlässig genug, um sich vollständig auf ihre Beurteilung von Verhaltensweisen wie spontanen persönlichen Gesprächen zwischen Menschen zu verlassen. Das bedeutete, dass ich das Verhalten der Personen manuell Frame für Frame in jedem Video annotieren musste. Glücklicherweise schlossen sich viele Leute dem „Annotationsteam“ an, und nach mehr als 1000 Stunden Arbeit mit den Videodaten konnten wir eine große Sammlung von Datenpunkten erstellen, die ich für meine ersten Analysen verwenden konnte.
Was war der lohnendste oder unvergesslichste Moment während deiner Promotion?
Meine Arbeit hat einige Aufmerksamkeit in den Medien erhalten (eine Dokumentation über meine Arbeit in der niederländischen Jugendsendung „Het Klokhuis“ oder kürzlich ein Interview im Radio 1 in der Sendung „De Nieuws BV“), was eine unglaubliche Erfahrung war. Aber was ich an meiner Promotion am meisten schätze, ist, dass ich so leicht von so interessanten, klugen und hilfsbereiten Menschen umgeben bin. Die Arbeit in der Wissenschaft kann manchmal für alle ziemlich anstrengend sein, und es ist wirklich hilfreich, eine Gemeinschaft zu haben, mit der man das teilen kann (sowohl praktisch als auch emotional). Ich werde nie vergessen, wie ich mich gefühlt habe, als ich einen großen Teil der Gemeinschaft, die ich aufgebaut hatte, bei meiner Dissertationsverteidigung in der Aula der Radboud-Universität in einem Raum versammelt sah.
Was möchten du als Nächstes tun?
Derzeit bin ich Postdoktorandin im Labor von Prof. Dr. Martin Pickering an der Universität Edinburgh in Schottland. Außerdem arbeite ich mit Dr. Lauren Hadley und Prof. Dr. Graham Naylor vom Fachbereich Hörwissenschaften der Universität Nottingham in Glasgow zusammen. Meine Position ist Teil eines größeren Projekts, das untersucht, wie wir Sprache unter schwierigen Umständen verarbeiten. Wie verarbeiten wir beispielsweise Sprache in einer lauten Umgebung wie einem überfüllten schottischen Pub? Sind wir dann noch in der Lage, Sprache wie unter normalen Umständen vorherzusagen, um mit dem schnellen Tempo der Unterhaltung Schritt zu halten? Und wie machen das Menschen mit einer Hörbeeinträchtigung? Im Moment freue ich mich sehr darauf, meine Forschung darüber fortzusetzen, welche Informationen zur Verarbeitung von Sprache verwendet werden und was diese beeinflussen kann. Ich kann mir vorstellen, auch in Zukunft in diesem Bereich zu forschen, würde aber gerne meine Themen erweitern und/oder sie stärker in die Praxis umsetzen.
