Schrödingers Katze Schrödingers Katze

Der österreichische Wissenschaftsblog
43.000+ Fans

Load previous items
19. Oktober 2018

So funktioniert Lippenlesen

Von Schrödingers Katze
Psyche
Lippenlesen ist schwierig, trotzdem sind wir gar nicht so schlecht darin. Was uns beim “Hören” hilft, ist die visuelle Verarbeitung unseres Gehirns.

Bei einer lauten Party, in der U-Bahn oder auch beim Skype-Anruf: Wir können uns viel besser auf das konzentrieren, was unser Gesprächspartner sagt, wenn wir der Person dabei auf die Lippen schauen. Doch was passiert beim Lippenlesen im Gehirn? Und wie testet man es?

Eine Versuchsperson während des Experiments. Foto: Uni Salzburg.

Aus Bild wird Geräusch

Dazu forscht Kristin Anne Hauswald zusammen mit einem Team der Uni Salzburg. Studien wie ihre helfen, besser zu verstehen, wie Lippenlesen funktioniert.

Die Idee dahinter ist, da wir ja beim Lippenlesen nicht hören können, dass visuelle Signale im Gehirn zu akustischen Signalen umgewandelt werden. Das ist gar nicht so einfach. Manche Menschen tun sich schwerer als andere beim Lippenlesen. Dass man es aber lernen kann, beweisen gehörlose Menschen immer wieder.

Videos ohne Ton verstehen

Um Lippenlesen besser zu verstehen, forscht Anne Hauswald danach, wie unser Gehirn visuelle in akustische Signale umwandelt. Eine Studie von ihr dazu ist erst vor Kurzem erschienen.

Dazu wurden 24 Versuchspersonen Videos ohne Ton und danach nur der Ton vorgespielt. „Wir haben die Information unimodal dargeboten”, sagt Hauswald. „Das heißt, wir haben entweder nur akustische oder visuelle Signale dargeboten.“

Die Zeitreihen der Lippenbewegungen wurden mit jenen des Gehirns verglichen, um die Fähigkeiten des visuellen Kortex zu testen. Foto: Hauswald, et al.

Wie misst man das Hören von Bildern?

Die Probanden mussten sich eine Weile auf die Signale, die sie bekamen, konzentrieren, während das Forschungsteam Hirnsignale mittels Magnetoenzephalographie (MEG) in sogenannten Zeitreihen aufzeichnete. Diese Zeitreihen wurden ebenfalls für die akustischen und die visuellen Signale aufgezeichnet.

Später wurden die Zeitreihen des Gehirns und die der Signale miteinander verglichen.

„Was für uns am interessantesten war, ist, dass wir nicht die Zeitreihe der Lippenbewegungen, sondern die der dazugehörigen, aber nicht gehörten, akustischen Signale genommen haben”, erklärt Hauswald. „Dann haben wir quasi untersucht, inwieweit das Gehirn sich mit diesen nicht gehörten akustischen Signalen synchronisiert.”

Ergebnis intuitiv richtig

„Wir wollten Versuchsbedingungen ohne Aufgabenstellung haben, weil allein das Stellen einer Aufgabe das spontane Verarbeiten von Signalen verändert. Deswegen haben wir ein passives Design gewählt”, sagt Hauswald.

Zum Vergleich hat das Forschungsteam der Kontrollgruppe ebenfalls akustische und visuelle Signale vorgespielt, ihnen allerdings danach die Aufgabe gegeben, zum gehörten bzw. gesehenen Fragen zu beantworten.

Das Ergebnis war jenes, das man auch intuitiv annimmt. Gehörtes verstehen wir sehr gut, doch beim Lippenlesen versteht man in der Regel recht wenig. Wenn wir jemandem beim Reden auf den Mund sehen, verstehen, wir die Person auch besser. „Wenn die visuelle Information hilfreich ist, dann verbessern sie die auditorische Wahrnehmung”, so Hauswald.

Was dennoch spannend ist, ist, sich vorzustellen, wie das Gehirn eine rein visuelle Information im Gehirn in eine akustische umwandelt. Und auch, es bei der nächsten Party auszuprobieren.

Dipl.-Psych. Dr. Kristin Anne Hauswald vom Fachbereich Psychologie der Uni Salzburg.

Sie sehen gerade einen Platzhalterinhalt von Facebook Like-Button. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf den Button unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.

Inhalt entsperren Erforderlichen Service akzeptieren und Inhalte entsperren
Weitere Informationen

Teile den Beitrag auf

Facebook
Twitter
Monatliche Updates in deiner Inbox!

Diese Artikel solltest du ebenfalls lesen

  • Vier Jugendliche sitzen im Gras.

    Lesetipp: Jugend in der Krise

    Februar 7, 2025
  • Vier Jugendliche sitzen im Gras.

    ਮਾਨਸਿਕ ਸਿਹਤ – ਇੱਕ ਅਜਿਹਾ ਮੁੱਦਾ ਜੋ ਸਾਨੂੰ ਸਾਰਿਆਂ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਦਾ ਹੈ

    Januar 29, 2025
  • Ein Vater hält seine Tocher hoch, etwas abseits steht die Mutter.

    Okuma önerisi: Annelerin üzerindeki orantisiz derecede yüksek bir yük

    Dezember 23, 2024
« Welches Licht passt zu dir?
Die Sprache der Magie »

Forschung, die unser Leben verbessert

  • Natur & Umwelt

    Natur & Umwelt

  • Medizin

    Medizin

  • Psyche

    Psyche

  • Faktencheck

    Faktencheck

  • Ernährung

    Ernährung

  • Philosophie & Geschichte

    Philosophie & Geschichte

  • Mobilität, Technik & Zeit

    Mobilität, Technik & Zeit

  • Gesellschaft

    Gesellschaft

  • Forscher*innen

    Forscher*innen

  • Astronomie & Sci-Fi

    Astronomie & Sci-Fi

  • Allgemein

    Allgemein

  • Naturwissenschaft

    Naturwissenschaft

  • Liebe/Geschlechter

    Liebe/Geschlechter

  • Innovation

    Innovation

  • Kommunikation/Sprache

    Kommunikation/Sprache

  • Dinge

    Dinge

  • Urbanismus

    Urbanismus

  • Matrix

    Matrix

  • Kunst & Kultur

    Kunst & Kultur

  • Erde

    Erde

  • Ungleichheit

    Ungleichheit


Lesetipps in vielen Sprachen
Gesellschaft

Aktiv werden

Katzenpost

PapierfliegerDu hast Vorschläge zu Themen, die wir behandeln sollen? Dann schick sie uns!

Mit der Verwendung des Kontaktformulars nimmst du unsere Datenschutzerklärung zur Kenntnis.

    Sie sehen gerade einen Platzhalterinhalt von Google reCAPTCHA. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf den Button unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.

    Inhalt entsperren Erforderlichen Service akzeptieren und Inhalte entsperren
    Weitere Informationen

    Sie müssen den Inhalt von reCAPTCHA laden, um das Formular abzuschicken. Bitte beachten Sie, dass dabei Daten mit Drittanbietern ausgetauscht werden.

    Mehr Informationen
    Inhalt entsperren Erforderlichen Service akzeptieren und Inhalte entsperren
    Schrödingers Katze
    • › Impressum
    • › Datenschutz
    • › Über uns
    • › Kontakt