Echtzeit-LipSync für sprechende Begleitfiguren in Lernapps

Viele digitale Lernapps arbeiten mit animierten Begleitfiguren/Agenten, die Inhalte erklären, motivieren oder durch Aufgaben führen. Häufig sind Sprachoutput (z. B. Text-to-Speech) und Mundbewegungen jedoch nicht synchronisiert. Diese audiovisuelle Inkongruenz kann als irritierend wahrgenommen werden und potenziell die wahrgenommene Qualität, Glaubwürdigkeit oder Aufmerksamkeit beeinflussen.

Ziel der Arbeit ist die Entwicklung und prototypische Implementierung eines Verfahrens zur Echtzeit-Erzeugung kongruenter Mundbewegungen (LipSync) auf Basis von Sprachtext oder Audiosignal. Zusätzlich soll in einer experimentellen Studie untersucht werden, wie sich korrekte vs. fehlerhafte vs. fehlende Mundbewegungen auf Wahrnehmung, Akzeptanz und ggf. Lernprozesse auswirken.