KI verändert Gesichter & Lippenbewegungen für Zensur & Synchronisation

Wir leben in verrückten Zeiten. So ziemlich jede:r kann aktuell mit Bild-generierenden Algorithmen herumspielen oder ChatGPT zu nützlichen Zwecken verwenden. 2023 könnte das Jahr der künstlichen Intelligenz werden, was den Durchbruch im Mainstream anbelangt. Dass das Konstrukt KI neben ein paar witzigen Social-Media-Posts aber auch bereits in der Arbeitswelt ziemlich krasse Einsatzmöglichkeiten bietet, ist oftmals unbekannt.

Video Editor Sneaky Zebra, den ich persönlich von seinen Cosplay-Videos kenne, hat einen Post veröffentlicht, der die beeindruckende Abänderung einer kurzen Sequenz zeigt, in der das Gesicht der Schauspielerin kleinteilig und authentisch abgewandelt werden kann, um unterschiedliche Varianten der Filmaufnahme zu generieren:

The crazy stuff I do at work… we use AI change up how films are made! @Flawlessai
This would be why I don't post on here much these days.#Filmmaker #filmmaking #ArtificialIntelligence pic.twitter.com/xYmLAO6MaB

— Sneaky Zebra (@sneakyzebra) January 23, 2023

Erstellt wurde das mit und bei Flawless AI. Das Londoner „Neural Network Film Lab“ hat sich auf die Manipulation von Filmen und Serien spezialisiert, um vor allem die Portierung in unterschiedliche Regionen der Welt zu perfektionieren und vereinfachen. Unter Einsatz von angelernten KI-Systemen passen dann auch die Lippenbewegungen zu den synchronisierten Worten, die über die eigentlich von der darstellenden Person im Original gesprochenen Worte gelegt wird. Theoretisch ist künstliche Intelligenz auch in der Lage, die Synchronstimme direkt mitzuliefern und so 1:1 die Original-Stimmfarbe zu kopieren. Synchronsprecher:innen dürften jedenfalls langsam aber sicher um die Zukunftssicherheit ihrer Jobs bangen…

„Flawless is pioneering the generative AI revolution in filmmaking. Empowering the world’s greatest storytellers with magical new tools and emerging technologies.“

Grundsätzlich empfinde ich jede Verbesserung der Synchronisierung als gut. Wir sind in Deutschland eigentlich eh bereits mit einer hochwertigen Synchro verwöhnt, aber gerade die unterschiedlichen Mundbewegungen führen entweder zu Irritation beim Publikum oder zu Limitierungen in der Übersetzung. Da könnte eine – realistisch anmutende – visuelle Veränderungen bahnbrechend sein. Insgesamt schürt die Entwicklung aber auch Angst. Sind irgendwann überhaupt noch Menschen notwendig, um eine vermeintliche Realfilm-Szene zu drehen? Ab wann können wir nicht mehr auseinanderhalten, was das echte Original und was eine manipulierte Abwandlung ist? Das mag beim ersetzen von Fluchwörtern noch charmant wirken, die Technik wird aber weit über Filme und Serien hinaus gehen und uns in ein noch schlimmeres Zeitalter der Fake News stürzen. Als wäre die Welt nicht schon kompliziert genug. Mit großer Macht kommt große Verantwortung.

via: @leschroeck