Lil Yachty verwandelt sich in den Joker in einem viralen KI-Deepfake, der „jeden ersetzen“ kann

In einem viralen, im Internet kursierenden Deepfake-Video wurde der Rapper Lil Yachty durch den Joker ersetzt, dank eines Benutzers, der ein neues KI-Tool namens Viggle AI verwendet hat.

KI-Tools liegen voll im Trend. Unternehmen wie Google und OpenAI entwickeln Tools wie Sora, mit denen nicht nur Bilder und Videos generiert werden können, sondern auch virale Deepfakes, die zuletzt bei Microsoft für Kontroversen gesorgt haben.

Nun ist ein virales Video aufgetaucht, das einen Live-Auftritt des Rappers Lil Yachty durch Joaquin Phoenix‘ Darstellung des Jokers ersetzt. Wie der KI-Befürworter Barsee in den sozialen Medien teilte, behauptet der Experte, dass das KI-Tool, das zur Erstellung des Deepfakes verwendet wurde, „jeden aus einem Video ersetzen wird“.

Doch die Realität der Videoproduktion geht etwas tiefer als die Verwendung eines einzelnen KI-Tools.

Viggle AI Experiment 💙 Dies ist ein unglaubliches Tool für die Stilübertragung. Details und Link zu Discord unten 👇 Wie immer gilt: Wenn Ihnen dieser Inhalt gefällt, liken und teilen Sie ihn bitte! pic.twitter.com/1qW8H0MuwX

— AIWarper (@AIWarper) , 8. April 2024

Der Deepfake wurde von einem Benutzer namens AI Warper erstellt. Er verwendete ein Tool namens Viggle AI, mehrere zusätzliche KI-Modelle und Adobe After Effects, um das endgültige Video zu erstellen. Viggle AI basiert laut seiner offiziellen Website auf „dem ersten Video-3D-Grundmodell mit echtem physikalischen Verständnis“.

AI Warper erläutert die Methodik hinter dem Deepfake und erklärt, dass sie zuerst Lil Yachty rotoskopiert haben, um eine Maske zu erstellen, und dann ein Bild des Jokers in Viggle AI eingespeist haben. Anschließend wurde das zusammengesetzte Video durch ein zusätzliches „AnimateDiff“-Bewegungsmodell sowie mehrere andere KI-Tools geleitet, die an Joaquin Phoenix‘ ikonischem Joker trainiert wurden, um das Endergebnis zu erzielen.

Die Erstellung des Videos dauerte angeblich „weniger als 5 Minuten“, aber die Werkzeuge und Kenntnisse, die für die Erstellung eines solchen Videos erforderlich sind, sind viel komplizierter, als es auf den ersten Blick erscheinen mag. Viggle AI allein ist kein Allheilmittel, da die rotoskopierte Ausgabe dann wieder in das Originalvideo eingefügt und dann für das endgültige Video verfeinert werden musste. Aber die Ergebnisse sind für eine so schnelle Arbeit unbestreitbar beeindruckend.