Lil Yachty se convierte en The Joker en un deepfake viral de IA que puede “reemplazar a cualquiera”

Un video viral deepfake que circula en línea reemplazó al rapero Lil Yachty con The Joker, gracias a un usuario que usó una nueva herramienta de inteligencia artificial llamada Viggle AI.

Las herramientas de inteligencia artificial están de moda. Empresas como Google y OpenAI desarrollan herramientas como Sora, que no solo pueden generar imágenes y videos, sino también producir deepfakes virales, lo que recientemente envolvió a Microsoft en una controversia.

Ahora, ha aparecido un vídeo viral que reemplaza una actuación en vivo del rapero Lil Yachty con la interpretación de Joaquin Phoenix del Joker. Como lo comparte el defensor de la IA, Barsee, en las redes sociales, el experto afirma que la herramienta de IA utilizada para crear el deepfake “reemplazará a cualquier persona de un vídeo”.

Pero la realidad de la producción del video es un poco más profunda que el uso de una sola herramienta de inteligencia artificial.

Experimento Viggle AI 💙 Esta es una herramienta increíble para la transferencia de estilo. Detalles y enlace a Discord a continuación 👇 Como siempre, si disfrutas este contenido, ¡dale me gusta y compártelo! pic.twitter.com/1qW8H0MuwX

– AIWarper (@AIWarper) 8 de abril de 2024

El deepfake fue creado por un usuario llamado AI Warper. Utilizaron una herramienta llamada Viggle AI, varios modelos de IA adicionales y Adobe After Effects para producir el vídeo final. Viggle AI funciona con “el primer modelo básico de video 3D con comprensión física real”, según su sitio web oficial.

AI Warper explica la metodología detrás del deepfake, explicando que primero hicieron una rotoscopia a Lil Yachty para crear una máscara y luego introdujeron una imagen del Joker en Viggle AI. Luego, el vídeo compuesto se pasó por un modelo de movimiento adicional «AnimateDiff», junto con varias otras herramientas de inteligencia artificial, entrenadas en el icónico Joker de Joaquin Phoenix para lograr el resultado final.

Supuestamente, el vídeo tardó “menos de 5 minutos” en crearse, pero las herramientas y el conocimiento necesarios para realizarlo siguen siendo mucho más complicados de lo que parece en la superficie. Viggle AI por sí solo no es una solución mágica, ya que la salida rotoscópica tuvo que volver a componerse en el video original y luego refinarse para el video final. Pero los resultados son innegablemente impresionantes para un trabajo tan rápido.