Lil Yachty se transforma no Coringa em um deepfake viral de IA que pode “substituir qualquer um”

Um vídeo viral deepfake que circula online substituiu o rapper Lil Yachty pelo The Joker, graças a um usuário que usou uma nova ferramenta de IA chamada Viggle AI.

As ferramentas de IA estão na moda. Empresas como Google e OpenAI desenvolvem ferramentas como Sora, que podem não apenas gerar imagens e vídeos, mas também produzir deepfakes virais, que recentemente envolveram a Microsoft em polêmica.

Agora, surgiu um vídeo viral que substitui uma performance ao vivo do rapper Lil Yachty pela interpretação do Coringa por Joaquin Phoenix. Conforme compartilhado pelo defensor da IA, Barsee, nas redes sociais, o especialista afirma que a ferramenta de IA usada para criar o deepfake “substituirá qualquer pessoa de um vídeo”.

Mas a realidade da produção do vídeo é um pouco mais profunda do que o uso de uma única ferramenta de IA.

Viggle AI Experiment 💙 Esta é uma ferramenta incrível para transferência de estilo. Detalhes e link para Discord abaixo 👇 Como sempre, se você gosta deste conteúdo, por favor, curta e compartilhe! pic.twitter.com/1qW8H0MuwX

-AIWarper (@AIWarper) 8 de abril de 2024

O deepfake foi criado por um usuário chamado AI Warper. Eles usaram uma ferramenta chamada Viggle AI, vários modelos adicionais de IA e Adobe After Effects para produzir o vídeo final. Viggle AI é alimentado por “o primeiro modelo básico de vídeo 3D com compreensão real da física”, de acordo com seu site oficial.

AI Warper explica a metodologia por trás do deepfake, explicando que eles primeiro rotoscopiaram Lil Yachty para criar uma máscara e, em seguida, alimentaram uma imagem do Coringa na IA do Viggle. Em seguida, o vídeo composto foi executado através de um modelo de movimento “AnimateDiff” adicional, juntamente com várias outras ferramentas de IA, treinadas no icônico Joker de Joaquin Phoenix para alcançar o resultado final.

O vídeo supostamente levou “menos de 5 minutos” para ser criado, mas as ferramentas e o conhecimento necessários para fazer tal vídeo permanecem muito mais complicados do que podem parecer superficialmente. O Viggle AI por si só não é uma solução mágica, já que a saída rotoscopia teve que ser composta de volta no vídeo original e depois refinada para o vídeo final. Mas os resultados são inegavelmente impressionantes para um trabalho tão rápido.