Lil Yachty는 “누구나 대체”할 수 있는 바이러스성 AI 딥페이크에서 조커로 변신합니다.

Viggle AI라는 새로운 AI 도구를 사용한 사용자 덕분에 온라인에 떠도는 바이러스성 딥페이크 동영상이 래퍼 Lil Yachty를 The Joker로 대체했습니다.

AI 도구가 대세입니다. Google 및 OpenAI와 같은 회사는 이미지와 비디오를 생성할 수 있을 뿐만 아니라 바이러스성 딥페이크를 생성할 수 있는 Sora와 같은 도구를 개발하고 있으며, 가장 최근에는 Microsoft를 논란에 빠뜨렸습니다.

이제 래퍼 릴 야티(Lil Yachty)의 라이브 공연을 호아킨 피닉스(Joaquin Phoenix)의 조커 연기로 대체한 바이럴 영상이 등장했습니다. AI 지지자 Barsee가 소셜 미디어에서 공유한 바와 같이 전문가는 딥페이크를 만드는 데 사용된 AI 도구가 “비디오의 모든 사람을 대체할 것”이라고 주장합니다.

하지만 영상 제작의 현실은 단일 AI 도구를 사용하는 것보다 조금 더 깊게 진행됩니다.

Viggle AI 실험 💙 이것은 스타일 전환을 위한 놀라운 도구입니다. 자세한 내용과 Discord 링크는 아래 👇 언제나 그렇듯, 이 콘텐츠가 마음에 드셨다면 좋아요와 공유 부탁드립니다! pic.twitter.com/1qW8H0MuwX

— AIWarper(@AIWarper) 2024년 4월 8일

딥페이크는 AI Warper라는 사용자가 만들었습니다. 그들은 Viggle AI 라는 도구 , 여러 추가 AI 모델, Adobe After Effects를 사용하여 최종 비디오를 제작했습니다. Viggle AI는 공식 웹사이트에 따르면 “실제 물리학적 이해를 갖춘 최초의 비디오-3D 기반 모델”을 기반으로 합니다.

AI Warper는 딥페이크 이면의 방법론을 설명하며 먼저 Lil Yachty를 로토스코핑하여 마스크를 만든 다음 조커의 이미지를 Viggle AI에 공급했다고 설명합니다. 그런 다음 최종 결과를 얻기 위해 Joaquin Phoenix의 상징적인 Joker에 대해 훈련된 여러 다른 AI 도구와 함께 추가 “AnimateDiff” 모션 모델을 통해 합성된 비디오를 실행했습니다.

해당 영상을 만드는 데는 “5분도 채 걸리지 않았다”고 알려져 있지만, 그러한 영상을 만드는 데 필요한 도구와 지식은 표면에 보이는 것보다 훨씬 더 복잡합니다. Viggle AI만으로는 마법의 총알이 아닙니다. 로토스코핑된 출력을 원본 비디오로 다시 합성한 다음 최종 비디오를 위해 다듬어야 했기 때문입니다. 그러나 이러한 빠른 작업에 대한 결과는 부인할 수 없을 정도로 인상적입니다.