リル・ヨッティが「誰にでも代わる」AIディープフェイクでジョーカーに変身

ネット上で拡散しているディープフェイク動画では、ラッパーのリル・ヨッティがジョーカーに置き換えられている。これは、Viggle AIという新しいAIツールを使ったユーザーによるものだ。

AIツールが大流行している。GoogleやOpenAIなどの企業は、画像や動画を生成できるだけでなく、最近ではマイクロソフトを論争に巻き込んだ、話題のディープフェイクも作成できるSoraなどのツールを開発している。

現在、ラッパーのリル・ヨッティのライブパフォーマンスをホアキン・フェニックスの演じるジョーカーに置き換えた動画が話題になっている。AI推進派のバーシー氏がソーシャルメディアで共有したように、同専門家は、ディープフェイクの作成に使用されたAIツールは「動画の誰かを置き換える」と主張している。

しかし、ビデオ制作の現実は、単一の AI ツールの使用よりも少し奥深いところにあります。

Viggle AI 実験 💙 これはスタイル転送のための素晴らしいツールです。詳細と Discord へのリンクは以下にあります 👇 いつものように、このコンテンツを楽しんだ場合は、いいねやシェアをお願いします! pic.twitter.com/1qW8H0MuwX

— AIWarper (@AIWarper) 2024年4月8日

このディープフェイクは、AI Warper というユーザーによって作成されました。彼らは、Viggle AIというツール、いくつかの追加の AI モデル、Adobe After Effects を使用して、最終的なビデオを制作しました。公式 Web サイトによると、Viggle AI は「実際の物理特性を理解した初のビデオ 3D 基盤モデル」を搭載しています。

AI Warper はディープフェイクの背後にある手法について説明し、まずリル・ヨッティをロトスコープしてマスクを作成し、次にジョーカーの画像を Viggle AI に取り込んだと説明しています。次に、合成されたビデオは、追加の「AnimateDiff」モーション モデルと、ホアキン・フェニックスの象徴的なジョーカーでトレーニングされた他のいくつかの AI ツールに通され、最終結果が達成されました。

このビデオの作成には「5分もかからなかった」とされているが、このようなビデオを作るのに必要なツールや知識は、表面的に見えるよりもはるかに複雑である。Viggle AIだけでは万能ではない。ロトスコープされた出力は元のビデオに合成し直し、最終ビデオ用に調整する必要があったからだ。しかし、このような素早い作業にしては、結果は間違いなく印象的だ。