今回はTwitter(X)でもかなり話題になっている、マジックアニメイトの使い方についてお伝えします。
この機能を使用すると、誰でも簡単にこのような動画が生成できます。
#MagicAnimate、噂通り動きはかなり忠実ですが、顔に難有りといった感じです。2人を動かすには15分程度かかりました pic.twitter.com/GsDKWyaSQs
— AI FREAK@AI最新情報をお届け (@AiFreak_tool) December 5, 2023
左が元の画像なのですが、画像をドロップするだけで、勝手に動きをつけてくれます。
元々の画像の特徴をしっかり反映したまま、動きが忠実に再現されているのがわかるかと思います。
顔部分はまだぎこちないのですが、こちらも時間の問題だと予測されるので、いまのうちに触ってみることをおすすめします。
MagicAnimateの使い方
まずは、こちらのリンクから、Githubにアクセスしましょう。
Colabという項目があるので、こちらのOpen in Colabというボタンをクリックします。
すると、このようなページに遷移します。
難しく見えるかもしれませんが、操作自体は非常に簡単です。
まずは、左上のファイルタブから、ドライブにコピーを保存をクリックします。
コピーが生成できたら、ランタイムのタブから、ランタイムのタイプを変更を選択。
こちらを必要に応じて変更して下さい。グーグルコラボラトリーの有料会員であればV100、無料会員であればT4がおすすめのようです。
設定が完了したら、左上の再生マークを押しましょう。
再生マークを押して、5分ほど待っていると、このようなリンクが出てきます。
下にあるリンク(〜gradio.live)をクリックしましょう。
すると、このような画面が表示されます。こちらの画面から生成を開始しましょう。
サンプル動画から作成
少し下の方に行くと、動作のサンプルが確認できます。
こちらから好きなものを選んでみましょう。
まずは一番下にある、二人の女性が踊っている動画を選択してみます。
するとこのように、サンプルの画像が表示されます。
このサンプル画像をお好きな画像に変更してみましょう。
以前生成した、こちらの美女画像を使ってみます。
サンプルの画像を右上のバツボタンから削除して、その後適用したい画像をドロップしましょう。
あとはアニメイトボタンを押して、しばらく待つだけです。
5分ほど待っていると、早速動画が出来上がりました。
冒頭でもお伝えした通り、顔部分は少し破綻していますが、その他の雰囲気や動きなどは、かなりしっかりと反映されていることがわかると思います。
Sampling stepsの検証
それでは、右側の項目を色々変更して検証してみましょう。
まずはSampling stepsの数値を変更してみます。
こちらがSampling stepsを、10と50に設定して比較したものです。
画像を生成する場合は、ここまでSampling stepsが違うと、だいぶ違う画像が生成できるのですが、マジックアニメイトではあまり大差がないように思えます。
また、その下にあったGuidance scaleという数値も変更して、動画を生成してみました。
数値を大きくすると、デフォルトよりもコンストラクトがつくような動画が生成されました。
顔の破綻はDeepfakeで補填可能
顔の破綻を改善させようと色々試みましたが、今のところDeepfakeを適用するのが一番有効みたいです。
完璧とは言えませんが、真ん中のただMagicAnimateで作っただけの動画よりも、顔がしっかり生成されているのが伝わるかと思います。
ぜひDeepfakeも一緒に試してみて下さい！
MagicAnimateのまとめ
ご覧の通り、一枚の画像からこのようにスムーズな動画を生成できるのはかなり画期的です。
ただ、顔がまだうまく生成されない部分があるので、その点は他の動画生成AIや、animatediffなどの方に称賛が上がると思います。
ちなみにさらに高クオリティのアニメーション動画を生成する方法は、以下Tipsでまとめているのでよければ参考にしてみて下さい。
MagicAnimateもおそらく今後もアップデートが期待できるので、また別の検証をする際には、動画かブログでご紹介します。
皆様もぜひ試してみて下さい！
