【新機能】Stable Diffusionコントロールネット『IP Adapter』の使い方について

今回はコントロールの新機能、IP Adapterをご紹介します。

IP Adapterを使うと、このような画像が生成できます。

左が実写の画像で、右がIP Adapterを適用して生成したAI画像です。

ご覧いただければわかる通り、元画像のイメージを引き継いで、それに類似した画像を生成することができます。

ちなみにこちらは『1 beautiful japanese girl』という短いプロンプトを入力しただけです。プロンプトを細かく入力しなくても、こういった画像が生成できるのでかなり革命的な機能だと思います。

まだ試したことがない方は、ぜひ参考にしてみてください！

IP Adapterのインストール方法

まずはStable Diffusionの画面を開き、下の方にスクロールしていきます。

コントロールネットのタブを開くと、IP adapterという項目があると思います。

もし、ここにIP adapterが無いというかたがいれば、コントロールネットを最新バージョンに更新しましょう。

右側のモデルという項目を開くと、色々と選択肢が出てくるのですが、特定のモデルをダウンロードする必要があります。

こちらのHuggingfaceのサイトを開きましょう。

この中から、こちらの2つのファイルをダウンロードします。

ダウンロードが完了したら、

SD webui controlnet配下の、modelsフォルダに格納しましょう。

アップロードを終えたら、右側にある更新マークを押します。モデルが反映されたら、準備完了です。

それでは早速IP adapterを使ってみましょう。

IP Adapterの使い方

ひとまずこちらのオレンジヘアで腕組みをしている女性の画像で試してみます。

シングルイメージの部分に画像をドロップして、enableにチェックを入れます。

IP adapterを選択して、プリプロセッサーとモデルを選択します。

現在は1.5を使用しているので、それぞれsd15を選択しています。Sdxlを使用しているかたは、sdxlを選択しましょう。

そして、プロンプトに適当なテキストを入れます。

ここでは1 japanese beautiful womanという、簡単なプロンプトを入れてみます。

これでジェネレイトボタンを押してみましょう。

すると、このような画像が出来上がりました。

元々のオレンジヘアの特徴、笑顔や腕組みしているポーズを、かなり忠実に再現をしてくれています。

プロンプトは一人の日本人女性、とだけしか入力していないにも関わらず、このような画像が出力されるのはなかなか衝撃的です。

それではプロンプトの指示をもう少し増やしてみましょう。

黒髪のショートヘアという指示を追加して、生成してみます。

オレンジヘアに若干黒が混じったような気もしますが、あまり変化がありません。

コントロールウェイトの調整

思い通りにプロンプトが反映されない場合は、コントロールウェイトを調整してみましょう。

デフォルトだと1になっているので、0.6に変更してみます。

髪いろは結構暗めになってきましたが、ショートヘアが適用されていません。

0.4に変更して試してみましょう。すると、このような画像が生成されました。

腕組みをしている描写は少なくなってしまいましたが、元々の画像の構造はキープしつつ、髪型が変更できたのがわかるかと思います。

このようにコントロールウェイトの数値を変えれば、元画像の要素をどのくらい反映させるかを調整することができます。

まとめ

IP Adapterは、他のコントロールネットと併用したりすることもできます。

そのような応用方法に関しては、また追記する予定ですので、よければまた参考にしてみてください。

またYouTube動画でも説明をしていますので、動画の方がわかりやすいという方はこちらもぜひ。