ComfyUIが流行ってる？
Stable Diffusionで生成AI画像を作る時、もっとも一般的なインターフェースはAUTOMATIC1111だろう。デファクトスタンダードと言ってもいいほどで、検索すると、インストール方法や使い方など、それこそ山盛り出てくる。
ところが最近、ComfyUIがちょっとした人気だ。以前軽くご紹介したが、カスタムNodeを組み合わせ自由にWorkflowを構築できる結構マニアックなアプリなのに何故？
これには理由があり、12月頃から以降、Stable Video Diffusion、Kohya's HiresFix、SDXL Turbo、LCM、FaceID、PhotoMaker、InstantID、様々なControlNet Model、もう追いきれていないがアニメーション系…と、新技術が立て続けに発表されている。
これをいち早く使える(ことが多い)インターフェースがComfyUIなのだ。もちろん少し待てばAUTOMATIC1111でも使えるケースはあるものの、出ないケースもあり、(筆者も含め)対応を待ってられない人たちが難しいのを承知でComfyUIに飛びついたと言う感じとなる。
そこで今回から数回に分けて、Windows上でComfyUIのインストール、簡単な使い方、あれば便利なカスタムNodeなどをご紹介したい。ただ、筆者も使いだしてからまだ日が浅く、ある意味初心者。お手柔らかにお願いしたい。
CUDAなWindowsへComfyUIをインストールする
ComfyUIをWindowsにインストールするのは激簡単だ。もしかするとAUTOMATC1111より簡単かも知れない。手順は以下の通り。
ここからパッケージをダウンロードする
ダウンロードした new_ComfyUI_windows_portable_nvidia_cu121_or_cpu.7z を7-Zipで展開する
出来た ComfyUI_windows_portable フォルダを何処か適当な場所に置く
そのフォルダに移動して run_nvidia_gpu.bat を起動する
これで終わりだ。面倒なCUDAやpython(version 3.11)の設定はパッケージが抱えており、他に何もインストールする必要はない。
ただしこのインストールスクリプトはNVIDIA GPU専用なので、AMDやIntel GPU環境の場合は、Githubにある説明を見ながらインストールすることになる。
が、この状態ではModelやLoRAなどが全く入っておらず実質動かない。そこで(おそらくあるであろう)AUTOMATIC1111のファルダ内にあるこれらのファイルをそのまま流用する。
方法は ComfyUI_windows_portable/ComfyUI/ フォルダ内に extra_model_paths.yaml.example ファイルがあるのでこれを extra_model_paths.yaml にコピー。エディタで開くと
base_path: path/to/stable-diffusion-webui/
と言う記述があるので、自分の使っている環境でAUTOMATIC1111が入っているフォルダのパスを入れればOK。
なお、ComfyUIをLAN上の他のPCからもアクセス出来る様にするには
先の run_nvidia_gpu.bat をエディタで開き、
.\python_embeded\python.exe -s ComfyUI\main.py --windows-standalone-build
これを
.\python_embeded\python.exe -s ComfyUI\main.py --windows-standalone-build --listen
こうすれば良い(後ろに--listenを付ける)。ComfyUIが起動している IPアドレス:8188 で他のPCからも使えるようになる。
ComfyUIで画像を生成してみる
初回ComfyUIが起動すると以下のような画面になるはずだ。左端に[Load Checkpoint]Nodeがあるので使用するModelを選ぶ。SD 1.5でもSDXLでもどちらでもOK。
もしリストに何も出ない時は先の extra_model_paths.yaml を見直して欲しい。
これで右側にある[Queue Prompt]クリックすれば画像が生成される。
Promptには”beautiful scenery nature glass bottle landscape, purple galaxy bottle,”、Negative Promptには”text, watermark”とあるので、それっぽいボトルの画像が出れば正解となる。
思っていたほど難しくない…雰囲気だが如何だろうか。このWorkflowを眺めていると、Stable Diffusionがどうやって画像を生成しているのか？流れが何となく分かる気がしないでもない(笑)。
ComfyUI-Managerのインストール
まず使い始める前にComfyUI-Managerをインストールする。これはAUTOMATIC1111のExtensions的なもので、何をするにもこれが無いと始まらない。
gitコマンドを使うので、未導入の場合は、予めインストールしておく必要がある。
ComfyUI-Managerのインストール手順は以下の通り。
ComfyUI_windows_portable/ComfyUI/custom_nodes/ へ移動
git clone https://github.com/ltdrdata/ComfyUI-Manager.git を実行
ComfyUIを再起動すると、右側のメニューに[Manager]と[Share]が追加されていればOKだ。[Manager]をクリックすると以下のようなパネルが表示される。
手始めにComfyUI自体をUpdateする。これは7zのパッケージの中は更新されていないからだ。方法は[Update ComfyUI]をクリックすればOK。これで準備は完了だ。
ネットに公開しているWorkflowを使ってみる
いきなり色々なカスタムNodeを接続し、Workflowを作るのは流石に難しいと思うので、まずネットに公開しているWorkflowを使ってみたい。
先のComfyUI-Managerの右側に[Workflow Gallery]があるのでクリックすると、3つのサイトが出てくる。
今回はこの中からopenart.aiのUpscaleを利用する。img2imgのUpscaleで汎用的なものなので、いろいろ利用できるはずだ。
方法はここのページ[Download]からWorkflowをダウンロードする。jsonファイルになっているので、これをComfyUIにドラッグアンドドロップする。
 |  |
 |  |
ダウンロードしたjsonファイルをComfyUIにドラッグアンドドロップすると、赤いカスタムNodeがありエラーとなる
ComfyUI-Managerを開き、[Install Missing Custom Nodes]
一覧が出るのでインストールする
インストールが終わったらリスタート
すると赤いカスタムNodeがありエラーとなる。これはネット上のWorkflowを使った時によくある話で、「Workflowで使っているカスタムNodeでComfyUIにインストールされていないものがある」と言う意味だ。
解決するにはComfyUI-Managerを開き、[Install Missing Custom Nodes]をクリックすると該当するカスタムNodeを表示するのでインストール。その後、リスタートして、Workflowをリロードすれば赤いカスタムNodeは無くなっているはずだ。
ただ場合によってはそれでも赤いカスタムNodeが残る時もあり、この時はWorkflowの説明に方法があったり、無かったり…。後者だと諦めると言うことになる。
このWorkflowの使い方だが、標準はSDXL Modelのimg2imgでUpscaleする(中央下側のブルー系)。この時、Load Checkpoint、Load Upscale Model、Load LoRAを好みのものに設定。今回Load LoRAの部分が紫色になっているのは右クリックメニューでBypassを選んだから=LoRAは使わない。この辺りは用途や好みの応じて設定すればいいだろう。
Ultimate SD Upscaleのいろいろある項目、一番上は何倍にUpscaleするか。デフォルトでは2倍になっている。あまり大きくするとVRAM容量不足になるので要注意！
各カスタムNodeは結構頻繁にUpdateしているので、定期的にComfyUI-Managerの[Fetch Upadtes]を実行した方が良い。
今回締めのグラビア
今回のグラビアはPRG(Recaptioning, Planning, and Generating with Multimodal LLMs) Modelを使用した。
ザックリ説明すると”よりPromptを忠実に、そして詳細に再現出来るModel”的な感じだ。詳しい情報はここにあるので興味のある方は合わせてご覧いただきたい(ただし英語)。
ここには実際PRG Modelを採用しているものとしてSDXLでは
AlbedoBaseXL (for SDXL-baed)
DreamShaperXL SDXL-Turbo based)
があげられている。
DreamShaperXLは他のDreamShaperも含めアジア系が苦手なのでAlbedoBaseXLを使用した。顔LoRAを使用しなくても、Prompt(a japanese woman)だけで日本人っぽい美人が出る。
これはある意味正統派。扉の写真縦的グラビアとなる。
そして今回はおまけでもう1枚！たまには衣装や背景などが自由な生成AIっぽく、SF的にしてみた(衣装は@AGPI_AIGAL 氏のPromptを一部流用)。美女エイリアンの地球侵略！？(笑)。
おそらく実写での撮影は不可能。合成しか手が無い。こんな事ができてしまうのも面白さの1つと言えよう。
なお、扉とこのグラビアはComfyUIの筆者製Workflow。内容はSDXLを使いKohya's HiresFixでいきなり1,280x1,920を生成、FreeU、LCM LoRAによる高速化などLoRAを3つ使用。顔認識して詳細描画(AUTOMATIC1111のADetailer的なもの)…と言う感じだ。この辺りの話はComfyUI関連で追って説明する予定。お楽しみに！
生成AIグラビアをグラビアカメラマンが作るとどうなる？連載記事一覧
