この記事の目次
- はじめに
- まず読んで欲しい記事
- Stable Diffusionを体験してみる
- ローカルPCにStable Diffusion導入
- メインリポジトリ(CompVis)
- モデルの入手
- huggingface（CompVis/stable-diffusion）
- 2次元が得意なモデル（trinart_stable_diffusion_epoch3）
- 2次元が得意なモデル（trinart_stable_diffusion_v2）
- 2次元が得意なモデル（waifu-diffusion）
- モデルをマージできるPythonスクリプト
- メモリサイズのスペックが低くても動くフォーク
- 多機能フォーク（AUTOMATIC1111）
- Windowsに比較的簡単にインストールできる
- M1 Macで動作するフォーク(magnusviri／lstein)
- CPUで動作するフォーク（darkhemic）
- プロンプトをバッチ化できるフォーク
- 元絵から似た画像を生成するフォーク(justinpinkney)
- 長いプロンプト入力に対応したフォーク（sharonzhou）
- 異なるプロンプトを『Compositional Diffusion Models』で構成するフォーク（Slickytail）
- 日本語に対応（rinnakk）
- Windows,macOS,Linux全対応のGUI
- Google Colab上で動作
- 日本語の丁寧な解説がある（fladdict）
- 多機能＋WEB UIで動作する（AUTOMATIC1111）
- プロンプトを日本語で指示できる（StableDiffusionGenerator）
- アニメ特化でチューニングしたWaifu Diffusion（harubaru）
- 生成した画像から動画を作成（Deforum）
- プロンプト・画像生成のキーワードのコツなど
- プロンプトをキーワードから探せる
- AIが英語のプロンプトの生成を助けてくれる『Catchy』
- 見本画像を見ながらプロンプトの生成を助けてくれる
- 画像からプロンプトを生成してくれる『img2prompt』
- モデルのデータ元からプロンプトを推測
- プロンプトに関するチュートリアル記事
- ファインチューニング（Textual Inversion）
- ファインチューニング（Stable Diffusion Dreambooth）
はじめに
Stable Diffusionの一般公開により、楽しく遊ばせていただいています。
公開以降、多くのフォーク（ブランチ）が公開され、手元の関連情報のブックマークが溢れてしまいそうですので、備忘録＋自分用のブックマークメモとしてリストアップします。
詳しい導入方法はレポジトリに記載されているREADMEをご参照ください。
備忘録として記載しているため最新情報ではない場合もあります。
ローカル環境にインストールされる際は自己責任で、悪意あるコードが含まれる場合もありますのでくれぐれもご注意ください。
まず読んで欲しい記事
【CEO直撃】THE GUILD深津氏が画像生成AI「Stable Diffusion」開発元に聞く、AIビジネスの“新時代” | DIAMOND SIGNAL
8月に突如登場し、瞬く間にネットユーザーの注目の的となった画像生成AIの「Stable Diffusion」。開発元である英国のスタートアップ・Stability AIのCEOであるエマード・モスターク氏が、初めて日本のメディアのインタビューに応じた。Stable Diffusionが与えるインパクトや事業としての展開、そしてStability AIの掲げる「AIの民主化」などについて聞いた。…
Stable Diffusionを体験してみる
Memeplex
- まずはWEBでStable Diffusionが体験できるMemeplexで画像を生成してみるのがオススメ
- 日本語で生成が可能
- 有志で運営されているサービスなので常識の範囲内で連投などはせず負荷のかからないように暖かい心で
LINEで体験
- LINEで友だち追加をし、文章を送ると画像生成をしてくれるbotサービス
【Stable DiffusionをLINEで遊べるbotをリリースしました！☀️】
LINEに文章を送ると爆速でAIが画像生成してくれます！！
日本語対応もしてるので、気軽に今話題のAIがLINEで試せます！
ぜひお登録して拡散してください〜〜！！友だち追加はこちらから👉https://t.co/OrB4KVilwm#StableDiffusion https://t.co/owaUcoO3wV pic.twitter.com/1em0cDzPfn
— Nishino@お絵描きばりぐっどくんの開発者 (@nishino_0719) August 28, 2022
iPhoneで体験『AIピカソ』
StableDiffusion API『compute(r)ender』
ローカルPCにStable Diffusion導入
メインリポジトリ(CompVis)
- 本家のGit
- README.mdにて概要・規約等を把握
モデルの入手
- モデルのダウンロードにはアカウント登録・規約への承諾が必要
huggingface（CompVis/stable-diffusion）
CompVis/stable-diffusion · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.…
2次元が得意なモデル（trinart_stable_diffusion_epoch3）
naclbit/trinart_stable_diffusion · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.…
2次元が得意なモデル（trinart_stable_diffusion_v2）
naclbit/trinart_stable_diffusion_v2 · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.…
2次元が得意なモデル（waifu-diffusion）
hakurei/waifu-diffusion · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.…
モデルをマージできるPythonスクリプト
- waifuモデルとtrinartモデルを指定したパーセントでマージができるスクリプト
メモリサイズのスペックが低くても動くフォーク
- VRAMが不足している環境などでも動くフォーク
Optimized Stable Diffusion（basujindal）
多機能フォーク（AUTOMATIC1111）
- txt2img・img2img動作
- Outpainting 外塗りを追加できる
- Inpainting 塗り潰して補正
- X/Y plot 表状に画像を生成し見比べができる
AUTOMATIC1111のDocker対応(AbdBarho)
AbdBarho/stable-diffusion-webui-docker: Easy Docker setup for Stable Diffusion with user-friendly UI
Windowsに比較的簡単にインストールできる
NMKD Stable Diffusion GUI
- 詳しいインストール方法はgigazine.netを参照するのがオススメ
NMKD Stable Diffusion GUI – AI Image Generator by N00MKRAD
Generate AI images on your own GPU for free…
M1 Macで動作するフォーク(magnusviri／lstein)
lstein
- M1・M2のGPU（MPS）でも動作するようにフォークされている
- README-Mac-MPS.mdを参照しインストール
- セットアップに関するスレッド
AUTOMATIC1111
Birch-san
M1 Mac（Intel Mac）にワンクリックでインストール可能（DiffusionBee）
divamgupta/diffusionbee-stable-diffusion-ui
Diffusion Bee is the easiest way to run Stable Diffusion locally on your M1 Mac. Comes with a one-click installer. No dependencies or technical knowledge needed.
CPUで動作するフォーク（darkhemic）
darkhemic
プロンプトをバッチ化できるフォーク
lowfuel(M1 Macも動作)
- 大量に画像を生成したい人向けのフォーク
- “A ＜castle|inn|mansion|shop＞ in New York”のように<>に指定したワードをバッチ処理しながら生成できる
- Macユーザー向けにmac-environment.yamlもあり
元絵から似た画像を生成するフォーク(justinpinkney)
justinpinkney
- インプットした画像を元にバリエーションを生成してくれる
- Huggingface、Colabでも試せる
長いプロンプト入力に対応したフォーク（sharonzhou）
sharonzhou/long_stable_diffusion
Long-form text-to-images generation, using a pipeline of deep generative models (GPT-3 and Stable Diffusion)
異なるプロンプトを『Compositional Diffusion Models』で構成するフォーク（Slickytail）
日本語に対応（rinnakk）
rinnakk/japanese-stable-diffusion
Japanese Stable Diffusion is a Japanese specific latent text-to-image diffusion model capable of generating photo-realistic images given any text input.
Windows,macOS,Linux全対応のGUI
Google Colab上で動作
ローカルに環境を構築する前に、Google Colab上で動作を体験してみるのがオススメ
日本語の丁寧な解説がある（fladdict）
Stable Diffusion Helper
- まずこのipynbを使用してみるのがオススメ
- 必ず注意事項を一読の上使用する
- fladdictさんが公開して下さった日本語解説ありのipynb
- タイル状に画像が生成する機能があり、テクスチャーやマテリアル生成目的の人に最適
多機能＋WEB UIで動作する（AUTOMATIC1111）
- txt2img・img2img動作
- Outpainting 外塗りを追加できる
- Inpainting 塗り潰して補正
- X/Y plot 表状に画像を生成し見比べができる
プロンプトを日本語で指示できる（StableDiffusionGenerator）
StableDiffusionGenerator ver1.02.00 リリースしました！https://t.co/OyqECc5SHn
二次元イラストに特化した学習モデル「waifu-diffusion」を使えるように拡張しました。
同じ呪文でも学習モデルで雰囲気変わりますね。1枚目）stable-diffusion-v1-4
2枚目）waifu-diffusion pic.twitter.com/PFVeF4Dd7e— miu (@miu200521358) September 9, 2022
アニメ特化でチューニングしたWaifu Diffusion（harubaru）
- Danbooru（アニメ画などが多い）掲示板でチューニングしたフォーク
生成した画像から動画を作成（Deforum）
Deforum Stable Diffusion v0.3
– Inpainting/Init Masking
– Depth Warp Animationshttps://t.co/mWNkzWtPsK— deforum (@deforum_art) September 3, 2022
プロンプト・画像生成のキーワードのコツなど
プロンプトをキーワードから探せる
Lexica
KERA
Explore millions of AI generated images and create collections of prompts.…
AIが英語のプロンプトの生成を助けてくれる『Catchy』
見本画像を見ながらプロンプトの生成を助けてくれる
Prompts search
Phraser — a better way to generate prompts
AI-powered service that helps you to write better prompts for DALLE 2, Midjourney, Craiyon, Stable Diffusion, and other neural networks…
Prompt Builder
A human friendly prompt builder for AI visual art generators like Midjourney, Stable Diffusion, DALL-E 2 or any other diffusion model.…
Stable Diffusion Prompt Builder
promptoMANIA:: Stable Diffusion prompt builder
Start using the best prompt builder for Stable Diffusion – it’s free and easy to use.…
Phase
画像からプロンプトを生成してくれる『img2prompt』
methexis-inc/img2prompt – Run with an API on Replicate
Get an approximate text prompt, with style, matching an image. (Optimized for stable-diffusion (clip ViT-L/14))…
モデルのデータ元からプロンプトを推測
laion-aesthetic-6pls
Clip front
Have I Been Trained?
danbooruのタグランキング
プロンプトに関するチュートリアル記事
総合記事
2次元系
写真系
Quest for ultimate photorealism : StableDiffusion
166 votes, 56 comments. Hi guys, I think i could define myself as an advance hobby photographer, but on the other side I am also an actuary and ……
ファインチューニング（Textual Inversion）
170 votes, 113 comments. Hello everyone! I see img2img getting a lot of attention, and deservedly so, but textual_inversion is an amazing way to ……
rinongal
Google Colabで学習
nicolai256
- README.md中程のcolab notebook for training if your gpu is not good enough to train. (free colab version works)からGoogle Colabに遷移
Hugging Face
学習済みデータのサンプルライブラリ
sd-concepts-library (Stable Diffusion concepts library)
We’re on a journey to advance and democratize artificial intelligence through open source and open science.…
ファインチューニング（Stable Diffusion Dreambooth）
Stable Diffusion Dreambooth Concepts Library
sd-dreambooth-library (Stable Diffusion Dreambooth Concepts Library)
We’re on a journey to advance and democratize artificial intelligence through open source and open science.…
［記事公開日］
［最終更新日］
