<h1 id="heading-17">モデルの説明</h1>アニメ調に寄せた「<a target="_blank" rel="ugc" href="https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0">SDXL(stable-diffusion-xl-base-1.0)</a>」モデルです。内容は「<a target="_blank" rel="ugc" href="https://huggingface.co/datasets/p1atdev/niji-v5">niji-v5</a>」データセットでLoRAファインチューニングしてマージしたモデルです。<h1 id="heading-18">使用例</h1><a target="_blank" rel="ugc" href="https://huggingface.co/inu-ai/niji-diffusion-xl-base-1.0/resolve/main/niji-diffusion-xl-base-1.0.safetensors">niji-diffusion-xl-base-1.0.safetensors</a>と<a target="_blank" rel="ugc" href="https://github.com/AUTOMATIC1111/stable-diffusion-webui">stable-diffusion-webui</a>で以下のパラメータで画像生成します。※合計13000枚ぐらい<s>100枚</s>しか学習していないのでPromptに複数書くとnijiの絵じゃなくなります。Negative promptに複数書くのは大丈夫っぽいです。Prompt:<pre><code>masterpiece, best quality, high quality, absurdres, 1girl, flower
</code></pre>Negative prompt:<pre><code>worst quality, low quality, medium quality, deleted, lowres, comic, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry
</code></pre>PNG info:<pre><code>Steps: 28, Sampler: Euler a, CFG scale: 7, Seed: 1, Size: 1536x1024, Model hash: 791d0c791e, Model: sd_xl_niji_1.0, Clip skip: 2, ENSD: 31337, Token merging ratio: 0.5, Eta: 0.67, Version: v1.5.1
</code></pre><a target="_blank" rel="ugc" href="https://huggingface.co/inu-ai/niji-diffusion-xl-base-1.0/blob/main/images/thumbnail.jpg"><img src="https://huggingface.co/inu-ai/niji-diffusion-xl-base-1.0/resolve/main/images/thumbnail.jpg" alt="thumbnail" /></a>Prompt:<pre><code>1girl
</code></pre><a target="_blank" rel="ugc" href="https://huggingface.co/inu-ai/niji-diffusion-xl-base-1.0/blob/main/images/1girl.jpg"><img src="https://huggingface.co/inu-ai/niji-diffusion-xl-base-1.0/resolve/main/images/1girl.jpg" alt="thumbnail" /></a>Prompt:<pre><code>1girl, tokyo
</code></pre><a target="_blank" rel="ugc" href="https://huggingface.co/inu-ai/niji-diffusion-xl-base-1.0/blob/main/images/1girl,%20tokyo.jpg"><img src="https://huggingface.co/inu-ai/niji-diffusion-xl-base-1.0/resolve/main/images/1girl,%20tokyo.jpg" alt="thumbnail" /></a>Prompt:<pre><code>1girl, steampunk
</code></pre><a target="_blank" rel="ugc" href="https://huggingface.co/inu-ai/niji-diffusion-xl-base-1.0/blob/main/images/1girl,%20steampunk.jpg"><img src="https://huggingface.co/inu-ai/niji-diffusion-xl-base-1.0/resolve/main/images/1girl,%20steampunk.jpg" alt="thumbnail" /></a>Prompt:<pre><code>1girl, fantasy
</code></pre><a target="_blank" rel="ugc" href="https://huggingface.co/inu-ai/niji-diffusion-xl-base-1.0/blob/main/images/1girl,%20fantasy.jpg"><img src="https://huggingface.co/inu-ai/niji-diffusion-xl-base-1.0/resolve/main/images/1girl,%20fantasy.jpg" alt="thumbnail" /></a><h1 id="heading-19">モデルの作り方</h1><ol><li>「<a target="_blank" rel="ugc" href="https://note.com/2vxpswa7/n/n2d04527bf0bc">かんたん☆コピー機学習法（きっと初級編）</a>」を参考に、「<a target="_blank" rel="ugc" href="https://civarchive.com/models/120624">ぼかし（blur）</a>」のLoRA DreamBoothをして、そのLoRAモデルをSDXLモデルにマイナスでマージします。</li><li>1で作ったモデルに、niji-v5から背景や髪が詳細に描かれている絵などを100枚選びLoRAファインチューニングして、そのLoRAモデルをSDXLモデルにマージします。</li></ol><h1 id="heading-20">今後のモデルの改善</h1>LoRAモデルとして配布できるようにしたいです。 というのは、512dim(rank)で学習したらLoRAモデルが3GBのファイルサイズになってしまったため、今回はSDXLモデルにマージしています。<h1 id="heading-21">感想</h1>うまく調整できず何度もやり直して大変でした。あとで作り方を動画にしたいです。<h1 id="heading-22">謝辞</h1>モデル、学習データや学習ツールを作成および配布してくださった方々に心から感謝申し上げます。<h1 id="heading-23">ライブラリ</h1><ul><li><a target="_blank" rel="ugc" href="https://github.com/kohya-ss/sd-scripts/tree/sdxl">sd-scripts</a> 4072f723c12822e2fa1b2e076cc1f90b8f4e30c9</li><li><a target="_blank" rel="ugc" href="https://github.com/jllllll/bitsandbytes-windows-webui">bitsandbytes</a> 0.39.1</li><li>Pytorch 2.0.0+cu117</li><li>xformers 0.0.19</li></ul><h1 id="heading-24">ライセンス</h1><ul><li><a target="_blank" rel="ugc" href="https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/blob/main/LICENSE.md">CreativeML Open RAIL++-M License</a></li></ul>

niji-diffusion-xl-base-1.0

さらにnijijourneyの画像1000枚ほどを目で見てアニメやイラスト風で良いもの選んで学習させました。以下に何をやったか記録しますが、何が効いているのかわかりません。以下にハイパーパラメータを記載しますが、その後<a target="_blank" rel="ugc" href="https://civitai.com/models/120452?modelVersionId=135754">v11</a>と<a target="_blank" rel="ugc" href="https://github.com/hako-mikan/sd-webui-supermerger">sd-webui-supermerger</a>階層マージ（block_lrに近い絵が良さそうな比率）をしているため一度で仕上がりませんでした。最後に<a target="_blank" rel="ugc" href="https://civitai.com/models/120624">blur</a>を-0.05ほど、<a target="_blank" rel="ugc" href="https://github.com/p1atdev/LECO">LECO</a>で作った<a target="_blank" rel="ugc" href="https://civitai.com/models/128125/anime-leco">anime</a>を1でLoRAマージして仕上げました。<ul><li>GPU: RTX3090 24GB</li><li>optimizer_type: PagedLion8bit</li><li>optimizer_args: weight_decay=0.01, betas=.9,.999</li><li>block_lr: 0,1e-08,1e-08,1e-08,1e-08,1e-07,1e-07,1e-07,1e-06,1e-06,1e-05,1e-05,1e-05,1e-06,1e-06,1e-07,1e-07,1e-07,1e-08,1e-08,1e-08,1e-08,0</li><li>lr_scheduler: cosine</li><li>lr_warmup_steps: 100</li><li>gradient_checkpointing</li><li>mixed_precision: bf16</li><li>full_bf16</li><li>max_token_length: 225</li><li>min_snr_gamma: 5</li><li>noise_offset: 0.0357</li><li>max_train_epochs: 3</li><li>batch_size: 10</li><li>enable_bucket: true</li><li>resolution: [1024,1024]</li></ul>

Files with SHA256: a85094dbc3ff79a0ee71b129d91f7bd7232fc8c4cf8e1552f7d788bc9ac2757d