1280-RetX 版について　※ サンプル画像は ノーマル、1280、RetX の差分です(1280版よりも背景側に差がついてます、主題側は主線や色に差が出ています)リアルでもアニメでも使えます SDXLノーマルにない 1280px 学習を完了しています このVAEについて不要な方は評価をせずスルーしてください、必要な方のみお使いください スタンダードの <a target="_blank" rel="ugc" href="https://huggingface.co/madebyollin/sdxl-vae-fp16-fix">fp16VAE(Fix)</a> に対し <a target="_blank" rel="ugc" href="https://civarchive.com/articles/25604">EmoTion</a> で全層学習を行いました、VAE エンコード＆デコード 両面に対し学習を実施しています(conv含む) ご使用においてはカスタムVAEによるエラー等もあるかもしれない、ということを念頭に置いてご使用ください学習設定等： 元VAE： <a target="_blank" rel="ugc" href="https://huggingface.co/madebyollin/sdxl-vae-fp16-fix">https://huggingface.co/madebyollin/sdxl-vae-fp16-fix</a>損失設定：MSE：85%、Sobel：5%、LPIPS：10% EmoTion：256、768、1280px：明暗の違いと構造など EmoTion：128、512、1024px：原色と色差と反射角など※ 従来と同じTM-Mergeにより全結合しています ※ 以前のモデル(Checkpoint) も驚くほどキレイになるのでお試しください ※ paru-paru モデルのアーティファクトも正規化されます(ご存じの方ぜひ)<hr />1280px 版について　※ サンプル画像は ノーマル と このVAE の 差分 ですリアルでもアニメでも使えます SDXLノーマルにない 1280px 学習を完了していますこのVAEについて不要な方は評価をせずスルーしてください、必要な方のみお使いください スタンダードの <a target="_blank" rel="ugc" href="https://huggingface.co/madebyollin/sdxl-vae-fp16-fix">fp16VAE(Fix)</a> に対し <a target="_blank" rel="ugc" href="https://civarchive.com/articles/24407">EmoSens</a> で全層学習を行いました、VAE エンコード＆デコード 両面に対し学習を実施しています(conv含む)ご使用においてはカスタムVAEによるエラー等もあるかもしれない、ということを念頭に置いてご使用ください学習設定等： 元VAE： <a target="_blank" rel="ugc" href="https://huggingface.co/madebyollin/sdxl-vae-fp16-fix">https://huggingface.co/madebyollin/sdxl-vae-fp16-fix</a>損失設定：MSE：85%、Sobel：5%、LPIPS：10%EmoSens：128px、768px EmoCat：256px、1024px EmoAiry：512px、1280px、※ この1280pxが長時間化の最大要因 をそれぞれ担当し、この６つを Tall-Mask-Merge にて統合しています、色域と微細表現に変化あります、前のUNIV版を引き継ぎせず、全px域を再学習していますSens、Airy、Cats、のそれぞれのVAEはSDXLとの整合性を維持しており、単体でも使用可能状態です、この３つのイイトコドリをするため にTall-Mask-Merge を実施しました※ EmoSens 世代は、VAEを破壊せず更新可能です ※ 学習時間はあわせて 180min くらい (RTX3060-12GB) ※ EmoSens 世代は 完全自動学習率 なので高値LRですぐ学習完了<hr />UNIV 版について　※ サンプル画像は ノーマル と このVAE の 差分 ですリアルでもアニメでも使えますスタンダードの <a target="_blank" rel="ugc" href="https://huggingface.co/madebyollin/sdxl-vae-fp16-fix">fp16VAE(Fix)</a> に対し <a target="_blank" rel="ugc" href="https://civarchive.com/articles/24407">EmoSens</a> で全層学習を行いました、VAE エンコード＆デコード 両面に対し学習を実施しています(conv含む)通常ですとVAEに対し学習を実施すると｢モデルとVAEの整合性｣が損なわれますが、EmoSens は整合性を維持していますこのVAEは最適化され生成テストでは｢指｣について改善傾向を感じます、このVAEは学習時のLatentキャッシュも作成できます※ つまり｢細部の再現性を向上｣しています(色域も拡大しています)ご使用においてはカスタムVAEによるエラー等もあるかもしれない、ということを念頭に置いてご使用ください学習設定等： 元VAE： <a target="_blank" rel="ugc" href="https://huggingface.co/madebyollin/sdxl-vae-fp16-fix">https://huggingface.co/madebyollin/sdxl-vae-fp16-fix</a>損失設定：MSE：95%、Sobel：5%EmoSens：128px、EmoCat：256px、EmoAiry：512px、をそれぞれ担当し、この３つを Tall-Mask-Merge にて統合しています、色域と微細表現に変化ありますSens、Airy、Cats、のそれぞれのVAEはSDXLとの整合性を維持しており、単体でも使用可能状態です、この３つのイイトコドリをするため にTall-Mask-Merge を実施しました※ EmoSens 世代は、VAEを破壊せず更新可能です ※ 学習時間はあわせて 20min くらい (RTX3060-12GB) ※ EmoSens 世代は 完全自動学習率 なので高値LRですぐ学習完了<hr />KBlueLeaf 氏の EQ-SDXL-VAE を、madebyollin 氏の SDXL-Fix-VAE にマージしました マージは、ABBA-LoRA メソッド(SVD方式)、Tall-Mask-merge メソッドを用い 特徴の抽出＋特徴のみ更新、により EQ-VAE の特徴を選択的に合成しています これにより Latent chache や、画像出力で、詳細を得やすく進化しています 従来VAEとの置き換えでは、輝度や彩度などが上がるように見えますが、 これは細部の黒つぶれ等を抑制し、階調表現が底上げされたことに由来します (Latent chache を生成し学習に用いることで詳細を学びやすくなるはずです)※ もし NaN 等を生じる場合は、fp32で回避するか、使用を中止してください ※ Latent 再作成し学習に使用し完了することを確認済みです ※ <a target="_blank" rel="ugc" href="https://civarchive.com/articles/20071/kahan-fp8-emo-ok">EmoLynx</a> を用いて fp8 + 2048px + ZtSNR(e-pred) も OK でした ※ 学習モデルの fp8 と 16 での誤差は 1e-4 程度(これは fp16-32 の誤差と同等) KBlueLeaf：EQ-SDXL-VAE <a target="_blank" rel="ugc" href="https://huggingface.co/KBlueLeaf/EQ-SDXL-VAE">https://huggingface.co/KBlueLeaf/EQ-SDXL-VAE</a>madebyollin：SDXL-VAE-FP16-Fix <a target="_blank" rel="ugc" href="https://huggingface.co/madebyollin/sdxl-vae-fp16-fix">https://huggingface.co/madebyollin/sdxl-vae-fp16-fix</a> ABBA-LoRA <a target="_blank" rel="ugc" href="https://arxiv.org/abs/2505.14238">https://arxiv.org/abs/2505.14238</a>Tall-Mask-Merge <a target="_blank" rel="ugc" href="https://arxiv.org/abs/2405.07813">https://arxiv.org/abs/2405.07813</a> 出力画像の見た目には大きな変化はありません 学習に用いることで効果をより高めることになると思います

XL-VAE

xlVAE_hqFp16V100.safetensors

Files with SHA256: 328a75a9c248806347d81b0cb23172d0055a8883da0a4eca15513d85ee75b078