ベースモデルがIllustrious本家で上手く学習できなかったためrouwei_v080Epsilonで学習しています。Aya_Honma_illustriousXL10_v10で生成した教師画像を使用しています。
qwen等、自然語キャプション学習用にキャプションファイルを付け直しました。（※一部??が見えていた教師画像は削除し学習用キャプションのテキストファイルだけ残しています。）
json→LORAプレビュー画像、Forge用LORA設定ファイル。
json→Kohya_lora_trainer→学習設定.xmloraファイル、教師画像（一部教師画像削除）
質問来ていたので共有しておきます。
学習用テンプレートについてDIM8の軽量設定ですので版権キャラ完コピの設定ではありません。顔の形状、目の形程度しか再現できないと思います。肌の質感や体型はすべてプロンプトで制御しています。EPOもっと増やせばいつかは覚えるかもしれませんがそこまで進めたらキャラの教師画像のポーズなどに固定されると思います。
完全個人用ですが完コピの設定を置いておきます。LycorisでありDIM32の巨大LORAになります。
この設定で作ったLORAは公開もしないし完全趣味用で利用しています。
良い点は他の方が作ってくれた衣装LORAなどで質感合わせた後にベース教師画像の10％程度教師画像に混ぜて覚えさせる余裕がある。（19種類の衣装とオブジェクトまでは動作確認済み）
悪い点は学習時間がDIM32と <GradAccSteps>4</GradAccSteps>を設定しているのでめちゃめちゃ時間がかかる。EPO毎保存と時々最低lossのEPO拾って生成確認して妥協しないと生成で遊ぶ時間が無くなる。
※json20250831.zip にKohya_lora_trainer用テンプレート追加しました。
<?xml version="1.0" encoding="utf-8"?>
<TrainParams xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:xsd="http://www.w3.org/2001/XMLSchema">
<ModelPath>C:\Users\HP45L-02\AppData\Roaming\StabilityMatrix\Models\StableDiffusion\rouwei_v080Epsilon.safetensors</ModelPath>
<TrainImagePath>C:\trainingfolder</TrainImagePath>
<OutputPath>D:\Data\kohyaSS-log</OutputPath>
<TensorBoardLogPath>D:\Data\TensorBoardLOG</TensorBoardLogPath>
<LoraModelPath />
<LearningRate>6E-05</LearningRate>
<Resolution>1024</Resolution>
<BatchSize>2</BatchSize>
<Epochs>25</Epochs>
<NetworkDim>32</NetworkDim>
<NetworkAlpha>16</NetworkAlpha>
<RegImagePath />
<ShuffleCaptions>false</ShuffleCaptions>
<KeepTokenCount>3</KeepTokenCount>
<SaveEveryNEpochs>1</SaveEveryNEpochs>
<OptimizerType>Came</OptimizerType>
<WarmupSteps>0.05</WarmupSteps>
<LRDecaySteps>1</LRDecaySteps>
<OutputName>_rouwei_v080Epsilon_LyCORIS</OutputName>
<Comment />
<CpuThreads>1</CpuThreads>
<NoBucketUpscaling>true</NoBucketUpscaling>
<UseWarmupInit>true</UseWarmupInit>
<ClipSkip>1</ClipSkip>
<Seed>119</Seed>
<SavePrecision>fp16</SavePrecision>
<SchedulerType>cosine_with_restarts</SchedulerType>
<MinBucketResolution>320</MinBucketResolution>
<MaxBucketResolution>2048</MaxBucketResolution>
<CaptionFileExtension>.txt</CaptionFileExtension>
<VAEPath>C:\Users\HP45L-02\AppData\Roaming\StabilityMatrix\Models\VAE\sdxl_vae.safetensors</VAEPath>
<UnetLR>6E-05</UnetLR>
<TextEncoderLR>6E-06</TextEncoderLR>
<NoiseOffset>0.0357</NoiseOffset>
<Momentum>0.9</Momentum>
<advancedTrainType>None</advancedTrainType>
<CrossAttenType>xformers</CrossAttenType>
<UseGradient>true</UseGradient>
<UseWeightedCaptions>false</UseWeightedCaptions>
<DisableMmapLoadSafetensors>true</DisableMmapLoadSafetensors>
<VParameterization>false</VParameterization>
<ZeroTerminalSNR>false</ZeroTerminalSNR>
<AdaptiveNoiseScale>0</AdaptiveNoiseScale>
<MinSNRGamma>0</MinSNRGamma>
<MultiresNoiseIterations>5</MultiresNoiseIterations>
<MultiresNoiseDiscount>0.25</MultiresNoiseDiscount>
<NetworkDropout>0</NetworkDropout>
<RankDropout>0</RankDropout>
<ModuleDropout>0</ModuleDropout>
<CaptionDropout>0</CaptionDropout>
<IpNoiseGamma>0.05</IpNoiseGamma>
<CaptionTagDropout>0</CaptionTagDropout>
<ClipLDropoutRate>0</ClipLDropoutRate>
<ClipGDropoutRate>0</ClipGDropoutRate>
<T5DropoutRate>0</T5DropoutRate>
<TEBatchSize>0</TEBatchSize>
<ScaleWeightNorms>0</ScaleWeightNorms>
<ResizeInterpolationType>None</ResizeInterpolationType>
<ModuleType>LyCORIS</ModuleType>
<AlgoType>lora</AlgoType>
<ConvDim>32</ConvDim>
<ConvAlpha>16</ConvAlpha>
<UseConv2dExtend>true</UseConv2dExtend>
<DyLoRAUnit>4</DyLoRAUnit>
<DatasetConfigPath />
<TrainNorm>false</TrainNorm>
<RescaledOFT>false</RescaledOFT>
<ConstrainedOFT>false</ConstrainedOFT>
<UseScalar>false</UseScalar>
<UseTucker>false</UseTucker>
<WeightDocomposition>false</WeightDocomposition>
<UseBlockWeight>false</UseBlockWeight>
<BlockWeightIn>
<int>20</int>
<int>20</int>
<int>20</int>
<int>20</int>
<int>20</int>
<int>20</int>
<int>20</int>
<int>20</int>
<int>20</int>
<int>20</int>
<int>20</int>
<int>20</int>
</BlockWeightIn>
<BlockWeightMid>20</BlockWeightMid>
<BlockWeightMid01>20</BlockWeightMid01>
<BlockWeightMid02>20</BlockWeightMid02>
<BlockWeightOut>
<int>20</int>
<int>20</int>
<int>20</int>
<int>20</int>
<int>20</int>
<int>20</int>
<int>20</int>
<int>20</int>
<int>20</int>
<int>20</int>
<int>20</int>
<int>20</int>
</BlockWeightOut>
<BlockWeightOffsetIn>0</BlockWeightOffsetIn>
<BlockWeightOffsetOut>0</BlockWeightOffsetOut>
<BlockWeightPresetTypeIn>none</BlockWeightPresetTypeIn>
<BlockWeightPresetTypeOut>none</BlockWeightPresetTypeOut>
<BlockWeightZeroThreshold>0</BlockWeightZeroThreshold>
<UseBlockDim>false</UseBlockDim>
<BlockDimIn>
<int>16</int>
<int>16</int>
<int>16</int>
<int>16</int>
<int>16</int>
<int>16</int>
<int>16</int>
<int>16</int>
<int>16</int>
<int>16</int>
<int>16</int>
<int>16</int>
</BlockDimIn>
<BlockDimMid>16</BlockDimMid>
<BlockDimMid01>4</BlockDimMid01>
<BlockDimMid02>4</BlockDimMid02>
<BlockDimBase>4</BlockDimBase>
<BlockDimOutSDXL>4</BlockDimOutSDXL>
<BlockDimOut>
<int>16</int>
<int>16</int>
<int>16</int>
<int>16</int>
<int>16</int>
<int>16</int>
<int>16</int>
<int>16</int>
<int>16</int>
<int>16</int>
<int>16</int>
<int>16</int>
</BlockDimOut>
<BlockAlphaInM>
<decimal>4</decimal>
<decimal>4</decimal>
<decimal>4</decimal>
<decimal>4</decimal>
<decimal>4</decimal>
<decimal>4</decimal>
<decimal>4</decimal>
<decimal>4</decimal>
<decimal>4</decimal>
<decimal>4</decimal>
<decimal>4</decimal>
<decimal>4</decimal>
</BlockAlphaInM>
<BlockAlphaMidM>4</BlockAlphaMidM>
<BlockAlphaMid01>4</BlockAlphaMid01>
<BlockAlphaMid02>4</BlockAlphaMid02>
<BlockAlphaBase>4</BlockAlphaBase>
<BlockAlphaOutSDXL>4</BlockAlphaOutSDXL>
<BlockAlphaOutM>
<decimal>4</decimal>
<decimal>4</decimal>
<decimal>4</decimal>
<decimal>4</decimal>
<decimal>4</decimal>
<decimal>4</decimal>
<decimal>4</decimal>
<decimal>4</decimal>
<decimal>4</decimal>
<decimal>4</decimal>
<decimal>4</decimal>
<decimal>4</decimal>
</BlockAlphaOutM>
<UseColorAug>false</UseColorAug>
<UseFastLoading>true</UseFastLoading>
<DontSaveMetadata>false</DontSaveMetadata>
<UseFlipAug>false</UseFlipAug>
<CropRandomly>false</CropRandomly>
<CacheLatents>true</CacheLatents>
<CacheLatentsToDisk>true</CacheLatentsToDisk>
<HighVRAM>false</HighVRAM>
<UseAdditionalOptArgs>false</UseAdditionalOptArgs>
<DebiasedEstimation>true</DebiasedEstimation>
<LRSchedulerCycle>1</LRSchedulerCycle>
<GradAccSteps>4</GradAccSteps>
<DataLoaderThreads>1</DataLoaderThreads>
<MaxTokens>225</MaxTokens>
<mixedPrecisionType>bf16</mixedPrecisionType>
<WeightDecay>0.08</WeightDecay>
<Eps>1E-06</Eps>
<Eps1>1E-16</Eps1>
<D0>1E-06</D0>
<GrowthRate>0</GrowthRate>
<Betas0>0.9</Betas0>
<Betas1>0.999</Betas1>
<Betas2>0.999</Betas2>
<DAdaptMomentum>0.9</DAdaptMomentum>
<ProdigyBeta3>0</ProdigyBeta3>
<DCoef>1</DCoef>
<Decouple>false</Decouple>
<NoProx>false</NoProx>
<SafeguardWarmup>false</SafeguardWarmup>
<UseBiasCorrection>false</UseBiasCorrection>
<StableDiffusionType>XL</StableDiffusionType>
<NoHalfVAE>true</NoHalfVAE>
<CacheTextencoder>false</CacheTextencoder>
<CacheTextencoderToDisk>false</CacheTextencoderToDisk>
<IsEpoch>true</IsEpoch>
<UseFullFP16>false</UseFullFP16>
<UseFP8Base>false</UseFP8Base>
<RelativeStep>true</RelativeStep>
<ScaleParameter>true</ScaleParameter>
<SaveState>false</SaveState>
<MaskLoss>false</MaskLoss>
<AlphaMask>false</AlphaMask>
<RandomNoiseOffset>false</RandomNoiseOffset>
<RandomIpNoiseGamma>false</RandomIpNoiseGamma>
<SaveWeightEveryEpoch>true</SaveWeightEveryEpoch>
<TokensSeparator />
<LossType>LTwo</LossType>
<HuberScheduleType>SNR</HuberScheduleType>
<HuberC>0.1</HuberC>
<LoRAPlusLRRatio>0</LoRAPlusLRRatio>
<LoRAPlusUnetLRRatio>0</LoRAPlusUnetLRRatio>
<LoRAPlusTELRRatio>0</LoRAPlusTELRRatio>
<ImmiscibleNoise>0</ImmiscibleNoise>
<CustomCommands />
<AdditionalArgs />
<AdditionalNetworkArgs>preset=attn-mlp</AdditionalNetworkArgs>
<CustomOptName />
<CustomOptArgs />
<Sigmoidscale>1</Sigmoidscale>
<DiscreteFlowShift>3</DiscreteFlowShift>
<GuidanceScale>0</GuidanceScale>
<MaxTokensT5>256</MaxTokensT5>
<BlocksToSwap>0</BlocksToSwap>
<ModelPredictionType>Raw</ModelPredictionType>
<TimestepSamplingType>Sigma</TimestepSamplingType>
<TrainBlockType>All</TrainBlockType>
<SplitMode>false</SplitMode>
<ApplyT5AttnMask>false</ApplyT5AttnMask>
<TrainT5XXL>false</TrainT5XXL>
<CpuOffloadCheckpointing>false</CpuOffloadCheckpointing>
<ApplyClipAttnMask>false</ApplyClipAttnMask>
<ClipLPath />
<T5XXLPath />
<ClipGPath />
<SchedulerTimescale>1</SchedulerTimescale>
<MinLRRatio>0.0001</MinLRRatio>
</TrainParams>
Description
自然語キャプションで学習しています。
Details
Files
Available On (1 platform)
Same model published on other platforms. May have additional downloads or version variants.