ブルーアーカイブのケイのLoRA偶然見かけた論文（<a target="_blank" rel="ugc" href="https://arxiv.org/abs/2606.12883">https://arxiv.org/abs/2606.12883</a>）の提案するLoRA-αの雑な検証。α(network_alpha)を、rank(network_dim)以上にする実験用。<hr /><h2>タグ</h2>統合:<pre><code>1girl, kei \(student\) \(blue archive\), blue archive, white hair, very long hair, half updo, long hair between eyes, loosely tucked bangs, black hairband, black bow, pink halo, rectangular halo, pink eyes, bright pupils, ringed eyes, blazer, blue necktie, collared shirt, white shirt, black jacket, white jacket, two-sided jacket, two-tone jacket, pink jacket lining, miniskirt, pleated skirt, black thighhighs, black boots, </code></pre>トリガー:<pre><code>1girl, kei \(student\) \(blue archive\), blue archive, </code></pre>頭部:<pre><code>white hair, very long hair, half updo, long hair between eyes, loosely tucked bangs, black hairband, black bow, pink halo, rectangular halo, </code></pre>顔:<pre><code>pink eyes, bright pupils, ringed eyes, </code></pre>上半身:<pre><code>blazer, blue necktie, collared shirt, white shirt, black jacket, white jacket, two-sided jacket, two-tone jacket, pink jacket lining, long sleeves, black sleeve cuffs, </code></pre>下半身:<pre><code>black skirt, miniskirt, pleated skirt, black thighhighs, black boots, </code></pre><hr /><h2>学習設定</h2>データセット: 64枚（クロップ含む）総ステップ数: 1510ステップパラメータ:<pre><code>max_train_epochs = 10
train_batch_size = 2
learning_rate = 1e-6
lr_scheduler = "cosine_with_min_lr"
lr_scheduler_num_cycles = 3
lr_scheduler_min_lr_ratio = 0.1
lr_warmup_steps = 0.05
llm_adapter_lr = 0
mlp_lr = 0

network_module = "networks.lora_anima"
network_dim = 8
network_alpha = 900

optimizer_type = "came_pytorch.CAME"
optimizer_args = [ "weight_decay=1e-2", "betas=(0.9, 0.999, 0.9999)", "eps=(1e-30, 1e-16)" ]</code></pre><hr />雑記（素人の実験につき何の保証も有りません）:前提: lr=1e-6とnetowork_dim=8に固定し、netowork_alphaを変更する方法で26回学習した。<ul><li>α=900辺りがこの学習率（lr=1e-6）ではバランスの良い結果で、1200,1500でも問題は無かったが、3000になると構図が固定気味になりやすく、僅かに過学習の傾向が現れ始めたか。</li><li>α=C√rより、今回の場合は論文で言われているη（lr=1e-6）だと、C≈320ぐらいだろうか。（320 √8 ≈ 905）但し、lr=1e-5にすると約10倍までlossが跳ね上がり、不安定な学習となっていた。この場合はαを下げる必要が有りそう。</li><li>総じてαを上げる事で、より早期にキャラクターの特徴を学習しているように見える。※α=256,384,450,900,1200,1500,3000を試した</li><li>Cの値は探索中で、Animaのパラメータ数が2Bと考えると、C≈320でも論文の内容から大きく逸脱はしていないとは思うが、r(dim)とη（学習率）で変動するため何とも言えない。</li><li>lr=1e-6が保守的な値のため、1e-5の場合にCと学習がどうなるか不明。</li></ul>個人的な結論として、これまでの標準的な学習率よりも下げαを高くすると、学習が早く結果も良くなるという、概ね論文の内容通りになったと思う。

Files with SHA256: 15b3a2d8de1cfe2aa5c9b952253d0a82917d03246bb2ed10ed52597b2a501f04