这是一个实验模型的第一版，使用类似Reflow的方法将模型尝试转换为x-pred数据集使用了一定方式生成的纯tag 213000条，知识损失未查训练项目代码与脚本在<a target="_blank" rel="ugc" href="https://github.com/leafmoone/RUM-anima-x.git">https://github.com/leafmoone/RUM-anima-x.git</a>需要单独的Comfyui节点 <a target="_blank" rel="ugc" href="https://github.com/leafmoone/ComfyUI-RUM-Anima-XPred.git">https://github.com/leafmoone/ComfyUI-RUM-Anima-XPred.git</a>参考工作为RimoChan/RUM: 【RUM】用跨架构蒸馏代替继续预训练！akatsuki-neo/JLT: JLT: Clean-Latent Prediction in Latent Diffusion TransformersMinthy/Anime-Art-Multicaptions-v5.0 · Datasets at Hugging Face试验版本，之后会使用纯tag和从Anime-Art-Multicaptions-v5.0提取出的110k nl再训练一个epoch，算力和存储有限，而且anima的架构确实不讨喜，不会进行大规模的后训练（给卡包练的），训练代码为上面项目，有需求的建议详细阅读JLT和JIT两篇论文，数学和代码上检查项目没有问题后再进行大规模后训练类似Reflow的方法，理论上cfg和step都可以降低，建议自己尝试这版是加训完的版本，总共是纯tag 213000*2 ，multicap_mix_30k，short_nl_50k,long_names_10k,long_no_names_10k,min_individual_json_flat_10k 其实直到训练结束loss都还有下降趋势，感觉应该多练会，但是感觉数据集这么小练下去也是灾难性遗忘不想浪费算力了，训练时间和缓存加起来大概单卡5090一周左右吧

Files with SHA256: f2024802e2acdfe4e6c5f6f56fb5718786ac958f2d482aef335786ac6e256fc2