Lumi Nova test

lumi_xl.safetensors

Lumi Nova

米哈游人工桌面鹿鸣的LoRA模型，因为没有类似质感的底模，最终选择SD1.5官方模型作为底模，这样与各种衍生模型契合度都比较好。本来一开始只打算训练最新直播中的两套服装的，一共六十多张截图，结果由于同一段直播中背景和服饰相似度太大，导致训练结果loss值很低的情况下背景和服饰已经过拟合了，脸部却还是欠拟合状态，因此后面又从鹿鸣抖音号中下载短视频进行多样化图片的截取，一共三百多张截图，有的视频清晰度较低，截图质量不高，然后基于之前一轮训练的模型继续训练，得出现在的结果，整体来说效果还不错，包含多套服饰。但是因为鹿鸣视频背景都是浅色为主，与肤色过于接近，导致手部很难分辨，因此出图手部不重绘的情况下需要看脸抽卡。权重在0.8左右效果比较稳定，配合EasyNegative等负面提示词模型效果更好。权重在0.4时，能保留模型主体特征，并提供更大的自由度以更换姿势、服装及背景，画出更通用但不那么还原的图。不开高清修复：我一般先使用文生图批量绘制低分辨率图，然后通过图生图SD upscale脚本进行超分辨率放大，540x960的图经过两次放大可得到效果更好的4k图片，此方法比直接高清修复更不吃显卡，可以使配置较低的硬件更快生成更高清的图片，放大时需要微调参数，因为是多张图放大后拼接，所以重绘幅度不宜过大，否则会导致图片不同部分毫无关联。动漫人物用真人底模绘制时，如果太还原可能没有那么好看，真人底模应该降低权重生成类似cosplay的图片。开高清修复：初始分辨率540x960，采用R-ESRGAN 4x+放大算法，重绘幅度0.3放大2倍进行高清修复，然后图生图用SD upscale脚本，选择同样的算法，重绘幅度0.1进行超分放大，可以得到效果不错的4k高清图片。（此方法第一步直接生成1080P的图片，比较看脸，不易批量操作，16G显存最多只能同时生成4张图片，出图及修图效率较低，但是质量较高）<a target="_blank" rel="ugc" href="https://www.tusiart.com/models/612931497181151265">lumi_鹿鸣——人工桌面（米哈游） - v1.0 | 吐司 </a>[Blocked Link]<a target="_blank" rel="ugc" href="https://www.tusiart.com/models/612931497181151265"> (</a><a target="_blank" rel="ugc" href="http://tusiart.com">tusiart.com</a><a target="_blank" rel="ugc" href="https://www.tusiart.com/models/612931497181151265">)</a>(这里可以在线跑图看效果，需要开高清修复看脸抽卡，速度还可以，每天有免费额度)2.0介绍看下面：(注意：2.0版本一定要用SDXL版本模型作为底模，VAE也要用配套的)2.0版本是以SDXL 1.0为底模炼制的Lora模型，训练集在原有数据的基础上替换了部分模糊的图片，新加入了半夏等服装，及最新一期直播的短发相关造型，需要结合SDXL 1.0模型来运行，这是本人第一次炼制SDXL模型，经历了两天二十多个小时的炸炉之后，终于炼出了勉强能用的模型，只能说SDXL模型炼制要比SD1.5难很多，包括方式和硬件等，要求都提升了不止一个档次，而且最终效果可能还不如1.5的版本，但是SDXL在语义理解上会比SD1.5强很多，以至于模型很难达到过拟合的状态，对于想要通过tag来还原造型更加困难。在权重为0.8~1时，会有较还原的效果，低权重时自由度更大，但是服装之类的造型会差的比较远，大家可以自己试试，怎样出的效果比较好。SDXL模型炼制流程还不是很成熟，好的底模也不多，因此可能会存在各种各样的问题，请见谅。2.0提示词参考封面那套tag模板，这套tag是别人炼的另一个鹿鸣模型用的，我试了一下，发现效果很不错。底模推荐就用SDXL1.0原版模型，比其他模型效果还好些。剩下的各个服装tag，我会慢慢发帖上来。<a target="_blank" rel="ugc" href="https://www.tusiart.com/models/622487846659552409">lumi_鹿鸣——人工桌面（米哈游） - v2.0 | 吐司 </a>[Blocked Link]<a target="_blank" rel="ugc" href="https://www.tusiart.com/models/622487846659552409"> (</a><a target="_blank" rel="ugc" href="http://tusiart.com">tusiart.com</a><a target="_blank" rel="ugc" href="https://www.tusiart.com/models/622487846659552409">)</a>(这里可以在线跑图看效果，速度还可以，每天有免费额度)

lumi_鹿鸣——人工桌面（米哈游）

2.0版本是以SDXL 1.0为底模炼制的Lora模型，训练集在原有数据的基础上替换了部分模糊的图片，新加入了半夏等服装，及最新一期直播的短发相关造型，需要结合SDXL 1.0模型来运行，这是本人第一次炼制SDXL模型，经历了两天二十多个小时的炸炉之后，终于炼出了勉强能用的模型，只能说SDXL模型炼制要比SD1.5难很多，包括方式和硬件等，要求都提升了不止一个档次，而且最终效果可能还不如1.5的版本，但是SDXL在语义理解上会比SD1.5强很多，以至于模型很难达到过拟合的状态，对于想要通过tag来还原造型更加困难。在权重为0.8~1时，会有较还原的效果，低权重时自由度更大，但是服装之类的造型会差的比较远，大家可以自己试试，怎样出的效果比较好。SDXL模型炼制流程还不是很成熟，好的底模也不多，因此可能会存在各种各样的问题，请见谅。

v2.0

v1.0

米哈游人工桌面鹿鸣的LoRA模型，因为没有类似质感的底模，最终选择SD1.5官方模型作为底模，这样与各种衍生模型契合度都比较好。本来一开始只打算训练最新直播中的两套服装的，一共六十多张截图，结果由于同一段直播中背景和服饰相似度太大，导致训练结果loss值很低的情况下背景和服饰已经过拟合了，脸部却还是欠拟合状态，因此后面又从鹿鸣抖音号中下载短视频进行多样化图片的截取，一共三百多张截图，有的视频清晰度较低，截图质量不高，然后基于之前一轮训练的模型继续训练，得出现在的结果，整体来说效果还不错，包含多套服饰。但是因为鹿鸣视频背景都是浅色为主，与肤色过于接近，导致手部很难分辨，因此出图手部不重绘的情况下需要看脸抽卡。权重在0.8左右效果比较稳定，配合EasyNegative等负面提示词模型效果更好。权重在0.4时，能保留模型主体特征，并提供更大的自由度以更换姿势、服装及背景，画出更通用但不那么还原的图。不开高清修复：我一般先使用文生图批量绘制低分辨率图，然后通过图生图SD upscale脚本进行超分辨率放大，540x960的图经过两次放大可得到效果更好的4k图片，此方法比直接高清修复更不吃显卡，可以使配置较低的硬件更快生成更高清的图片，放大时需要微调参数，因为是多张图放大后拼接，所以重绘幅度不宜过大，否则会导致图片不同部分毫无关联。动漫人物用真人底模绘制时，如果太还原可能没有那么好看，真人底模应该降低权重生成类似cosplay的图片。开高清修复：初始分辨率540x960，采用R-ESRGAN 4x+放大算法，重绘幅度0.3放大2倍进行高清修复，然后图生图用SD upscale脚本，选择同样的算法，重绘幅度0.1进行超分放大，可以得到效果不错的4k高清图片。（此方法第一步直接生成1080P的图片，比较看脸，不易批量操作，16G显存最多只能同时生成4张图片，出图及修图效率较低，但是质量较高）

Lumi N0VA 

CREDITS: https://civitai.com/models/106515?modelVersionId=136425

Files with SHA256: bec96237535e7c8e79e2d9ac387766143715bdad4a22f9970aa1a7252b94c686