写在最前，感谢香农，感谢所有训练者，数学是穷人的核武器对AIMETATRON的 红工 |红潮 进行了分层量化<s> 因为我只下了这一个krea2</s>保留大部分质量的同时立省百分之五十显存<h3 id="16gb2k-8g1kv1">16GB显存畅玩2k 8G畅玩1k（<s>仅限于v1及后续版本</s>）</h3>请使用dpmpp_2m系列采样器，量化过程中不可避免出现坏步，但利用高阶微分方程求解技术，结合历史多步数据进行“预测-校正”的确定性数值积分完全可以消融。<h1 id="krea2gguf">如果您是第一次使用krea2的gguf格式，请进行如下操作</h1>方案一：手动修改官方节点代码（快速适用）<ol><li>进入 ComfyUI 的 <code>custom_nodes</code> 目录，找到 <code>ComfyUI-GGUF</code> 文件夹。 完整路径示例： <code>...\ComfyUI\custom_nodes\ComfyUI-GGUF\</code></li><li>用文本编辑器（如 Notepad++、VS Code 等）打开 <code>loader.py</code> 文件。</li><li>定位到第 12 行附近，找到 <code>IMG_ARCH_LIST</code> 的定义。</li><li>在该列表中添加 <code>"krea2"</code>，修改后的内容应为：<span style="color:rgb(15, 17, 21);font-family:Menlo, Monaco, Consolas, &quot;Cascadia Mono&quot;, &quot;Ubuntu Mono&quot;, &quot;DejaVu Sans Mono&quot;, &quot;Liberation Mono&quot;, &quot;JetBrains Mono&quot;, &quot;Fira Code&quot;, Cousine, &quot;Roboto Mono&quot;, &quot;Courier New&quot;, Courier, sans-serif, system-ui;font-size:12px;line-height:18px">python<pre><code>IMG_ARCH_LIST = {"flux", "sd1", "sdxl", "sd3", "aura", "hidream", "cosmos", "ltxv", "hyvid", "wan", "lumina2", "qwen_image", "krea2"}</code></pre></li><li>保存文件，重启 ComfyUI，再次加载 Krea-2 的 GGUF 模型即可正常使用。</li></ol><blockquote>注意：此修改仅影响当前 ComfyUI 实例。如果后续官方节点更新覆盖了该文件，需要重新添加。</blockquote><hr />方案二：安装第三方支持节点（推荐，无需手动改代码）社区已有开发者提供了专门为 Krea-2 打过补丁的 ComfyUI-GGUF 分支，您可以直接安装使用：<ul><li>仓库地址：<a target="_blank" rel="ugc" href="https://github.com/RealRebelAI/ComfyUI-GGUF_KREA-2">RealRebelAI/ComfyUI-GGUF_KREA-2</a></li></ul>安装步骤：<ol><li>进入 ComfyUI 的 <code>custom_nodes</code> 目录。</li><li>执行以下命令克隆该仓库（或手动下载并解压到该目录）：<span style="color:rgb(15, 17, 21);font-family:Menlo, Monaco, Consolas, &quot;Cascadia Mono&quot;, &quot;Ubuntu Mono&quot;, &quot;DejaVu Sans Mono&quot;, &quot;Liberation Mono&quot;, &quot;JetBrains Mono&quot;, &quot;Fira Code&quot;, Cousine, &quot;Roboto Mono&quot;, &quot;Courier New&quot;, Courier, sans-serif, system-ui;font-size:12px;line-height:18px">bash<pre><code>git clone https://github.com/RealRebelAI/ComfyUI-GGUF_KREA-2.git</code></pre></li><li>重启 ComfyUI。</li></ol>该节点已预先在 <code>IMG_ARCH_LIST</code> 中添加了 <code>"krea2"</code>，并且针对 Krea-2 模型的加载逻辑做了适配，开箱即用，无需手动修改任何代码。<h3 id="v2.5.1-krea2">v2.5.1版本-此版本为非标准krea2-必须下载附件中的节点并解压放入以下文件夹</h3><pre><code>···\ComfyUI\custom_nodes</code></pre>更加精准的测试了损失的流转，并对原始线性层使用了大量低秩分解技术，这个版本的矩阵形状和存储格式与原始模型或者说和krea2这个模型没有太大的关系原理图如下：<img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/30fc4f24-36e1-4941-9929-bfa515e47b1e/original=true/30fc4f24-36e1-4941-9929-bfa515e47b1e.jpeg" />将大型只作为查表依据的<code>adaln_proj</code>矩阵近似为小矩阵，在运算时逆转该过程，结合1200步的训练，使用fp32精度作为比较值其相似度已经为1，同时信噪比，DB＞47，优于原模型的信噪比损失。将大量在量化时产生的离群值进行剥离，对于每一层量化进行相似比较与逐层QAT的量化恢复训练。此方法为v2训练时对于离群值的取舍困难导致。总有坏步，如果增大步数要不过拟合要不爆炸，简直恶心。<img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/5441c704-3770-4a3b-8d67-adba82d05d2f/original=true/5441c704-3770-4a3b-8d67-adba82d05d2f.jpeg" />为此 完全放弃对block内的transformer网络进行训练，转为block作为残差连接的第一层保留其fp8精度，后续层统一使用q4精度进行量化退火训练，使用32样本64步进行退火（GSQ方法），其相似度cos＞0.999。对比图<img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/9a9e5177-0f81-43a0-8623-b27cbcd8a1bf/original=true/9a9e5177-0f81-43a0-8623-b27cbcd8a1bf.jpeg" /> v2.0版本该版本只可使用大于等于10G的显卡！进行了更详细的cos余弦相似度测验，以及经过了300步的自蒸馏量化恢复训练（QAT）样本数＞4600份，经过测试，该方法（ptq混合量化）在高噪（sigema＞0.9）与低噪（sigma＜0.3）环境下表现优异（cos相似度＞0.95）中噪表现一般（sigma∈（0.3，0.9））cos相似度均值0.85，且中噪阶段出现大量坏块（cos相似度＜0.85 且最低相似度＜0.45）所以增加wo矩阵的无损q8格式的同时，使用qat自蒸馏方法进行削峰填谷，且一次喂给模型12个教师模型蒸馏出的流场，修复效果明显，最低坏步几乎消失（cos相似度＜0.5），坏步在（sigma∈（0.3，0.9）中出现概率由未进行QAT量化适应性训练时的64个样本出现8次下降到2次<img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/1182f9a5-d403-4b70-b79a-1ff522c09067/original=true/1182f9a5-d403-4b70-b79a-1ff522c09067.jpeg" />v2.0出图<img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/7f7f2199-3395-4607-9bb1-8432a69fc2aa/original=true/7f7f2199-3395-4607-9bb1-8432a69fc2aa.jpeg" /><img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/ba17163d-c773-4b16-9b4e-d6ebefadc1a6/original=true/ba17163d-c773-4b16-9b4e-d6ebefadc1a6.jpeg" />非推理时占用：<img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/06d36183-bab2-4061-a140-4b3d7dd946b5/original=true/06d36183-bab2-4061-a140-4b3d7dd946b5.jpeg" />2k图片首次推理时占用（LLM未卸载）：<img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/98f5cac5-32e4-412d-b4d5-8d758ae6be0c/original=true/98f5cac5-32e4-412d-b4d5-8d758ae6be0c.jpeg" />热加载完成后再次推理（LLM卸载后）<img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/cf59651d-77f8-470b-96cf-185876918fb1/original=true/cf59651d-77f8-470b-96cf-185876918fb1.jpeg" /><span style="background-color:rgb(26, 27, 29);color:rgb(149, 153, 166);font-family:&quot;SF Pro Text&quot;, -apple-system, BlinkMacSystemFont, &quot;Segoe UI&quot;, system-ui, &quot;PingFang SC&quot;, &quot;Microsoft YaHei&quot;, &quot;Hiragino Sans GB&quot;, Roboto, sans-serif;font-size:13px">对模型的<span style="background-color:rgb(26, 27, 29);color:rgb(250, 82, 82);font-family:&quot;SF Pro Text&quot;, -apple-system, BlinkMacSystemFont, &quot;Segoe UI&quot;, system-ui, &quot;PingFang SC&quot;, &quot;Microsoft YaHei&quot;, &quot;Hiragino Sans GB&quot;, Roboto, sans-serif;font-size:13px">Attention wv<span style="background-color:rgb(26, 27, 29);color:rgb(149, 153, 166);font-family:&quot;SF Pro Text&quot;, -apple-system, BlinkMacSystemFont, &quot;Segoe UI&quot;, system-ui, &quot;PingFang SC&quot;, &quot;Microsoft YaHei&quot;, &quot;Hiragino Sans GB&quot;, Roboto, sans-serif;font-size:13px">（注意力层）<span style="background-color:rgb(26, 27, 29);color:rgb(250, 82, 82);font-family:&quot;SF Pro Text&quot;, -apple-system, BlinkMacSystemFont, &quot;Segoe UI&quot;, system-ui, &quot;PingFang SC&quot;, &quot;Microsoft YaHei&quot;, &quot;Hiragino Sans GB&quot;, Roboto, sans-serif;font-size:13px">MLP down<span style="background-color:rgb(26, 27, 29);color:rgb(149, 153, 166);font-family:&quot;SF Pro Text&quot;, -apple-system, BlinkMacSystemFont, &quot;Segoe UI&quot;, system-ui, &quot;PingFang SC&quot;, &quot;Microsoft YaHei&quot;, &quot;Hiragino Sans GB&quot;, Roboto, sans-serif;font-size:13px">（MLP缩放层）和其他微型层（<span style="background-color:rgb(26, 27, 29);color:rgb(250, 82, 82);font-family:&quot;SF Pro Text&quot;, -apple-system, BlinkMacSystemFont, &quot;Segoe UI&quot;, system-ui, &quot;PingFang SC&quot;, &quot;Microsoft YaHei&quot;, &quot;Hiragino Sans GB&quot;, Roboto, sans-serif;font-size:13px">norm, modulation, embedding<span style="background-color:rgb(26, 27, 29);color:rgb(149, 153, 166);font-family:&quot;SF Pro Text&quot;, -apple-system, BlinkMacSystemFont, &quot;Segoe UI&quot;, system-ui, &quot;PingFang SC&quot;, &quot;Microsoft YaHei&quot;, &quot;Hiragino Sans GB&quot;, Roboto, sans-serif;font-size:13px"> ）进行了<span style="background-color:rgb(26, 27, 29);color:rgb(250, 82, 82);font-family:&quot;SF Pro Text&quot;, -apple-system, BlinkMacSystemFont, &quot;Segoe UI&quot;, system-ui, &quot;PingFang SC&quot;, &quot;Microsoft YaHei&quot;, &quot;Hiragino Sans GB&quot;, Roboto, sans-serif;font-size:13px">Q8<span style="background-color:rgb(26, 27, 29);color:rgb(149, 153, 166);font-family:&quot;SF Pro Text&quot;, -apple-system, BlinkMacSystemFont, &quot;Segoe UI&quot;, system-ui, &quot;PingFang SC&quot;, &quot;Microsoft YaHei&quot;, &quot;Hiragino Sans GB&quot;, Roboto, sans-serif;font-size:13px">量化的保留，对【wq, wk, wo（q、k、o）, gate, mlp.gate, mlp.up】等巨型层进行了激进的Q2量化缩放，效果远远大于更大尺寸的Q4量化，且不依赖NVFP4对A卡友好。<span style="background-color:rgb(26, 27, 29);color:rgb(149, 153, 166);font-family:&quot;SF Pro Text&quot;, -apple-system, BlinkMacSystemFont, &quot;Segoe UI&quot;, system-ui, &quot;PingFang SC&quot;, &quot;Microsoft YaHei&quot;, &quot;Hiragino Sans GB&quot;, Roboto, sans-serif;font-size:13px">原理公式：<img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/b665c06d-bb31-47a0-a465-2be917893ae2/original=true/b665c06d-bb31-47a0-a465-2be917893ae2.jpeg" />注意力机制中（QKV）v对于每次传播系数的影响最大，在llm中v在每次对话中累计其计算复杂度为logN2，但在DIT架构中，由于都是一次性生图/视频，完全没有多轮对话这回事，其计算复杂度完全可以视为2N，所以这里保留了V的的权重系数。而mlpdown同理他几乎不参与加权计算而作为最终乘数，保留其权重作为残差连接的最后一层，在解码时保留了最终的画质。从 F16 / Q4_K_S / 混合版 GGUF 中逐 tensor 反量化，对 block 0/7/14/21/27 五层采样：<img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/091d45ad-37e3-47e1-ba99-1b005fed9368/original=true/091d45ad-37e3-47e1-ba99-1b005fed9368.jpeg" /><h3 id="a">经架构放大系数 A计算后</h3>误差到输出的传播增益：<ul><li>wq/wk：A = 0.022（精确值）。误差进 logits 后乘 1/d​=1/128​=0.088，再过 softmax（雅可比 ≤0.25）：0.088×0.25=0.022，衰减 45 倍</li><li>wv / mlp.down：A = 1.0。</li><li>wo / gate / up：A ≈ 0.08~0.12（经验标定，与 FLUX GGUF 配方一致）</li><li>最终误差推算为 百分之八到十二</li><li>也就是说减少一半多的体积只减少至多百分之十二的画质</li></ul><h3 id="python">输出端有效误差最大值（python验算）</h3><img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/c11c3a37-6fde-4fcf-a99c-dccfdc4a3e78/original=true/c11c3a37-6fde-4fcf-a99c-dccfdc4a3e78.jpeg" />最终生图效果对比（相同工作流、提示词、随机种子、生成步数）图片实测 ：造像FP8/INT8：<img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/44572b80-dd50-4402-a905-e6cf6fc09c89/original=true/44572b80-dd50-4402-a905-e6cf6fc09c89.jpeg" />Q2精度混合：<img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/2f1409f4-2027-4dec-b814-8b4373f27b72/original=true/2f1409f4-2027-4dec-b814-8b4373f27b72.jpeg" />Q4量化：<img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/a62cf7e9-9a5e-479a-a015-508159a02229/original=true/a62cf7e9-9a5e-479a-a015-508159a02229.jpeg" />图片实测 ：人体（多人）FP8/INT8：<img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/f4328c9a-aadc-48f7-a655-f56108a657d7/original=true/f4328c9a-aadc-48f7-a655-f56108a657d7.jpeg" />Q4：<img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/e1b5130d-8638-4622-88cf-f73dd1cb9d6b/original=true/e1b5130d-8638-4622-88cf-f73dd1cb9d6b.jpeg" />Q2混合精度：<img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/48a5d918-f5e8-4327-a2c6-fde5d131ba59/original=true/48a5d918-f5e8-4327-a2c6-fde5d131ba59.jpeg" />复杂场景int8/q8<img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/74af3866-447d-4a72-bbf6-ca8ca789fb38/original=true/74af3866-447d-4a72-bbf6-ca8ca789fb38.jpeg" />Q2混合精度：<img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/38e0e2b5-4949-48c3-8c8c-81735c5dbbbf/original=true/38e0e2b5-4949-48c3-8c8c-81735c5dbbbf.jpeg" />Q4：<img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/0b9f97d8-fdbf-4b01-9968-47191b448f87/original=true/0b9f97d8-fdbf-4b01-9968-47191b448f87.jpeg" />可以明显注意到，人体错误相对于Q4的减小乃至于完全消失，光影更符合人类逻辑，但物体细节尤其是织物细节/花纹，相对于Q4依旧是缺乏的，当然~可以配合seedvr2.5使用~请多多反馈意见！可以期待更新BF16-Q2的混合精度版本~因为小水管下载BF16太慢了，工具链还在完善，完成后放出完整量化工具链，明天把纯Q2传了，Q2的意义在于使用更多lora

RedCraft-Q2/Q8-MIXED 红工 |红潮 的混合量化版本 vram 50% OFF

进行了约300步QAT自蒸馏微调(每次12样本)，削弱了差步骤影响，同时增加了wo权重的q8保留，模型更加贴近原版，但8g显存不再可用，最小显存推荐为12gb

Files with SHA256: a58bde97e6da929220299378f6e7b70f45f497ff795d436ebb9edf8ff34bd3b3