写在最前，感谢香农，感谢所有训练者，数学是穷人的核武器对AIMETATRON的 红工 |红潮 进行了分层量化<s> 因为我只下了这一个krea2</s>保留大部分质量的同时立省百分之五十显存<h3 id="16gb2k-8g1k">16GB显存畅玩2k 8G畅玩1k</h3>非推理时占用：<img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/06d36183-bab2-4061-a140-4b3d7dd946b5/original=true/06d36183-bab2-4061-a140-4b3d7dd946b5.jpeg" />2k图片首次推理时占用（LLM未卸载）：<img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/98f5cac5-32e4-412d-b4d5-8d758ae6be0c/original=true/98f5cac5-32e4-412d-b4d5-8d758ae6be0c.jpeg" />热加载完成后再次推理（LLM卸载后）<img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/cf59651d-77f8-470b-96cf-185876918fb1/original=true/cf59651d-77f8-470b-96cf-185876918fb1.jpeg" /><span style="background-color:rgb(26, 27, 29);color:rgb(149, 153, 166);font-family:&quot;SF Pro Text&quot;, -apple-system, BlinkMacSystemFont, &quot;Segoe UI&quot;, system-ui, &quot;PingFang SC&quot;, &quot;Microsoft YaHei&quot;, &quot;Hiragino Sans GB&quot;, Roboto, sans-serif;font-size:13px">对模型的<span style="background-color:rgb(26, 27, 29);color:rgb(250, 82, 82);font-family:&quot;SF Pro Text&quot;, -apple-system, BlinkMacSystemFont, &quot;Segoe UI&quot;, system-ui, &quot;PingFang SC&quot;, &quot;Microsoft YaHei&quot;, &quot;Hiragino Sans GB&quot;, Roboto, sans-serif;font-size:13px">Attention wv<span style="background-color:rgb(26, 27, 29);color:rgb(149, 153, 166);font-family:&quot;SF Pro Text&quot;, -apple-system, BlinkMacSystemFont, &quot;Segoe UI&quot;, system-ui, &quot;PingFang SC&quot;, &quot;Microsoft YaHei&quot;, &quot;Hiragino Sans GB&quot;, Roboto, sans-serif;font-size:13px">（注意力层）<span style="background-color:rgb(26, 27, 29);color:rgb(250, 82, 82);font-family:&quot;SF Pro Text&quot;, -apple-system, BlinkMacSystemFont, &quot;Segoe UI&quot;, system-ui, &quot;PingFang SC&quot;, &quot;Microsoft YaHei&quot;, &quot;Hiragino Sans GB&quot;, Roboto, sans-serif;font-size:13px">MLP down<span style="background-color:rgb(26, 27, 29);color:rgb(149, 153, 166);font-family:&quot;SF Pro Text&quot;, -apple-system, BlinkMacSystemFont, &quot;Segoe UI&quot;, system-ui, &quot;PingFang SC&quot;, &quot;Microsoft YaHei&quot;, &quot;Hiragino Sans GB&quot;, Roboto, sans-serif;font-size:13px">（MLP缩放层）和其他微型层（<span style="background-color:rgb(26, 27, 29);color:rgb(250, 82, 82);font-family:&quot;SF Pro Text&quot;, -apple-system, BlinkMacSystemFont, &quot;Segoe UI&quot;, system-ui, &quot;PingFang SC&quot;, &quot;Microsoft YaHei&quot;, &quot;Hiragino Sans GB&quot;, Roboto, sans-serif;font-size:13px">norm, modulation, embedding<span style="background-color:rgb(26, 27, 29);color:rgb(149, 153, 166);font-family:&quot;SF Pro Text&quot;, -apple-system, BlinkMacSystemFont, &quot;Segoe UI&quot;, system-ui, &quot;PingFang SC&quot;, &quot;Microsoft YaHei&quot;, &quot;Hiragino Sans GB&quot;, Roboto, sans-serif;font-size:13px"> ）进行了<span style="background-color:rgb(26, 27, 29);color:rgb(250, 82, 82);font-family:&quot;SF Pro Text&quot;, -apple-system, BlinkMacSystemFont, &quot;Segoe UI&quot;, system-ui, &quot;PingFang SC&quot;, &quot;Microsoft YaHei&quot;, &quot;Hiragino Sans GB&quot;, Roboto, sans-serif;font-size:13px">Q8<span style="background-color:rgb(26, 27, 29);color:rgb(149, 153, 166);font-family:&quot;SF Pro Text&quot;, -apple-system, BlinkMacSystemFont, &quot;Segoe UI&quot;, system-ui, &quot;PingFang SC&quot;, &quot;Microsoft YaHei&quot;, &quot;Hiragino Sans GB&quot;, Roboto, sans-serif;font-size:13px">量化的保留，对【wq, wk, wo（q、k、o）, gate, mlp.gate, mlp.up】等巨型层进行了激进的Q2量化缩放，效果远远大于更大尺寸的Q4量化，且不依赖NVFP4对A卡友好。<span style="background-color:rgb(26, 27, 29);color:rgb(149, 153, 166);font-family:&quot;SF Pro Text&quot;, -apple-system, BlinkMacSystemFont, &quot;Segoe UI&quot;, system-ui, &quot;PingFang SC&quot;, &quot;Microsoft YaHei&quot;, &quot;Hiragino Sans GB&quot;, Roboto, sans-serif;font-size:13px">原理公式：<img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/b665c06d-bb31-47a0-a465-2be917893ae2/original=true/b665c06d-bb31-47a0-a465-2be917893ae2.jpeg" />注意力机制中（QKV）v对于每次传播系数的影响最大，在llm中v在每次对话中累计其计算复杂度为logN2，但在DIT架构中，由于都是一次性生图/视频，完全没有多轮对话这回事，其计算复杂度完全可以视为2N，所以这里保留了V的的权重系数。而mlpdown同理他几乎不参与加权计算而作为最终乘数，保留其权重作为残差连接的最后一层，在解码时保留了最终的画质。从 F16 / Q4_K_S / 混合版 GGUF 中逐 tensor 反量化，对 block 0/7/14/21/27 五层采样：<img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/091d45ad-37e3-47e1-ba99-1b005fed9368/original=true/091d45ad-37e3-47e1-ba99-1b005fed9368.jpeg" /><h3 id="a">经架构放大系数 A计算后</h3>误差到输出的传播增益：<ul><li>wq/wk：A = 0.022（精确值）。误差进 logits 后乘 1/d​=1/128​=0.088，再过 softmax（雅可比 ≤0.25）：0.088×0.25=0.022，衰减 45 倍</li><li>wv / mlp.down：A = 1.0。</li><li>wo / gate / up：A ≈ 0.08~0.12（经验标定，与 FLUX GGUF 配方一致）</li><li>最终误差推算为 百分之八到十二</li><li>也就是说减少一半多的体积只减少至多百分之十二的画质</li></ul><h3 id="python">输出端有效误差最大值（python验算）</h3><img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/c11c3a37-6fde-4fcf-a99c-dccfdc4a3e78/original=true/c11c3a37-6fde-4fcf-a99c-dccfdc4a3e78.jpeg" />最终生图效果对比（相同工作流、提示词、随机种子、生成步数）图片实测 ：造像FP8/INT8：<img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/44572b80-dd50-4402-a905-e6cf6fc09c89/original=true/44572b80-dd50-4402-a905-e6cf6fc09c89.jpeg" />Q2精度混合：<img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/2f1409f4-2027-4dec-b814-8b4373f27b72/original=true/2f1409f4-2027-4dec-b814-8b4373f27b72.jpeg" />Q4量化：<img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/a62cf7e9-9a5e-479a-a015-508159a02229/original=true/a62cf7e9-9a5e-479a-a015-508159a02229.jpeg" />图片实测 ：人体（多人）FP8/INT8：<img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/f4328c9a-aadc-48f7-a655-f56108a657d7/original=true/f4328c9a-aadc-48f7-a655-f56108a657d7.jpeg" />Q4：<img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/e1b5130d-8638-4622-88cf-f73dd1cb9d6b/original=true/e1b5130d-8638-4622-88cf-f73dd1cb9d6b.jpeg" />Q2混合精度：<img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/48a5d918-f5e8-4327-a2c6-fde5d131ba59/original=true/48a5d918-f5e8-4327-a2c6-fde5d131ba59.jpeg" />复杂场景int8/q8<img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/74af3866-447d-4a72-bbf6-ca8ca789fb38/original=true/74af3866-447d-4a72-bbf6-ca8ca789fb38.jpeg" />Q2混合精度：<img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/38e0e2b5-4949-48c3-8c8c-81735c5dbbbf/original=true/38e0e2b5-4949-48c3-8c8c-81735c5dbbbf.jpeg" />Q4：<img src="https://image.civitai.com/xG1nkqKTMzGDvpLrqFT7WA/0b9f97d8-fdbf-4b01-9968-47191b448f87/original=true/0b9f97d8-fdbf-4b01-9968-47191b448f87.jpeg" />可以明显注意到，人体错误相对于Q4的减小乃至于完全消失，光影更符合人类逻辑，但物体细节尤其是织物细节/花纹，相对于Q4依旧是缺乏的，当然~可以配合seedvr2.5使用~请多多反馈意见！可以期待更新BF16-Q2的混合精度版本~因为小水管下载BF16太慢了，工具链还在完善，完成后放出完整量化工具链，明天把纯Q2传了，Q2的意义在于使用更多lora

RedCraft-Q2/Q8-MIXED 红工 |红潮 的混合量化版本 vram 50% OFF

修复了模型文件一个小维度被压扁的的问题 没有其他改动 llama.cpp误我QAQ

Files with SHA256: 0788b2f2843387e3804ca66a9583fe0b3478a048e4a781faf74f86490cc49452