如题，这个也是实验产物，使用了新的lora-scripts环境torch 2.0.0，torchvision 0.15.0.dev，xformers 0.0.17，并更新的新的优化器。

实际速度可以达到5it/s （4090，windows11，512*512，2 batch size，use lion，enable LoCon train）

As the title says, this is also an experimental product, using the new lora-scripts environment torch 2.0.0, torchvision 0.15.0.dev, xformers 0.0.17, and an updated new optimizer.