stable diffusion 的 lora模型训练--饭饭

lora 是一种微调大模型的方法

饭饭是2岁的英短猫，毛色为黑白，拿它的照片正stable diffusion v1.5的模型基础上进行lora模型训练。训练图片17张，lora的特征维度设置为32，训练10个epoch的效果如下：

从结果看，基本还原饭饭的样貌和神态，但是细节处毛发不自然，脸上的泪痕在AI绘画中被放大了不少。主要是stable diffusion v1.5的base模型主要是基于动漫人物训练，利用deepdanbroou模型打的标签基本与图片不太符合(训练时的标签在deepdanbroou 上进行了大量修改)，并且训练的图片的背景比较复杂，有沙发，墙壁，床，衣服等影响较大，导致细节处不够理想，并且经常出鬼图。

上面是测试了20来张图中生成效果还不错的，lora模型的大小只有36M，就能带饭饭周游世界0.0.(手动狗头)