最近，大型语言模型（LLMs）展示了其令人惊叹的文本理解和生成能力。然而，即使是更为强大的LLMs，仍有可能从训练语料库中学到不正确的知识，以及随时间而过时的知识。直接使用包含新知识的数据进行二次微调可能在更新知识时效果不佳，因为新旧知识之间存在冲突。在本文中，我们提出了一种新的微调范式，被称为F-Learning（先遗忘后学习），它基于参数计算，实现对旧知识的遗忘和对新知识的学习。在两个公开可用的数据集上的实验证明，我们提出的F-Learning显著改善了全量微调和LoRA微调的知识更新性能。此外，我们还发现，通过减去LoRA的参数来遗忘旧知识可以达到与减去全量微调参数相似的效果，有时甚至可以显著超越它。

最近，大型语言模型（LLMs）展示了其令人惊叹的文本理解和生成能力。然而，即使是更为强大的LLMs，仍有可能从训练语料库中学到不正确的知识，以及随时间而过时的知识。直接使用包含新知识的数据进行二次微调可能在更新知识时效果不佳，因为新旧知识之间存在冲突。在本文中，我们提出了一种新的微调范式，被称为F-Learning（先遗忘后学习），它基于参数计算，实现对旧知识的遗忘和对新知识的学习。在两个公开可用的数据集上的实验证明，我们提出的F-Learning显著改善了全量微调和LoRA微调的知识更新性能。此外，我们还发现，通过减去LoRA的参数来遗忘旧知识可以达到与减去全量微调参数相似的效果，有时甚至可以显著超越它。

前面几篇： Stable-Diffusion|window10安装GPU版本的 Stable-Diffusion-WebUI遇到的一些问题（一） 【Stable-Diffusion|入门怎么下载与使用civitai网站的模型（二）】 Stable-Diffusion|文生图 拍立得纪实风格的Lora 图例（三）

SD3本次的更新正式放出了正式的release版本，在前面的RC版本就放出了更新内容，主要支持了SD3大模型和SD3的Lora，虽然在comfyui中已可以体验，但Lora的支持毕竟是一个完整的体系，webui的小伙伴，现在，SD3大模型时代启航.打开你的webui，刷新列表 更新至SD1.10版本，在启动之前需要下载SD3的模型和clip，相关模型在这里全网首发:Stable Diffusion 3 Medium SD3模型参见 附带Comfyui工作流