首页 > 技术 > LoRa

lora有什么含义丨lora到底是什么

人阅读 2023-05-06 21:20:02

【lora有什么含义丨lora到底是什么】lot物联网小编为你整理了的相关内容,希望能为你解答。

刚接触AI绘画的人经常会遇到这种问题,我想稳定地画一个角色,但是机器经常发散,我以为它是Stable的,结果是Diffuse的。

那么,你可能缺少一个神器——LoRA(LoRA(低秩适应)是一种用于微调稳定扩散模型的训练技术)。读到这里,读者估计更加黑人问号了,每个字我都认识,我就是不知道什么意思。

是的,我也是复制黏贴,我也不知道()。

但是,我大概知道它的原理。LoRA 介于Dreambooth和textual inversion等训练技术生成的模型文件之间:它们的文件大小可控(2 - 200 MB),并且训练能力不错。是解决存储问题的绝佳方案。它必须与模型检查点文件一起使用。LoRA 通过对随附的模型文件应用小的更改来修改样式。

能不能直接点?

LoRA 对稳定扩散模型最关键的部分进行了微小的更改:交叉注意力层。它是模型中图像和提示相交的部分。研究人员发现微调模型的这一部分就足以实现良好的训练。交叉注意力层是下面稳定扩散模型架构中的黄色部分。

LORA 微调交叉注意层(U-Net 噪声预测器的 QKV 部分)。(图来自Stable Diffusion 论文。)

简单点,说话的方式简单点~

好了,直接上操作。

1. 导入Lora插件

进入Extensions,选Available,点击「Load from」,就能筛选出可用的插件列表。列表里找到插件,点Install,重启WebUI。

2. 网上下载模型,把模型放到 extensions/sd-webui-additional-networks/models/lora

3. Prompt加入

Prompt里面,以 <lora:模型名字: 0.5>,0.5是权重,可以修改。

怕写错的,可以通过点击的方式输入

然后就可以愉快地使用LoRA

下面是我参照墨心的LoRA生成的,效果、风格确实集中了很多

以上内容为【lora有什么含义丨lora到底是什么】的相关内容,更多相关内容关注lot物联网。

LOT物联网

iot产品 iot技术 iot应用 iot工程

Powered By LOT物联网  闽ICP备2024036174号-1

联系邮箱:support1012@126.com