Stable Diffusion｜提示词高阶用法（四）LoRA指定区域

A4000显卡，SDWebUI原创生成

“LoRA分层控制”的教程，网络上已经有各路大佬总结过一些自己的分享了，不过在作者一一细品后，感觉都非常的学术派。在本篇作者就不再继续介绍学术理论了。感兴趣的朋友可以自行在B站或GitHub上查看相关的技术分享。

LoRA模型分层控制插件​github.com/hako-mikan/sd-webui-lora-block-weight

作者本次分享将继续承接之前的AI漫画业务场景，介绍如何通过“LoRA分层控制”来进行角色形象风格的设定。

在介绍实操经验前，作者先简单介绍一下“如何使用LoRA模型的分层控制。”

众所周知，LoRA模型的标准使用格式为：

<lora:LoRA模型的名称:LoRA权重值>

而LoRA模型的分层控制，则是在LoRA权重值后，增加“:”，并添加的LoRA模型的17个分层的对应权重值代码。

<lora:LoRA模型的名称:LoRA权重值:分层权重值代码>

如下表所示，LoRA的17个分层中，第一层是BASE层，也可以成为是开关层。代表这如果BASE层为0时，后面16层不管如何设置，LoRA的分层控制都无法使用。网上有一些大佬，强烈建议将开关层必须写为1（额…），这个作者持保留意见。

作者在多种LoRA模型的多轮实践后，推荐在二次元的AI绘画中，BASE层设为0.6，较为稳妥。如果这个值小于0.6，那么LoRA模型的特征将被淡化接近为无，如果大于0.6，比如为1时，LoRA模型的其他并不是你想要的特征将被放大。

如下图所示，作者在使用时，将17层权重值代码分为两部分：分层权重值（BASE层） + 分层代码（2~17层）

极虎漫剪 – LoRA分层控制功能

LoRA模型的应用场景

在二次元漫画的AI绘画场景中，LoRA模型主要用于让我们轻松画出特定的角色形象、场景穿搭、色彩画风。

那么我们将一个人物LORA的特征分下类
(人物LORA为例，容易理解）

角色容貌：主要为人物的脸型、五官等，有时候还伴有特定的表情和发型发饰。

角色服饰：主要为特定的服饰，比如机甲衣、汉服等；

画面风格：常见的画风多为仙侠风，国风，midjourney风格等；

LoRA ｜ 角色容貌

分层权重值（BASE层）：0.6

分层代码（2~17层）：0,0,0,0,0,0,0,1,1,1,0,0,0,0,0,0

案例：

作者想生成的场景：一个穿着职业装的长发女孩下班后，走着街道。

画面描述：

·        
中文：一个女孩，银色长发，紫色眼瞳，眼镜，口红，黄色职业装，纤细的身材, 走路，街道背景，看着屏幕

·        
英文：1girl,
silver long hair, purple eyes, glasses, lipstick, yellow business_suit, slim
body, walking, street_background, looking at viewer,

(1girl, silver long hair, purple eyes, glasses),(yellow business_suit:1.4), lipstick, slim body, dynamic pose, dynamic angle,(street_background:1.3), (looking at viewer),

BREAK

(masterpiece:1.4, best quality), unity 8k wallpaper, ultra detailed, beautiful and aesthetic, perfect lighting, detailed background, realistic, solo, perfect detailed face, detailed eyes, highly detailed,  

<lora:害羞脸:0.8:0.6,0,0,0,0,0,0,0,1,1,1,0,0,0,0,0,0>

A4000显卡，SDWebUI原创生成

可以发现：

·        
不使用LoRA的分层控制（不指定调用区域）时，LoRA模型影响了原本画面的结构（人物的姿态、发色、服装颜色等）；

·        
使用LoRA的分层控制（指定调用脸部区域）后，LoRA模型仅影响了原本画面人物的脸部区域；

·        
在使用LoRA的分层控制后，并将BASE层数值从 0.6 调整至 1.0
后，LoRA模型除影响了原本画面人物的脸部区域外，还影响了姿态、发色。

因此，作者建议BASE层数值的默认值设为
0.6 ，因为不同的LoRA模型的训练的拟合程度不同，所以作者建议你使用时，也不能一味照搬，还是要基于实际结果调整。

LoRA ｜ 角色服饰

分层权重值（BASE层）：0.6

分层代码（2~17层）：1,1,1,1,0,0.2,0,0.8,1,1,0.2,0,0,0,0,0

案例：

沿用上面的案例，作者希望女孩的服装不要太正式，时尚一点。因此此次加入了一个服装LoRA。

LoRA模型的地址：

是肚兜V1.0 – 1​www.tusi.art/models/605263116525128948

(1girl, silver long hair, purple eyes, glasses),(yellow business_suit:1.4), lipstick, slim body, dynamic pose, dynamic angle,(street_background:1.3), (looking at viewer),

BREAK

(masterpiece:1.4, best quality), unity 8k wallpaper, ultra detailed, beautiful and aesthetic, perfect lighting, detailed background, realistic, solo, perfect detailed face, detailed eyes, highly detailed,  

<lora:肚兜_shidudou:0.8:0.6,1,1,1,1,0,0.2,0,0.8,1,1,0.2,0,0,0,0,0>  

A4000显卡，SDWebUI原创生成

可以发现：

·        
不使用LoRA的分层控制（不指定调用区域）时，LoRA模型由于其训练特征，几乎影响了原本画面中的角色的全部特征（人物的姿态、发色、服装颜色等）；

·        
使用LoRA的分层控制（指定调用服装区域）后，LoRA模型除影响了原本画面人物的服装的内搭区域，其他部分影响很小；

·        
在使用LoRA的分层控制后，并将BASE层数值从 0.6 调整至 1.0
后，LoRA模型除影响了原本画面人物的服装的内搭区域，对服装款式影响较大；

LoRA ｜ 画面风格

分层权重值（BASE层）：0.6

分层代码（2~17层）：0,0,0,0.1,0.2,0,0,0,0,0.1,1,1,1,1,1,1 

案例：

沿用上面的案例，作者希望整个画面有一种春天的温暖感。因此此次加入了一个风格LoRA。

LoRA模型的地址：

吐司独家 | 这盛世，繁荣景象
| Prosperity in a prosperous era – V1​www.tusi.art/models/610809727502360072

(1girl, silver long hair, purple eyes, glasses),(yellow business_suit:1.4), lipstick, slim body, dynamic pose, dynamic angle,(street_background:1.3), (looking at viewer),

BREAK

(masterpiece:1.4, best quality), unity 8k wallpaper, ultra detailed, beautiful and aesthetic, perfect lighting, detailed background, realistic, solo, perfect detailed face, detailed eyes, highly detailed,  

 <lora:繁荣景象:0.8:0.6,0,0,0,0.1,0.2,0,0,0,0,0.1,1,1,1,1,1,1>

A4000显卡，SDWebUI原创生成

可以发现：

·        
不使用LoRA的分层控制（不指定调用区域）时，LoRA模型由于其训练特征，几乎影响了原本画面中的角色的全部特征（人物的姿态、发色、服装颜色等）；

·        
使用LoRA的分层控制（指定调用上色层级）后，LoRA模型除对原本画面整体画风进行影响外，其他部分影响很小；

本期就介绍这三种较为通用的LoRA模型分层控制的案例，在作者的调研中，LoRA分层还可以指定特定姿态动作的调用，也可以反向调用，比如LoRA模型仅影响除头部以外的区域。但由于这几类分层代码的适用性不如以上三种的适用性高，因此作者就不在此次展开介绍了。有兴趣的朋友可以留言交流，也可以关注我的公众号 

@杨三季

 留言与我交流。

下期介绍

对于LoRA模型分层控制的实操就先介绍到这，下一篇将会介绍如何通过 Stable Diffusion 提示词生成特定的情绪表情以及画面视角的实操技巧。

A4000显卡，SDWebUI原创生成

出自：https://zhuanlan.zhihu.com/p/653611959