Stable Diffusion AI算图使用手册(2-2):如何安装更多AI模型产生不同画风

Stable Diffusion AI算图使用手册(2-2):如何安装更多AI模型产生不同画风

参考先前文章完成安装后,我们接着来安装更多不同种类的模型,以扩充AI算图的准确度与多元性。

各种模型与扩充功能的用途

笔者在这边将针对Stable Diffusion所使用的Checkpoint、VAE、LoRA、扩充功能进行介绍,各种类的模型简介如下

Stable Diffusion使用的模型
Checkpoint:Stable Diffusion运算使用的主要神经网络模型,可以想象为「大模型」。 其档案容量通常很大(约2GB以上),使用不同的Checkpoint将大幅影响产生图像的风格。
VAE:Variational Autoencoder(变分自动编码器),它是神经网络模型中的一部分,主要用途为补充模型不足之处,可以想像为「小模型、修正文件」。 它能改善现有Checkpoint在产生眼睛、文字等小区域的细节质量,而不需使用容量庞大的全新模型。
小模型类:包含Textual Inversion(文字倒转)、Hypernetwork(超网络)、LoRA(Low-Rank Adaptation,低秩调整)等模型,它们分别能以不同的方式介入算图的运算过程,能够有效影响图像和提示词的互动行为,可以想像为「小模型、描述文件」。 它最的优势是档案容量小很多(约200MB以内),可以用于收束图像的风格或指定角色。
扩充功能:也就是Stable Diffusion的插件,可以提供更多功能,例如透过ControlNet可以指定产品图像中人物的动作。

读者可以参考下列图片范例,了解搭配不同模型的效果差异。

Stable Diffusion所使用的各种模型概念示意图。▲ Stable Diffusion所使用的各种模型概念示意图。

左上为使用Stable Diffusion v1-5-pruned-emaonly模型,产生真人风格图像。 右上使用aresMix_v01模型。 左下则使用Anything v4.5模型,变成漫画风格。 右下使用OldFish_2348V12模型,带有不同走向的漫画画风。▲ 左上为使用Stable Diffusion v1-5-pruned-emaonly模型,产生真人风格图像。 右上使用aresMix_v01模型。 左下则使用Anything v4.5模型,变成漫画风格。 右下使用OldFish_2348V12模型,带有不同走向的漫画画风。

左上为对照基准图片,右上为套用evangelion1995Style_v1 LoRA,将角色变为《新世纪福音战士》风格。 左下为套用style-psycho Textual Inversion,转化成机械风格。 右下为套用LuisapOldtarot_v1 Hypernetwork,变成塔罗牌风格。▲ 左上为对照基准图片,右上为套用evangelion1995Style_v1 LoRA,将角色变为《新世纪福音战士》风格。 左下为套用style-psycho Textual Inversion,转化成机械风格。 右下为套用LuisapOldtarot_v1 Hypernetwork,变成塔罗牌风格。

安装模型与VAE

若读者跟着前述教学完成软件安装的话,应该会在启动Stable Diffusion WebUI时自动下载基础模型,但为了算出更多元的图片建议读者可以至下列网站寻宝,找出自己喜欢图像风格的模型。

模型资源网站
Huggingface:https://huggingface.co/
CivitAI:https://civitai.com/(需注册帐号才能进行年龄认证)

需要注意的是,支持的模型副档名为.ckpt或.safetensors,前者具有整合代码的功能,而后者则无,所以为了安全考量并避免被植入恶意程序,建议尽量选择.safetensors类型的模型。

下载的Checkpoint模型需要放置于「stable-diffusion-webui」文件夹下的「\models\Stable-diffusion」,至于VAE则放置于「\models\VAE」。 另外读者也可以准备分辨率为450 x 675的PNG格式图档,并将档案名称修改与模型相同并放在同一文件夹,如此一来就能在选择时看到预览图片。 至于其他小模型类的安装与使用情况,将于后续章节令行讨论。

举例来说,读者可以到Huggingface网站寻找预先训练好的现成Checkpoint模型。 在Model Card页面可以看到该模型的说明。▲ 举例来说,读者可以到Huggingface网站寻找预先训练好的现成Checkpoint模型。 在Model Card页面可以看到该模型的说明。

点击进入Files and versions页面,可以找到该模型的档案与对应的VAE。 由于每个模型提供的档案状况都不一样,所以读者需要自行透过文件名判断。▲ 点击进入Files and versions页面,可以找到该模型的档案与对应的VAE。 由于每个模型提供的档案状况都不一样,所以读者需要自行透过文件名判断。

进入VAE文件夹后就能看到对应的VAE模型档案。▲ 进入VAE文件夹后就能看到对应的VAE模型档案。

CivitAI网站也有许多现成Checkpoint模型,点击Download即可下载档案。▲ CivitAI网站也有许多现成Checkpoint模型,点选Download即可下载档案。

将模型下载并存放于「stable-diffusion-webui」文件夹下的「\models\Stable-diffusion」内,此外也可以准备分辨率为450 x 675的PNG格式预览图放在一起。▲ 将模型下载并存放于「stable-diffusion-webui」文件夹下的「\models\Stable-diffusion」内,此外也可以准备分辨率为450 x 675的PNG格式预览图放在一起。

如果设定正确,在Stable Diffusion WebUI点选右方键头指示的「Show/hide extra networks」 选项,并点击左方键头指示的Checkpoint标签,就可以看到已安装的模型。▲ 如果设定正确,在Stable Diffusion WebUI点击右方键头指示的「Show/hide extra networks」 选项,并点击左方键头指示的Checkpoint标签,就可以看到已安装的模型。

VAE则需在Stable Diffusion WebUI上方的Settings标签中,找到Stable Diffusion分类,然后在「SD VAE」的选项中指定使用的VAE,并点选上方的「Apply setting」以套用设定。▲ VAE则需在Stable Diffusion WebUI上方的Settings标签中,找到Stable Diffusion分类,然后在「SD VAE」的选项中指定使用的VAE,并点选上方的「Apply setting」以套用设定。

推荐模型

笔者将模型简介与下载网址直接整理于下方图片之说明。

Ares Mix是款绘制真人风格质量不错的Checkpoint模型,开发者建议需搭配这款VAE使用。▲ Ares Mix是款绘制真人风格质量不错的Checkpoint模型,开发者建议需搭配这款VAE使用。

Anything是可以产生漫画风格的Checkpoint模型,它的优点是不挑提示词,随便输入就能产品不错的外芙。▲ Anything是可以产生漫画风格的Checkpoint模型,它的优点是不挑提示词,随便输入就能产品不错的外芙。

Waifu Diffusion也是针对漫画风格外芙训练的Checkpoint模型,泛用度也相当高。▲ Waifu Diffusion也是针对漫画风格外芙训练的Checkpoint模型,泛用度也相当高。

Evangelion (1995) style LoRA模型建议能搭Anything、Waifu Diffusion使用,可以将图片收束为《新世纪福音战士》的角色,或是产生1990年代的漫画风格。▲ Evangelion (1995) style LoRA模型建议能搭Anything、Waifu Diffusion使用,可以将图片收束为《新世纪福音战士》的角色,或是产生1990年代的漫画风格。

[LuisaP] GlitchPixelart是能够用来产生「画面当机」、「点阵图」风格的Hypernetwork模型,使用起来相当有趣。▲ [LuisaP] GlitchPixelart是能够用来产生「画面当机」、「点阵图」风格的Hypernetwork模型,使用起来相当有趣。

在安装完模型之后,下一篇教学就终于要开始算图啦! 大家把安全带系好,车速可能会有点快喔!

(0)
打赏 微信扫一扫 微信扫一扫

相关推荐

发表评论

登录后才能评论