ComfyUI插件：ComfyUI_Noise节点

文章ComfyUI插件：ComfyUI_Noise节点分享给大家，欢迎收藏极客之家，专注分享技术知识

前言：

学习ComfyUI是一场持久战，ComfyUI_Noise是对ComfyUI中的噪声进行控制的一个插件库，该库可以完成图像噪声的反推，并通过采样再以几乎无损的方式返回原图，通过该库的使用可以更好的帮助图像恢复原始的相貌，非常适合在生成视频领域用作人物转绘使用。祝大家学习顺利，早日成为ComfyUI的高手！

 

目录

一、安装方法

二、BNK_NoisyLatentImage节点

三、BNK_SlerpLatent节点

四、BNK_GetSigma节点

五、Inject Noise节点

六、BNK Unsampler节点

 

一、安装方法

在ComfyUI主目录里面输入CMD回车。

在弹出的CMD命令行输入git clone xxx,即可开始下载。

在终端输入下面这行代码开始下载

git clone https://github.com/BlenderNeko/ComfyUI_Noise.git

 

二、BNK_NoisyLatentImage节点

这个节点专注于在潜空间中生成带有噪声的潜在图像。这对于图像生成任务中特别有用，例如在生成对抗网络（GANs）或其他基于潜空间的生成模型中，引入噪声可以增加图像的多样性或增强模型的鲁棒性。

重要参数：

source → 噪声产生的位置--可选择CPU或者GPU

示例：通过Image Compare (mtb)节点对比不同图片之间的差异，分别对比CPU产生的噪声图和GPU产生的噪声图，并在该图之上进行去噪生图，最终对比两个生图之间的差异。

从结果可以看出CPU和GPU产生的噪声存在差异，但是差异很小不足以完全影响最终出图的质量或者构图，所以在选择方面可以进行平替。

使用场景：

· 图像生成增强：在图像生成过程中，通过引入噪声增加图像的多样性，避免生成的图像过于相似。

· 模型鲁棒性测试：在测试生成模型时，通过添加噪声来评估模型的鲁棒性和稳定性。

· 数据增强：在潜空间中生成多样化的训练数据，增强模型的泛化能力。

通过使用BNK_NoisyLatentImage节点，可以在图像生成和处理工作流中实现高效的噪声添加，增强生成图像的多样性和模型的鲁棒性。

 

三、BNK_SlerpLatent节点

这个节点专注于在潜空间中执行球面线性插值（Slerp），生成介于两个潜在向量之间的中间向量，从而实现图像生成中的平滑过渡。

重要参数：

factor → 潜空间图像混合比例，可以理解为透明度

示例：

使用场景：

· 图像生成过渡：在图像生成任务中，通过在两个潜在向量之间插值，生成从一个图像到另一个图像的平滑过渡序列。

· 潜在空间探索：通过插值在潜空间中探索不同向量之间的过渡，理解生成模型的潜在空间结构。

· 动画生成：通过生成多个插值点，可以创建从一个图像到另一个图像的平滑动画效果。

通过使用BNK_SlerpLatent节点，可以在图像生成工作流中实现潜在空间中的平滑插值和过渡，探索潜在空间结构，创造出平滑且连贯的图像生成效果。

 

四、BNK_GetSigma节点

这个节点用于提取或计算潜在空间中潜在变量的标准差（Sigma）。标准差（Sigma）在图像生成和处理任务中非常重要，特别是在处理噪声或潜在变量时，了解和调整Sigma值可以影响生成图像的质量和特性。

重要参数：

model → 选择要预测的模型

示例：下图为该节点的初步用法，理解还不够深刻，未能想到更好的使用方式，可能需要更加深刻的研究才能够发现这个节点的真正含义。

使用场景：

· 潜在空间分析：通过计算潜在变量的Sigma值，分析潜在空间的分布特性，理解模型的行为。

· 噪声调整：在生成对抗网络（GANs）或其他潜在变量模型中，根据Sigma值调整噪声，控制生成图像的特性。

· 图像处理优化：利用Sigma值来优化图像处理算法的参数设置，提高图像生成的质量。

通过使用BNK_GetSigma节点，可以在图像生成和处理工作流程中有效地计算和利用潜在空间中的Sigma值，从而提升模型的控制力和图像生成的质量。

 

五、Inject Noise节点

这个节点专注于在图像或潜在向量中引入随机噪声。通过配置噪声的强度和类型，可以灵活地控制噪声的注入，从而影响生成或处理图像的特性。

重要参数：

latents → 空的潜空间图像

mask → 注入的噪声蒙版区域

此节点呢可以与上一节点结合使用，具体图例可参考上一节点的示图。

使用场景：

· 生成图像多样性：通过注入噪声增加生成图像的多样性，使得生成的图像更加丰富。

· 模型鲁棒性测试：向图像或潜在向量中注入噪声，测试模型在处理噪声数据时的性能。

· 模拟真实世界场景：在训练或测试模型时，通过噪声注入模拟现实中的不确定性，提高模型的泛化能力。

通过使用Inject Noise节点，可以在图像处理和生成任务中有效地控制和利用噪声，增加数据的多样性，测试模型的鲁棒性，并提升生成图像的真实感和丰富性。

 

六、BNK Unsampler节点

这个节点专注于在生成图像的过程中进行反采样操作。它可以将经过采样或处理的潜在空间表示转换回图像或其他形式的输出，这对于深度学习模型尤其是生成对抗网络（GANs）等的训练和推理过程非常有用。

重要参数：

model → 需要选择对应的模型进行噪声预测

cfg → 推荐使用1进行噪声反推，生图也推荐1

示例：如图所示，我们首先上传一张原图，然后加载一个文生图工作流，通过该节点进行噪声预测，然后使用预测的潜空间图像，使用相同的配置，比如VAE,采样器，条件信息等进行噪声的去除，最终生成和原图一样的图像，通过image对比节点，可以看出没有出现差异。

使用场景：

· 潜在空间转换：将潜在空间中的表示（如经过采样处理的潜在向量）转换回图像或其他形式的输出，进行进一步分析或展示。

· 图像生成过程中的逆操作：在生成对抗网络（GANs）或变分自动编码器（VAE）等模型中，使用反采样技术来恢复或生成图像。

· 复杂图像处理工作流：作为图像生成或处理工作流的一部分，反采样是从潜在表示到实际图像生成的关键步骤。

通过使用BNK Unsampler节点，可以在图像生成和处理任务中实现从潜在空间表示到实际输出的转换，完成复杂的图像生成工作流，并满足各种深度学习应用的需求。

                               **孜孜以求，方能超越自我。坚持不懈，乃是成功关键。**

版权声明：本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若内容造成侵权/违法违规/事实不符，请联系邮箱：jacktools123@163.com进行投诉反馈，一经查实，立即删除！