type
status
date
slug
summary
tags
category
icon
password
comment
IP-Adapter通过带有解耦交叉注意力的适配模块，将文本特征的Cross-Attention 和图像特征的Cross-Attention区分开来，在Unet的模块中新增了一路Cross-Attention模块，用于引入图像特征。
原理
我们知道stable diffustion是扩散模型，它的核心作用机制就是对噪音的处理，prompt可以看做是我们的目标，通过不断的去噪过程，向着目标越来越靠近，最终生成出预期的图片。
IP-Adapter则是将图片单独提出作为一种提示特征，相比以往那种只是单纯的把图像特征和文本特征抽取后拼接在一起的方法，IP-Adapter通过带有解耦交叉注意力的适配模块，将文本特征的Cross-Attention 和图像特征的Cross-Attention区分开来，在Unet的模块中新增了一路Cross-Attention模块，用于引入图像特征。
相当于将原本SD中img和prompt拼合成一个向量的做法分开来, img和prompt都会单独的组成向量, 然后交给unet层, 这样img中的特征就可以更好的被保留下来，从而实现对图像特征更显性的继承和保留。
本质上IP-Adapter就是txt2img的流程，流程中prompt还是最关键的，只是中间利用IP-Adapter强化了参考图的提示作用。
作为对比，img2img是直接将参考图传入unet，去替换了原始的随机噪音，这样所有的生成结果都是建立在它的基础上。
结构
img2img使用unet架构，包括一个编码器（下采样）和一个解码器（上采样）
IP-Adapter包括一个图像编码器和包含解耦交叉注意力机制的适配器。
流程
img2img通过编码/解码器，需要通过一系列上采样、下采样
IP-Adapter通过图像编码器，文本提示和图像特征通过适配模块与预训练的文本到图像模型进行交互
输出
img2img是输出一个转换后的图像
IP-Adapter是根据文本和图像提示生成的图片
效果
IP-Adapter和img2img虽然在操作上都是“垫图”，但它们的底层实现可以说是毫无关系。
用个不严谨但好理解的例子，“IP-Adapter”和“img2img”就是两位画师，现在给出prompt要求它俩画一个男人，在不提供参考图的情况下，它们大概都会画成图1的模样，但是当我们加上参考图2的时候，两者的区别就显现了。
img2img相当于直接盖在参考图上开始临摹，虽然知道要画个男人，但会在老虎的基础上去修改，始终会很别扭，中间不免出现老虎和男人混淆的情况，画出一些强行混合不知所谓的图来。因为在这个流程中，参考图更为重要，一切是在它基础上画出来的，结果也更倾向于参考图。
IP-Adapter则不是临摹，而是真正的自己去画，它始终记得prompt知道自己要画个男人，中间更像请来了徐悲鸿这样的艺术大师，将怎么把老虎和人的特点融为一体，讲解得偏僻入里，所以过程中一直在给“男人”加上“老虎”的元素，比如金黄的瞳仁、王字型的抬头纹、虎纹的须发等等。此时，prompt更为重要，因为这才是它的始终目标。
当然这些都是在一定的参数范围内，超过了阈值，那必然是要走极端的，照着参考图去copy了。但即便这样也可以看到img2img只是1:1的复制，而IP-Adapter有更多prompt的影子。