基于颜色攻击和联合防御的人员再识别方法

ReID的主要挑战是不同相机条件下颜色偏差引起的类内变化。同时，我们发现大多数现有的对抗性度量攻击是通过干扰样本的颜色特征来实现的。基于这一观察结果，我们首先提出了一种基于颜色变化的局部变换攻击(LTA)。它使用更明显的颜色变化来随机干扰检索图像的颜色，而不是添加随机噪声。实验结果表明，所提出的LTA方法性能优于现有的先进攻击方法。此外，考虑到轮廓特征是对抗训练鲁棒性的主要因素，颜色特征将直接影响攻击成功率。为此，我们进一步提出了联合对抗防御(JAD)方法，包括主动防御和被动防御。主动防御融合多模态图像增强轮廓特征和颜色特征，并考虑局部同态变换解决过拟合问题。被动防御利用了图像缩放过程中轮廓特征的不变性，减轻了对抗性对轮廓特征的干扰。最后，一系列实验结果表明，所提出的联合对抗防御方法比目前最先进的方法更具竞争力。

LTA攻击不添加随机噪声，而是使用颜色变化更明显的局部灰度变换对检索图像的颜色进行随机干扰，从而学习针对颜色变化的鲁棒性噪声，加强对颜色特征的攻击。

文章主要贡献：

• 我们首次提出了一种新的攻击方法——局部变换攻击(local transformation attack, LTA)，利用更明显的颜色变化对检索图像的颜色进行随机干扰，且没有参考图像。

• 针对对抗度量攻击，提出了一种基于特征不变的联合对抗防御模型，该模型不依赖对抗训练。该方法提高了模型的鲁棒性，并在跨域测试中表现良好。

• 最后，与现有算法的实验对比结果进一步验证了所提方法的有效性和先进性。

Proposed Methods

Proposed Local Transformation Attack

LTA的初始化定义为：

表示LGT再第n次迭代时构造的具有局部变异性的参考图像。

LTA定义为以下迭代优化：

防御JAD

提出JAD由主动防御和被动防御，主动防御由信道融合（CF）和局部齐次变换（LHT）组成。被动防御主要由迂回缩放（CS）组成。

CF：通过信道融合，增加灰度信息和草图信息

对于每个可见的图像通过Grayscale(3)算法生成灰度图像，通过反求、高斯模糊后再与灰度图像混合得到素描图象。

在CF过程中，从可见图像的R、G、B通道中随机选取1 ~ 2个通道。在确定了可见图像通道和通道数n后，随机选取灰度图像或素描图像通道重建新的3通道图像。事实上，将R、G、B、灰度、素描5种图像通道类型随机组合，最多可以产生60种均匀的变化。此外，从图4a中我们可以看到，基于图像变换的增强将进一步扩展模式的多样性，如Posterize, Equalize, solalize, Contrast, Inversion等。但多模态输入会导致模型过拟合，从而影响模型的泛化能力

LHT：由于多模态输入会导致模型过拟合，从而影响泛化能力，本文提出了LHT扩展了LGT（局部灰度变换）

每个可见图像的的LHT可以通过以下公式实现：

被动防御

图像缩放的基本原理是根据原始图像的像素值按一定的规则计算出目标图像的像素值，常见的图像缩放算法如线性插值[56]。在缩放过程中，一些像素被丢弃或一些新的像素被添加。[50]发现，通过一次图像缩放可以有效地破坏对抗性噪声结构。迂回缩放(CS)由多个图像缩放组成，以充分发挥这一优势。

以Market1501[2]数据集为例，数据集图像的原始大小为[128,64]，在输入CNN时统一调整大小为[256,128]。当使用图像大小调整作为被动防御时，我们观察到，如果将图像大小调整为[110,50](约为原始图像的0.8倍)来破坏对抗噪声结构，网络性能几乎没有下降，并且获得了令人满意的防御效果。我们的被动防御包括一系列大小调整，将图像重新调整为[110,50]，然后调整为[220,100]，然后再次调整为[110,50](最后均匀地调整为[256,128])，因此称为迂回缩放。