“退化”合成面可能会增强面部识别技术

密歇根州立大学的研究人员提出了一种创新的方式，将合成面孔用于崇高的原因 - 增强图像识别系统的准确性。这些合成面部旨在模仿现实世界视频监视镜头中发现的缺陷，而不是为深层现象做出贡献。

该团队开发了一个可控的面部合成模块（CFSM），该模块可以以一种反映CCTV系统典型缺陷的样式再生面，例如面部模糊，低分辨率和传感器噪声。这种方法不同于使用流行数据集的高质量名人图像，而流行数据集并未捕捉面部识别系统所面临的现实挑战。

*可控面合成模块（CFSM）的概念架构。*来源：http：//cvlab.cse.msu.edu/pdfs/liu_kim_kim_jain_jain_liu_eccv2022.pdf

与侧重于复制头部姿势和表达式的DeepFake系统不同，CFSM旨在生成替代视图，以通过样式转移来匹配目标识别系统的样式。该模块对于适应不太可能因成本限制而升级但仍需要为现代面部识别技术做出贡献的旧系统特别有用。

在测试CFSM时，研究人员观察到有关低质量数据的图像识别系统的显着改善。他们还发现了一个意外的好处：表征和比较目标数据集的能力，这简化了基准测试和为各种CCTV系统创建量身定制的数据集的过程。

*培训面部识别模型以适应目标系统的局限性。

该方法也可以应用于现有数据集，有效地执行域的适应性，使其更适合面部识别。这项名为“无限制面部识别**的可控和有指导性的面部合成”的研究得到了美国国家情报总监办公室（ODNI，IARPA的ODNI）办公室的支持，并参与了MSU计算机科学与工程系的四名研究人员。

低品质的面部识别：一个不断增长的领域

在过去的几年中，低品质的面部识别（LQFR）已成为重要的研究领域。许多较旧的视频监视系统，耐用且持久，已经过时了，并且由于技术债务而难以作为机器学习的有效数据源。

在一系列历史性和最新视频监视系统中，面部分辨率的不同水平。资料来源：https：//arxiv.org/pdf/1805.11519.pdf

幸运的是，扩散模型和其他基于噪声的模型非常适合解决此问题。许多最新的图像合成系统包括将低分辨率图像作为其过程的一部分，这对于神经压缩技术也至关重要。

面部识别的挑战是，从低分辨率图像中提取的最大可能功能最大化精度。这不仅对于识别低分辨率的面孔，而且由于训练模型的潜在空间中图像大小的限制而有用。

在计算机视觉中，“功能”是指区分特征与任何图像，而不仅仅是面孔。随着展望算法的进步，已经提出了各种方法来增强低分辨率监视录像，这可能使其可用于诸如犯罪现场调查之类的法律目的。

但是，存在错误识别的风险，理想情况下，面部识别系统不应需要高分辨率图像来进行准确的识别。这种转变是昂贵的，并提出了有关其有效性和合法性的疑问。

需要更多的“跟头”名人

如果面部识别系统可以直接从传统系统的输出中提取功能而无需转换图像，则将更加有益。这需要更好地了解高分辨率身份与现有监视系统退化的图像之间的关系。

问题在于标准：MS-CELEB-1M和WebFace260M之类的数据集被广泛使用，因为它们提供了一致的基准测试。但是，作者认为，在这些数据集上训练的面部识别算法不适用于旧监视系统的视觉域。

*来自Microsoft流行的MS-CELEB1M数据集的示例。*来源：https：//www.microsoft.com/en-us/research/project/project/mms-celeb-celeb-1m-challenge-nenge-recognizing-noge--one-one-million-celebrities-celebrities-real-world/

该论文强调了，由于域转移问题，最先进的面部识别模型与现实世界监视图像相比。这些模型是在缺乏现实世界情景（例如传感器噪声和运动模糊）中缺乏变化的半约束数据集中训练的。

以前的方法试图匹配历史或低成本监视系统的产出，但这些是“盲目”的增强。相比之下，CFSM在训练过程中使用目标系统的直接反馈，并通过样式转移对模拟该域进行调整。

*女演员娜塔莉·波特曼（Natalie Portman），对统治计算机视觉社区的少数数据集并不陌生。

作者的体系结构使用快速梯度符号方法（FGSM）从目标系统的输出中导入样式和特征。随着培训的进行，管道的图像生成部分变得更加忠实于目标系统，从而提高了面部识别性能和泛化功能。

测试和结果

研究人员使用MSU的先前工作作为模板测试了CFSM，并采用MS-CELEB-1M和MS1M-V2作为培训数据集测试了CFSM。目标数据是香港中文大学的宽面数据集，该数据集是在具有挑战性的情况下设计的。

对四个面部识别基准进行了评估：IJB-B，IJB-C，IJB-S和TinyFace。使用ADAM Optimizer使用ADAM Optimizer，学习率为1E-4，对CFSM进行了约10％的MS-CELEB-1M数据，大约40万次图像，批量迭代量为32。

目标面部识别模型使用了带有Arcface损耗函数的修改后的Resnet-50。使用CFSM培训了一个其他模型，以进行比较，并在结果中标记为“ Arcface”。

*由CFSM的主要测试结果。较高的数字更好。*

结果表明，通过CFSM增强的Arcface模型在面部识别和验证任务中都优于所有基线，从而实现了新的最新性能。

从传统监视系统的各种特征中提取域的能力还可以比较和评估这些系统之间的分布相似性，从而以视觉方式呈现各种视觉样式，这些样式可以在未来的工作中利用。

*来自各个数据集的示例在样式上表现出明显的差异。*

作者还指出，CFSM演示了如何使用对抗性操纵来提高视力任务中的识别精度。他们基于学习的样式基础引入了一个数据集相似性度量，以标签或预测范围的方式捕获样式差异。

该研究强调了可控和指导的面部合成模型的潜力，以实现面部识别的不受约束，并提供了对数据集差异的见解。