「分解された」合成面は、顔認識技術を強化する可能性があります

ミシガン州立大学の研究者たちは、合成顔を高貴な目的で使用する革新的な方法を考案しました。それは、画像認識システムの精度を向上させることです。ディープフェイク現象に寄与する代わりに、これらの合成顔は、実際のビデオ監視映像に見られる不完全さを模倣するように設計されています。

チームは、顔のぼやけ、低解像度、センサーノイズなど、CCTVシステムの典型的な欠点を反映したスタイルで顔を再生成できる制御可能な顔合成モジュール（CFSM）を開発しました。このアプローチは、人気のあるデータセットの高品質なセレブリティ画像を使用する従来の方法とは異なり、顔認識システムが直面する現実の課題を捉えていません。

*制御可能な顔合成モジュール（CFSM）の概念的アーキテクチャ。* 出典：http://cvlab.cse.msu.edu/pdfs/Liu_Kim_Jain_Liu_ECCV2022.pdf

頭のポーズや表情を再現することに焦点を当てるディープフェイクシステムとは異なり、CFSMはスタイル転送を通じて、対象となる認識システムのスタイルに一致する代替ビューを生成することを目指しています。このモジュールは、コスト制約によりアップグレードが難しいレガシーシステムに適応するのに特に有用で、現代の顔認識技術に貢献する必要があります。

CFSMをテストした際、研究者たちは低品質データの処理において画像認識システムが大幅に改善されることを観察しました。また、予期せぬ利点として、対象データセットの特性評価と比較が可能になり、さまざまなCCTVシステム向けにカスタマイズされたデータセットの作成やベンチマークのプロセスが簡素化されることがわかりました。

*対象システムの制限に適応するように顔認識モデルを訓練する。* 出典：http://cvlab.cse.msu.edu/pdfs/Liu_Kim_Jain_Liu_ECCV2022_supp.pdf

この方法は、既存のデータセットにも適用でき、顔認識に適したドメイン適応を効果的に実行します。**制御可能かつ誘導された顔合成による制約のない顔認識**と題されたこの研究は、米国国家情報長官室（ODNI、IARPA）から部分的な支援を受けており、MSUのコンピュータサイエンスおよび工学部の4人の研究者が関与しています。

低品質顔認識：成長する分野

過去数年間で、低品質顔認識（LQFR）は重要な研究分野として浮上しています。耐久性と長期使用を目的に構築された多くの古いビデオ監視システムは、技術的負債により時代遅れになり、機械学習の有効なデータソースとして機能するのに苦労しています。

歴史的および最近のビデオ監視システムにおける顔の解像度の多様なレベル。出典：https://arxiv.org/pdf/1805.11519.pdf

幸いにも、拡散モデルやその他のノイズベースのモデルは、この問題に対処するのに適しています。最新の画像合成システムの多くは、プロセスに低解像度画像のアップスケーリングを含めており、これはニューラル圧縮技術にとっても重要です。

顔認識の課題は、低解像度画像から抽出可能な最も少ない特徴で精度を最大化することです。これは低解像度での顔の識別に役立つだけでなく、訓練モデルの潜在空間における画像サイズの制限により必要でもあります。

コンピュータビジョンにおいて、「特徴」とは、顔だけでなく任意の画像から識別される特徴を指します。アップスケーリングアルゴリズムの進歩により、低解像度の監視映像を強化するさまざまな方法が提案されており、犯罪現場の調査などの法的目的で使用可能になる可能性があります。

しかし、誤認識のリスクがあり、理想的には、顔認識システムは正確な識別を行うために高解像度の画像を必要としないはずです。このような変換はコストがかかり、その有効性や合法性について疑問を投げかけます。

「みすぼらしい」セレブリティの必要性

顔認識システムが、画像を変換せずにレガシーシステムの出力から直接特徴を抽出できれば、より有益です。これには、高解像度のアイデンティティと既存の監視システムからの劣化した画像との関係をよりよく理解する必要があります。

問題は標準にあります。MS-Celeb-1MやWebFace260Mのようなデータセットは、一貫したベンチマークを提供するため広く使用されています。しかし、著者たちは、これらのデータセットで訓練された顔認識アルゴリズムは、古い監視システムの視覚的ドメインには適していないと主張しています。

*マイクロソフトの人気のあるMS-Celeb1mデータセットの例。* 出典：https://www.microsoft.com/en-us/research/project/ms-celeb-1m-challenge-recognizing-one-million-celebrities-real-world/

論文では、最先端の顔認識モデルが、ドメインシフトの問題により現実の監視映像で苦戦していると指摘しています。これらのモデルは、センサーノイズや動きのぼやけなど、現実のシナリオに見られる変動が欠けている半制約的なデータセットで訓練されています。

従来の方法では、歴史的または低コストの監視システムの出力を一致させようとしていましたが、これらは「盲目的」な拡張でした。対照的に、CFSMは訓練中に対象システムからの直接的なフィードバックを使用し、スタイル転送を通じてそのドメインを模倣するように適応します。

*コンピュータビジョンコミュニティを支配する少数のデータセットに慣れている女優ナタリー・ポートマンが、CFSMが実際の対象モデルのドメインからのフィードバックに基づいてスタイル一致のドメイン適応を行う例に登場しています。*

著者のアーキテクチャは、Fast Gradient Sign Method（FGSM）を使用して、対象システムの出力からスタイルと特性を取り込みます。訓練が進むにつれて、パイプラインの画像生成部分は対象システムにより忠実になり、顔認識のパフォーマンスと一般化能力が向上します。

テストと結果

研究者たちは、MSUの以前の研究をテンプレートとして使用し、MS-Celeb-1mとMS1M-V2を訓練データセットとしてCFSMをテストしました。対象データは、香港中文大学のWiderFaceデータセットで、困難な状況での顔検出用に設計されています。

システムは、IJB-B、IJB-C、IJB-S、TinyFaceの4つの顔認識ベンチマークに対して評価されました。CFSMは、MS-Celeb-1mデータの約10％、約40万枚の画像を、Adamオプティマイザを使用してバッチサイズ32、学習率1e-4で125,000イテレーション訓練しました。

対象の顔認識モデルは、ArcFace損失関数を備えた変更されたResNet-50を使用しました。比較のために、CFSMで訓練された追加のモデルが「ArcFace」として結果にラベル付けされました。

*CFSMの主要テストの結果。数値が高いほど良い。*

結果は、CFSMで強化されたArcFaceモデルが、顔の識別および検証タスクの両方ですべてのベースラインを上回り、新たな最先端のパフォーマンスを達成したことを示しました。

レガシー監視システムのさまざまな特性からドメインを抽出する能力は、これらのシステム間の分布の類似性を比較および評価することも可能にし、将来の研究で活用できる視覚的スタイルとしてそれぞれを提示します。

*さまざまなデータセットの例は、スタイルの明確な違いを示しています。*

著者たちはまた、CFSMが敵対的操作を使用してビジョンタスクの認識精度を高める方法を示していると述べました。彼らは、学習されたスタイルベースに基づくデータセット類似性メトリックを導入し、ラベルや予測に依存しない方法でスタイルの違いを捉えました。

この研究は、制約のない顔認識のための制御可能かつ誘導された顔合成モデルの可能性を強調し、データセットの違いに関する洞察を提供します。