“退化”合成面可能會增強面部識別技術

密西根州立大學的研究人員提出了一種創新方法，利用合成面孔提升圖像識別系統的準確性，服務於崇高目標。這些合成面孔並非助長深偽現象，而是模擬現實世界監控錄像中的缺陷。

研究團隊開發了可控面孔合成模組（CFSM），能以反映CCTV系統常見缺陷的風格重新生成面孔，如面部模糊、低解析度和感測器噪聲。此方法不同於使用來自熱門資料集的高品質名人圖像，後者無法捕捉面部識別系統面臨的現實挑戰。

*可控面孔合成模組（CFSM）的概念架構。* 來源：http://cvlab.cse.msu.edu/pdfs/Liu_Kim_Jain_Liu_ECCV2022.pdf

不同於專注於複製頭部姿勢和表情的深偽系統，CFSM旨在透過風格轉換生成與目標識別系統風格匹配的替代視圖。此模組特別適用於因成本限制難以升級的舊系統，這些系統仍需為現代面部識別技術做出貢獻。

測試CFSM時，研究人員觀察到處理低品質數據的圖像識別系統顯著改進，還發現意外好處：能夠表徵和比較目標資料集，簡化基準測試和為各種CCTV系統創建定制資料集的過程。

*訓練面部識別模型以適應目標系統的限制。* 來源：http://cvlab.cse.msu.edu/pdfs/Liu_Kim_Jain_Liu_ECCV2022_supp.pdf

此方法也可應用於現有資料集，進行領域適應，使其更適合面部識別。研究題為**可控與引導面孔合成用於無約束面部識別**，部分由美國國家情報總監辦公室（ODNI, at IARPA）資助，涉及密西根州立大學計算機科學與工程系的四位研究人員。

低品質面部識別：新興領域

過去幾年，低品質面部識別（LQFR）成為重要研究領域。許多舊的監控系統因耐用性設計而過時，因技術債務難以作為機器學習的有效數據來源。

歷史與較新監控系統中面部解析度的不同層次。來源：https://arxiv.org/pdf/1805.11519.pdf

幸運的是，擴散模型和其他基於噪聲的模型適合解決此問題。許多最新圖像合成系統包括提升低解析度圖像的功能，這對神經壓縮技術也至關重要。

面部識別的挑戰在於以最少特徵從低解析度圖像中最大化準確性。這不僅適用於低解析度面部識別，也因訓練模型潛在空間的圖像尺寸限制而必要。

在計算機視覺中，“特徵”指的是任何圖像的顯著特徵，不僅限於面部。隨著上行演算法的進步，提出多種方法來增強低解析度監控錄像，使其可用於犯罪現場調查等法律用途。

然而，存在誤識別風險，理想情況下，面部識別系統不應需要高解析度圖像來實現準確識別。此類轉換成本高昂，且引發關於其有效性和合法性的問題。

需要更多“落魄”名人

若面部識別系統能直接從舊系統輸出中提取特徵而無需轉換圖像，將更具效益。這需要更好地理解高解析度身份與現有監控系統退化圖像之間的關係。

問題在於標準：MS-Celeb-1M和WebFace260M等資料集因提供一致基準而廣泛使用，但作者認為，基於這些資料集訓練的面部識別演算法不適合舊監控系統的視覺領域。

*來自Microsoft熱門MS-Celeb1m資料集的範例。* 來源：https://www.microsoft.com/en-us/research/project/ms-celeb-1m-challenge-recognizing-one-million-celebrities-real-world/

論文指出，由於領域轉移問題，最先進的面部識別模型在處理現實世界監控影像時表現不佳。這些模型基於半約束資料集訓練，缺乏現實場景中的變化，如感測器噪聲和運動模糊。

先前方法嘗試匹配歷史或低成本監控系統的輸出，但這些是“盲目”增強。相比之下，CFSM在訓練中利用目標系統的直接反饋，透過風格轉換適應該領域。

*女演員娜塔莉·波特曼，常見於計算機視覺社群主導的少數資料集中，在此CFSM範例中，基於實際目標模型領域的反饋進行風格匹配的領域適應。*

作者的架構使用快速梯度符號法（FGSM）導入目標系統輸出的風格和特徵。隨著訓練進展，圖像生成部分對目標系統更加忠實，提升面部識別性能和泛化能力。

測試與結果

研究人員以密西根州立大學先前工作為模板，測試CFSM，使用MS-Celeb-1m和MS1M-V2作為訓練資料集。目標數據為香港中文大學的WiderFace資料集，專為挑戰性場景中的面部檢測設計。

系統針對四個面部識別基準進行評估：IJB-B、IJB-C、IJB-S和TinyFace。CFSM使用約10%的MS-Celeb-1m數據（約40萬張圖像），以批次大小32進行125,000次迭代，使用Adam優化器，學習率為1e-4。

目標面部識別模型使用修改後的ResNet-50，搭配ArcFace損失函數。另訓練一個CFSM模型進行比較，標記為“ArcFace”。

*CFSM主要測試結果。數字越高越好。*

結果顯示，增強型ArcFace模型在面部識別和驗證任務中超越所有基準，達到新的最先進性能。

從舊監控系統各種特徵中提取領域的能力，還允許比較和評估這些系統的分布相似性，以視覺風格呈現，可在未來工作中利用。

*不同資料集的範例顯示出明顯的風格差異。*

作者還指出，CFSM展示了对抗性操作如何用於提升視覺任務中的識別準確性。他們引入了基於學習風格基礎的資料集相似性度量，以不依賴標籤或預測器的方式捕捉風格差異。

研究強調了可控與引導面孔合成模型在無約束面部識別中的潛力，並提供了資料集差異的洞察。