在真實視頻內容中揭示微妙而有影響力的AI修改

2019年，當時的美國眾議院議長南希·佩洛西（Nancy Pelosi）的欺騙性視頻廣泛流傳。該視頻被編輯為使她顯得陶醉，這引起了人們對操縱媒體如何誤導公眾多麼容易被誤解的視頻。儘管它很簡單，但這一事件強調了甚至基本的視聽編輯的潛在損害。

當時，DeepFake景觀在很大程度上由基於自動編碼器的面部替換技術主導，該技術自2017年底以來一直存在。這些早期系統努力地在Pelosi視頻中看到了細微的變化，而是專注於更明顯的面部交換。

2022年的“神經情感導演”框架改變了著名面孔的情緒。資料來源： https：//www.youtube.com/watch?v=li6w8prdmjq

快進到今天，電影和電視行業越來越多地探索AI驅動的後期製作編輯。這種趨勢引發了人們的興趣和批評，因為AI使以前無法實現的完美主義水平。作為回應，研究社區開發了各種專注於面部捕獲的“本地編輯”的項目，例如擴散視頻自動編碼器，及時縫合，Chatface，MagicFace和Disco。

與2025年1月Project MagicFace一起編輯。資料來源： https：//arxiv.org/pdf/2501.02260

新面孔，新皺紋

但是，創建這些微妙的編輯的技術比我們檢測到它們的能力要快得多。大多數DeepFake檢測方法都過時，重點是舊技術和數據集。也就是說，直到印度研究人員最近的突破。

對深擊中微妙的局部編輯的檢測：實際視頻會改變以產生帶有細微變化的假貨，例如眉毛凸起，改良的性別特徵以及表達轉向厭惡的轉變（此處用單個框架說明）。資料來源： https：//arxiv.org/pdf/2503.22121

這項新的研究針對檢測微妙的局部面部操作，這種偽造經常被忽略。該方法沒有尋找廣泛的不一致或身份不匹配，而是在細節上進行零，例如輕微的表達轉移或對特定面部特徵的次要編輯。它利用面部動作編碼系統（FACS）將面部表情分解為64個可變區域。

facs中的成分64個表達零件中有一些。資料來源： https：//www.cs.cmu.edu/~face/facs.htm

研究人員針對各種最近的編輯方法測試了他們的方法，發現即使使用較舊的數據集和較新的攻擊向量，它也始終優於現有解決方案。

``通過使用基於AU的功能來指導通過蒙版自動編碼器（MAE）學到的視頻表示形式，我們的方法有效地捕獲了對於檢測微妙的面部編輯至關重要的局部變化。

``這種方法使我們能夠構建一個統一的潛在表示，該表示同時編碼本地化的編輯和麵部為中心的視頻的更廣泛的變化，從而為深擊檢測提供了全面且適應性的解決方案。 ''

該論文由Madras印度理工學院的研究人員撰寫，標題為使用動作單位引導的視頻表示的局部深層操作。

方法

該方法首先檢測到視頻中的面孔，並在這些面上以均勻間隔的框架進行採樣。然後將這些框架分解為小的3D補丁，以捕獲本地的空間和時間細節。

新方法的模式。輸入視頻通過面部檢測處理，以提取均勻間隔的面部中心框架，然後將其分為“管狀”貼片，並通過一個編碼器，該編碼器從兩個預處理的藉口任務中融合了潛在表示。然後，分類器使用結果向量來確定視頻是真實的還是假的。

每個貼片都包含來自幾個連續幀的像素的小窗口，從而使模型可以學習短期運動和表達變化。這些補丁被嵌入並在定位上進行編碼，然後被送入旨在區分真實視頻的編碼器。

通過使用跨注意機制結合兩種類型的學說表示，旨在創建一個更敏感且可推廣的特徵空間，可以解決檢測微妙操作的挑戰。

藉口任務

第一個表示形式來自經過膠帶自動編碼任務的編碼器。通過隱藏大多數視頻的3D補丁，編碼器學會了重建缺失的部分，從而捕獲了重要的時空圖案，例如面部運動。

藉口任務培訓涉及掩蓋視頻輸入的一部分，並使用編碼器折線設置來重建原始框架或每個框架操作單元地圖，具體取決於任務。

但是，僅此一項就不足以檢測細粒的編輯。研究人員介紹了第二個經過培訓的編碼器，以檢測面部動作單元（AUS），鼓勵其專注於經常發生微妙的深層效果編輯的局部肌肉活動。

面部動作單位（糧農組織或澳大利亞州）的進一步示例。資料來源： https：//www.eiagroup.com/the-facial-action-coding-system/

預處理後，兩個編碼器的輸出都使用交叉注意力組合在一起，基於AU的功能指導著對空間時端特徵的注意力。這導致了融合的潛在表示，該表示既捕獲更廣泛的運動上下文和最終分類任務的局部表達細節。

數據和測試

執行

該系統是使用基於Facexzoo Pytorch的面部檢測框架實現的，從每個視頻剪輯中提取16個以面部為中心的幀。藉口任務是在CelebV-HQ數據集上培訓的，其中包括35,000個高質量的面部視頻。

從源文件中，來自新項目中使用的CelebV-HQ數據集的示例。資料來源： https：//arxiv.org/pdf/2207.12393

將一半的數據掩蓋以防止過度擬合。對於蒙版的框架重建任務，該模型經過訓練，可以使用L1損失來預測缺失區域。對於第二項任務，它經過培訓，可以為16個面部動作單元生成地圖，並受到L1損失的監督。

預處理後，使用FaceForensics ++數據集進行了融合併微調以進行深層檢測，其中包括真實和操縱視頻。

自2017年以來，FaceForensics ++數據集一直是DeepFake檢測的基石，儘管現在已經過時了，就最新的面部合成技術而言。資料來源： https：//www.youtube.com/watch?v=x2g48q2i2zq

為了解決階級失衡，作者使用了焦點損失，強調了訓練期間更具挑戰性的例子。所有培訓均使用Videoma的預訓練的檢查站對單個RTX 4090 GPU進行了24GB VRAM進行。

測試

該方法針對各種深層檢測技術進行了評估，重點是本地編輯的深擊。測試包括一系列編輯方法和較舊的DeepFake數據集，使用曲線下的面積（AUC），平均精度和平均F1分數等指標。

從本文中：對最近的本地化深擊的比較表明，該提出的方法的表現優於其他所有方法，在次要方法中，AUC和平均精度的增長率為15％至20％。

作者提供了本地操縱視頻的視覺比較，顯示了他們方法對微妙編輯的敏感性。

使用三種不同的局部操作更改了真實視頻，以產生與原始視覺相似的假貨。此處顯示的是代表性幀以及每種方法的平均偽造得分。儘管現有的檢測器在這些微妙的編輯中苦苦掙扎，但擬議的模型始終分配了較高的假概率，表明對局部變化的敏感性更高。

研究人員指出，現有的最新檢測方法在最新的深泡產生技術中苦苦掙扎，而他們的方法表現出強大的概括，獲得了很高的AUC和平均精度得分。

在傳統的DeepFake數據集上的性能表明，所提出的方法在領先的方法中仍然具有競爭力，表明在各種操縱類型中進行了強烈的概括。

作者還測試了該模型在現實世界中的可靠性，發現它與諸如飽和調整，高斯模糊和像素化之類的常見視頻扭曲有彈性。

在不同的視頻扭曲下如何變化的檢測準確性如何變化。在大多數情況下，新方法仍然具有彈性，AUC只有很小的下降。當引入高斯噪聲時，最顯著的下降發生。

結論

儘管公眾經常將深果作為身份互換，但人工智能操縱的現實更加細微，並且可能更陰險。在這項新研究中討論的那種本地編輯可能直到發生另一項引人注目的事件後才吸引公眾關注。然而，正如Actor Nic Cage所指出的那樣，後期製作編輯改變表演的潛力是我們所有人都應該注意的問題。我們自然對面部表情的絲毫變化也很敏感，並且上下文可以極大地改變其影響。

首次發佈於2025年4月2日，星期三