Presentación de modificaciones de IA sutiles pero impactantes en el contenido de video auténtico

En 2019, un video engañoso de Nancy Pelosi, entonces presidente de la Cámara de Representantes de los Estados Unidos, distribuyó ampliamente. El video, que fue editado para que pareciera intoxicada, fue un marcado recordatorio de cuán fácilmente manipulados los medios pueden engañar al público. A pesar de su simplicidad, este incidente destacó el daño potencial de incluso las ediciones audiovisuales básicas.

En ese momento, el paisaje de Deepfake estaba dominado en gran medida por las tecnologías de reemplazo de caras basados ​​en autoencoder, que habían existido desde finales de 2017. Estos primeros sistemas lucharon para hacer los cambios matizados vistos en el video de Pelosi, centrándose en swaps más abiertos.

El marco de 2022 'Director de Emoción Neural' cambia el estado de ánimo de una cara famosa. Fuente: https://www.youtube.com/watch?v=li6w8prdmjq

Avancemos rápidamente hasta hoy, y la industria del cine y la televisión explora cada vez más las ediciones de postproducción impulsadas por la IA. Esta tendencia ha provocado interés y crítica, ya que AI permite un nivel de perfeccionismo que anteriormente era inalcanzable. En respuesta, la comunidad de investigación ha desarrollado varios proyectos centrados en las 'ediciones locales' de capturas faciales, como Autoencoders de Video de Difusión, coserlo en el tiempo, el chatface, la magia y la discoteca.

Edición de expresión con el proyecto Magicface de enero de 2025. Fuente: https://arxiv.org/pdf/2501.02260

Nuevas caras, nuevas arrugas

Sin embargo, la tecnología para crear estas ediciones sutiles avanza mucho más rápido que nuestra capacidad para detectarlas. La mayoría de los métodos de detección de defake profundos están desactualizados, centrándose en técnicas y conjuntos de datos más antiguos. Es decir, hasta un reciente avance de los investigadores de la India.

Detección de ediciones locales sutiles en Deepfakes: se altera un video real para producir falsificaciones con cambios matizados como cejas elevadas, rasgos de género modificados y cambios en la expresión hacia el asco (ilustrado aquí con un solo cuadro). Fuente: https://arxiv.org/pdf/2503.22121

Esta nueva investigación se dirige a la detección de manipulaciones faciales sutiles y localizadas, un tipo de falsificación que a menudo se pasa por alto. En lugar de buscar inconsistencias amplias o desajustes de identidad, el método se concentra en detalles finos como ligeros cambios de expresión o ediciones menores a características faciales específicas. Aprovecha el Sistema de codificación de acción facial (FACS), que descompone las expresiones faciales en 64 áreas mutables.

Algunas de las partes constituyentes 64 partes en FACS. Fuente: https://www.cs.cmu.edu/~face/facs.htm

Los investigadores probaron su enfoque contra varios métodos de edición recientes y descubrieron que superaba constantemente las soluciones existentes, incluso con conjuntos de datos más antiguos y vectores de ataque más nuevos.

'Al usar características basadas en AU para guiar las representaciones de video aprendidas a través de Autoencoders enmascarados (MAE), nuestro método captura efectivamente los cambios localizados cruciales para detectar ediciones faciales sutiles.

"Este enfoque nos permite construir una representación latente unificada que codifica tanto las ediciones localizadas como las alteraciones más amplias en los videos centrados en la cara, proporcionando una solución integral y adaptable para la detección de profundos".

El documento, titulado Detección de manipulaciones localizadas de Deepfake utilizando representaciones de video guiadas por la unidad de acción , fue escrito por investigadores del Instituto Indio de Tecnología de Madras.

Método

El método comienza detectando caras en un video y muestreo de marcos espaciados uniformemente centrados en estas caras. Estos cuadros se descomponen en pequeños parches 3D, capturando detalles espaciales y temporales locales.

Esquema para el nuevo método. El video de entrada se procesa con detección de la cara para extraer marcos centrados en la cara espaciados uniformemente, que luego se dividen en parches 'tubulares' y se pasan a través de un codificador que fusiona representaciones latentes de dos tareas de pretexto previos al pretenido. El vector resultante es utilizado por un clasificador para determinar si el video es real o falso.

Cada parche contiene una pequeña ventana de píxeles de unos pocos marcos sucesivos, lo que permite que el modelo aprenda cambios de movimiento y expresión a corto plazo. Estos parches están incrustados y codificados posicionalmente antes de ser alimentados en un codificador diseñado para distinguir videos reales de los falsos.

El desafío de detectar manipulaciones sutiles se aborda mediante el uso de un codificador que combina dos tipos de representaciones aprendidas a través de un mecanismo de atención cruzada, con el objetivo de crear un espacio de características más sensible y generalizable.

Tareas de pretexto

La primera representación proviene de un codificador entrenado con una tarea de autoencodificación enmascarada. Al ocultar la mayoría de los parches 3D del video, el codificador aprende a reconstruir las partes faltantes, capturando importantes patrones espacio -temporales como el movimiento facial.

El entrenamiento de tareas de pretexto implica enmascarar partes de la entrada de video y usar una configuración de codificador codificador para reconstruir los marcos originales o los mapas de la unidad de acción por cuadro, dependiendo de la tarea.

Sin embargo, esto solo no es suficiente para detectar ediciones de grano fino. Los investigadores introdujeron un segundo codificador entrenado para detectar unidades de acción facial (AUS), alentándolo a centrarse en la actividad muscular localizada donde a menudo ocurren ediciones sutiles de defake.

Otros ejemplos de unidades de acción facial (faus o aus). Fuente: https://www.eiagroup.com/the-facial-action-coding-system/

Después de la captura previa, las salidas de ambos codificadores se combinan utilizando atención cruzada, con las características basadas en AU que guían la atención sobre las características espaciales temporales. Esto da como resultado una representación latente fusionada que captura tanto el contexto de movimiento más amplio como los detalles de expresión localizados, utilizados para la tarea de clasificación final.

Datos y pruebas

Implementación

El sistema se implementó utilizando el marco de detección de cara basado en FaceXzoo Pytorch, extrayendo 16 marcos centrados en la cara de cada video clip. Las tareas de pretexto fueron capacitadas en el conjunto de datos Celebv-HQ, que incluye 35,000 videos faciales de alta calidad.

Del documento de origen, ejemplos del conjunto de datos CelebV-HQ utilizado en el nuevo proyecto. Fuente: https://arxiv.org/pdf/2207.12393

La mitad de los datos fueron enmascarados para evitar el sobreajuste. Para la tarea de reconstrucción del marco enmascarado, el modelo fue entrenado para predecir regiones faltantes con pérdida de L1. Para la segunda tarea, fue entrenado para generar mapas para 16 unidades de acción facial, supervisadas por la pérdida de L1.

Después de la captura previa, los codificadores se fusionaron y se ajustaron para la detección de Deepfake utilizando el conjunto de datos FaceForensics ++, que incluye videos reales y manipulados.

El conjunto de datos FaceForensics ++ ha sido la piedra angular de la detección de Deepfake desde 2017, aunque ahora está considerablemente desactualizado, con respecto a las últimas técnicas de síntesis facial. Fuente: https://www.youtube.com/watch?v=x2g48q2i2zq

Para abordar el desequilibrio de clases, los autores utilizaron una pérdida focal, enfatizando ejemplos más desafiantes durante la capacitación. Toda la capacitación se realizó en una sola GPU RTX 4090 con 24 GB de VRAM, utilizando puntos de control previamente capacitados de Videomae.

Pruebas

El método se evaluó con varias técnicas de detección de Deepfake, centrándose en los profundos de profundidad locales. Las pruebas incluyeron una gama de métodos de edición y conjuntos de datos de defake profundos más antiguos, utilizando métricas como área bajo curva (AUC), precisión promedio y puntaje medio F1.

Del documento: la comparación en los profundos profundos localizados recientes muestra que el método propuesto superó a todos los demás, con una ganancia de 15 a 20 por ciento tanto en AUC como en precisión promedio sobre el mejor enfoque.

Los autores proporcionaron comparaciones visuales de videos manipulados localmente, que muestran la sensibilidad superior de su método a las ediciones sutiles.

Se alteró un video real utilizando tres manipulaciones localizadas diferentes para producir falsificaciones que permanecían visualmente similar al original. Aquí se muestran marcos representativos junto con los puntajes de detección falsos promedio para cada método. Si bien los detectores existentes lucharon con estas ediciones sutiles, el modelo propuesto asignó constantemente altas probabilidades falsas, lo que indica una mayor sensibilidad a los cambios localizados.

Los investigadores señalaron que los métodos de detección de vanguardia existentes lucharon con las últimas técnicas de generación de Deepfake, mientras que su método mostró una generalización robusta, logrando altos puntajes de precisión AUC y promedio.

El rendimiento en los conjuntos de datos de Deepfake tradicionales muestra que el método propuesto seguía siendo competitivo con los enfoques principales, lo que indica una fuerte generalización en una variedad de tipos de manipulación.

Los autores también probaron la confiabilidad del modelo en condiciones del mundo real, lo que la resilia a distorsiones de video comunes como ajustes de saturación, desenfoque gaussiano y pixelación.

Una ilustración de cómo la precisión de detección cambia en diferentes distorsiones de video. El nuevo método se mantuvo resistente en la mayoría de los casos, con solo una pequeña disminución en AUC. La caída más significativa ocurrió cuando se introdujo el ruido gaussiano.

Conclusión

Si bien el público a menudo piensa en los defensores profundos como intercambios de identidad, la realidad de la manipulación de la IA es más matizada y potencialmente más insidiosa. El tipo de edición local discutida en esta nueva investigación podría no capturar la atención pública hasta que ocurra otro incidente de alto perfil. Sin embargo, como ha señalado el actor Nic Cage, el potencial de las ediciones de postproducción para alterar los rendimientos es una preocupación que todos debamos conocer. Somos naturalmente sensibles incluso a los más mínimos cambios en las expresiones faciales, y el contexto puede alterar drásticamente su impacto.

Publicado por primera vez el miércoles 2 de abril de 2025