Hogar
TIPSv2 de Google DeepMind: una IA que realmente entiende las imágenes, no solo las ojea
Actualmente, la comprensión de imágenes por parte de la IA presenta una limitación fundamental.
Cuando se le pregunta «¿Qué hay en esta imagen?», puede dar una respuesta detallada. Sin embargo, si se le pregunta «¿Dónde está la pata trasera izquierda del panda?», las respuestas son vagas. No se trata de un defecto de ningún modelo concreto, sino de un problema persistente en todo el ámbito de los grandes modelos de lenguaje visual: una sólida comprensión global, pero una localización local deficiente.
Google DeepMind presentó TIPSv2 en su último artículo, diseñado específicamente para abordar este complejo problema.
El equipo de investigación observó un hallazgo contraintuitivo: en tareas de segmentación de alta resolución, los modelos «estudiantes» más pequeños suelen superar a los modelos «profesores» más grandes. Esto ocurre porque la destilación elimina el mecanismo de enmascaramiento, lo que obliga al modelo a aprender cada detalle de toda la imagen, creando una forma de «supervisión de área completa». Motivado por esta idea, TIPSv2 introdujo tres mejoras clave.
En primer lugar, iBOT++. El preentrenamiento tradicional solo calcula la pérdida para las regiones enmascaradas, dejando las áreas visibles en un estado de descuido que provoca la deriva de la semántica local. iBOT++ exige que el modelo proporcione una supervisión precisa sobre todas las áreas visibles, lo que eleva efectivamente la tarea de un «juego de rompecabezas» a «leer atentamente todo el texto». Esta única mejora aumentó el rendimiento de la segmentación sin entrenamiento previo en 14,1 puntos porcentuales.
En segundo lugar, EMA solo para la cabeza. El entrenamiento autosupervisado tradicional requiere mantener en memoria dos modelos grandes casi idénticos, lo que consume muchos recursos. TIPSv2 descubrió que la pérdida contrastiva imagen-texto por sí sola es suficiente para estabilizar la red troncal, por lo que EMA solo necesita aplicarse a la cabeza de proyección final, eliminando la necesidad de duplicar la red troncal. Esto reduce el número de parámetros de entrenamiento en aproximadamente un 42 %, lo que lo hace más rápido sin apenas pérdida de rendimiento.
En tercer lugar, el emparejamiento de texto multigranularidad. Durante el entrenamiento, las descripciones web breves, las descripciones de detalle medio y las descripciones largas generadas por Gemini se mezclan aleatoriamente y se introducen en el modelo, alternando entre tareas fáciles y difíciles. Esto evita que el modelo se relaje en las tareas sencillas, al tiempo que garantiza que no se pase por alto ningún detalle.
Los resultados finales son convincentes. TIPSv2 se sometió a una evaluación congelada en nueve tareas y 20 conjuntos de datos de referencia. La segmentación semántica «zero-shot» alcanzó un nuevo punto de referencia en el sector, mientras que la recuperación y clasificación de imagen-texto superó a los modelos de comparación con un 56 % más de parámetros. Las tareas puramente visuales también se situaron entre las de mejor rendimiento.
El código y los pesos del modelo de TIPSv2 son totalmente de código abierto. Para los equipos que trabajan en imágenes médicas, conducción autónoma, inspección industrial y otros ámbitos que exigen una comprensión de imágenes de alta precisión, merece la pena examinar detenidamente esta solución.
Artículo: https://www.alphaxiv.org/abs/2604.12012
Artículo relacionado
Las gafas inteligentes de Apple podrían debutar en la WWDC27, destacando la protección de la privacidad
El informe de Mark Gurman de Bloomberg indica que las gafas inteligentes de Apple, con el nombre en código N50, están previstas para su presentación en la WWDC27 de junio de 2027, con un lanzamiento al público previsto para el otoño de 2027. Original
Dentro de los detalles revelados sobre el Gemini de próxima generación: Potencia de cálculo limitada, los equipos internos discreparon sobre las prioridades de desarrollo y la asignación de recursos
Los informes indican que el lanzamiento del tan esperado modelo Gemini de próxima generación de Google ha sido pospuesto. Los desacuerdos internos sobre las prioridades de desarrollo y la asignación de recursos, combinados con una capacidad de comput
OpenAI descarta preocupaciones por la desaceleración del crecimiento y afirma que múltiples unidades de negocio están acelerando
En respuesta a la escrutinio externo sobre el desaceleramiento del crecimiento de las ventas y el incumplimiento de las metas internas, el líder en inteligencia artificial, OpenAI, emitió una declaración contundente el martes 28 de abril. La empresa
Recomendaciones de temas especiales relacionados
Análisis de datos
Copilotos de AI para SQL destinados a paneles de ingresos, análisis de embudos y métricas de productos
¡Los mejores copilotos de SQL basados en IA de 2026, clasificados entre los más destacados! XIX.AI reúne una poderosa colección que evoluciona constantemente, con pruebas en el mundo real actualizadas semanalmente. Estas herramientas indispensables le permiten generar paneles de control de ingresos precisos, analizar los canales de venta y seguir de cerca las métricas de los productos de manera rápida, lo que aumenta significativamente su productividad. ¡Explórelas ahora para encontrar la herramienta perfecta para tomar decisiones basadas en datos! 238 caracteres
9 herramientas
xix.ai
composicion musical
Mejores herramientas de IA para escribir melodías en borradores de canciones
2026 Últimas Mejores Herramientas de Escritura de Melodías con IA Mejor Valoradas para Borradores de Canciones. XIX.AI ha curado una colección altamente poderosa y transformadora que ha pasado por rigurosas pruebas en el mundo real para ofrecer la mejor experiencia de escritura. Puedes encontrar comparaciones detalladas entre versiones gratuitas y de pago, clasificaciones precisas y opciones imperdibles diseñadas para ayudarte a crear borradores de canciones impresionantes sin esfuerzo y aumentar significativamente tu productividad creativa. ¡Explora ahora para descubrir tu herramienta perfecta!
8 herramientas
xix.ai
chatbot
Mejores herramientas de entrenamiento de conversación con IA para practicar entrevistas
¡Las mejores herramientas de entrenamiento de conversación con IA para prácticas de entrevistas más recientes y mejor valoradas de 2026 ya están disponibles en XIX.AI! Esta colección seleccionada incluye herramientas poderosas y transformadoras que han pasado por rigurosas pruebas en el mundo real para ofrecer retroalimentación precisa. Encontrarás una comparación entre opciones gratuitas y de pago, así como clasificaciones detalladas para ayudarte a elegir la opción imprescindible que aumente tu confianza y habilidades. ¡Explora ahora para descubrir tu herramienta perfecta para el éxito en las entrevistas!
12 herramientas
xix.ai
Diseño y Arte
Las mejores herramientas de transferencia de estilos con IA para experimentos creativos
¡Las mejores herramientas de transferencia de estilo con IA de 2026, mejor valoradas para experimentos creativos! XIX.AI ha seleccionado una colección de herramientas potentes y revolucionarias que no te puedes perder, capaces de ofrecer resultados excepcionales según pruebas reales y clasificaciones rigurosas. Estas soluciones de primera categoría ayudan a los creativos a aumentar significativamente su productividad, acelerando la creación de contenidos y abriendo un sinfín de posibilidades creativas. ¡Explora ahora mismo para descubrir tu herramienta perfecta y empieza a crear hoy mismo!
9 herramientas
xix.ai
Creación de cómics
Las mejores herramientas de burbujas de diálogo con IA para la narración visual
¡Ya están aquí, en XIX.AI, las mejores herramientas de 2026 con las mejores valoraciones para crear bocadillos de diálogo con IA y contar historias visuales! Esta selección incluye potentes herramientas revolucionarias que ayudan a los creadores a aumentar su productividad y superar los bloqueos creativos. Consulta una comparación entre las versiones gratuitas y de pago, echa un vistazo a las pruebas en condiciones reales y revisa las últimas clasificaciones para encontrar las soluciones imprescindibles, perfectas para crear narrativas visuales cautivadoras. ¡Explora ahora mismo y descubre tu herramienta ideal!
10 herramientas
xix.ai
Asistente de reuniones
Las mejores herramientas de resumen de reuniones con IA: realiza un seguimiento claro de las decisiones y las acciones de seguimiento
Las mejores herramientas de resumen de reuniones con IA de 2026, mejor valoradas para un seguimiento claro de las decisiones y un seguimiento posterior sin esfuerzo. Esta lista seleccionada presenta soluciones potentes y revolucionarias que aumentan drásticamente la productividad al automatizar las notas de las reuniones, identificar las acciones clave y agilizar la coordinación del equipo en todos los proyectos. Consigue una comparación entre las versiones gratuitas y de pago, junto con pruebas en condiciones reales y clasificaciones actualizadas semanalmente, para ayudarte a encontrar la herramienta perfecta. ¡Explora ahora mismo y aprovecha las ventajas de la IA!
9 herramientas
xix.ai
comentario (0)
0/500
Actualmente, la comprensión de imágenes por parte de la IA presenta una limitación fundamental.
Cuando se le pregunta «¿Qué hay en esta imagen?», puede dar una respuesta detallada. Sin embargo, si se le pregunta «¿Dónde está la pata trasera izquierda del panda?», las respuestas son vagas. No se trata de un defecto de ningún modelo concreto, sino de un problema persistente en todo el ámbito de los grandes modelos de lenguaje visual: una sólida comprensión global, pero una localización local deficiente.
Google DeepMind presentó TIPSv2 en su último artículo, diseñado específicamente para abordar este complejo problema.
El equipo de investigación observó un hallazgo contraintuitivo: en tareas de segmentación de alta resolución, los modelos «estudiantes» más pequeños suelen superar a los modelos «profesores» más grandes. Esto ocurre porque la destilación elimina el mecanismo de enmascaramiento, lo que obliga al modelo a aprender cada detalle de toda la imagen, creando una forma de «supervisión de área completa». Motivado por esta idea, TIPSv2 introdujo tres mejoras clave.
En primer lugar, iBOT++. El preentrenamiento tradicional solo calcula la pérdida para las regiones enmascaradas, dejando las áreas visibles en un estado de descuido que provoca la deriva de la semántica local. iBOT++ exige que el modelo proporcione una supervisión precisa sobre todas las áreas visibles, lo que eleva efectivamente la tarea de un «juego de rompecabezas» a «leer atentamente todo el texto». Esta única mejora aumentó el rendimiento de la segmentación sin entrenamiento previo en 14,1 puntos porcentuales.
En segundo lugar, EMA solo para la cabeza. El entrenamiento autosupervisado tradicional requiere mantener en memoria dos modelos grandes casi idénticos, lo que consume muchos recursos. TIPSv2 descubrió que la pérdida contrastiva imagen-texto por sí sola es suficiente para estabilizar la red troncal, por lo que EMA solo necesita aplicarse a la cabeza de proyección final, eliminando la necesidad de duplicar la red troncal. Esto reduce el número de parámetros de entrenamiento en aproximadamente un 42 %, lo que lo hace más rápido sin apenas pérdida de rendimiento.
En tercer lugar, el emparejamiento de texto multigranularidad. Durante el entrenamiento, las descripciones web breves, las descripciones de detalle medio y las descripciones largas generadas por Gemini se mezclan aleatoriamente y se introducen en el modelo, alternando entre tareas fáciles y difíciles. Esto evita que el modelo se relaje en las tareas sencillas, al tiempo que garantiza que no se pase por alto ningún detalle.
Los resultados finales son convincentes. TIPSv2 se sometió a una evaluación congelada en nueve tareas y 20 conjuntos de datos de referencia. La segmentación semántica «zero-shot» alcanzó un nuevo punto de referencia en el sector, mientras que la recuperación y clasificación de imagen-texto superó a los modelos de comparación con un 56 % más de parámetros. Las tareas puramente visuales también se situaron entre las de mejor rendimiento.
El código y los pesos del modelo de TIPSv2 son totalmente de código abierto. Para los equipos que trabajan en imágenes médicas, conducción autónoma, inspección industrial y otros ámbitos que exigen una comprensión de imágenes de alta precisión, merece la pena examinar detenidamente esta solución.
Artículo: https://www.alphaxiv.org/abs/2604.12012
Las gafas inteligentes de Apple podrían debutar en la WWDC27, destacando la protección de la privacidad
El informe de Mark Gurman de Bloomberg indica que las gafas inteligentes de Apple, con el nombre en código N50, están previstas para su presentación en la WWDC27 de junio de 2027, con un lanzamiento al público previsto para el otoño de 2027. Original
Dentro de los detalles revelados sobre el Gemini de próxima generación: Potencia de cálculo limitada, los equipos internos discreparon sobre las prioridades de desarrollo y la asignación de recursos
Los informes indican que el lanzamiento del tan esperado modelo Gemini de próxima generación de Google ha sido pospuesto. Los desacuerdos internos sobre las prioridades de desarrollo y la asignación de recursos, combinados con una capacidad de comput
OpenAI descarta preocupaciones por la desaceleración del crecimiento y afirma que múltiples unidades de negocio están acelerando
En respuesta a la escrutinio externo sobre el desaceleramiento del crecimiento de las ventas y el incumplimiento de las metas internas, el líder en inteligencia artificial, OpenAI, emitió una declaración contundente el martes 28 de abril. La empresa
¡Los mejores copilotos de SQL basados en IA de 2026, clasificados entre los más destacados! XIX.AI reúne una poderosa colección que evoluciona constantemente, con pruebas en el mundo real actualizadas semanalmente. Estas herramientas indispensables le permiten generar paneles de control de ingresos precisos, analizar los canales de venta y seguir de cerca las métricas de los productos de manera rápida, lo que aumenta significativamente su productividad. ¡Explórelas ahora para encontrar la herramienta perfecta para tomar decisiones basadas en datos! 238 caracteres
9 herramientas
xix.ai
2026 Últimas Mejores Herramientas de Escritura de Melodías con IA Mejor Valoradas para Borradores de Canciones. XIX.AI ha curado una colección altamente poderosa y transformadora que ha pasado por rigurosas pruebas en el mundo real para ofrecer la mejor experiencia de escritura. Puedes encontrar comparaciones detalladas entre versiones gratuitas y de pago, clasificaciones precisas y opciones imperdibles diseñadas para ayudarte a crear borradores de canciones impresionantes sin esfuerzo y aumentar significativamente tu productividad creativa. ¡Explora ahora para descubrir tu herramienta perfecta!
8 herramientas
xix.ai
¡Las mejores herramientas de entrenamiento de conversación con IA para prácticas de entrevistas más recientes y mejor valoradas de 2026 ya están disponibles en XIX.AI! Esta colección seleccionada incluye herramientas poderosas y transformadoras que han pasado por rigurosas pruebas en el mundo real para ofrecer retroalimentación precisa. Encontrarás una comparación entre opciones gratuitas y de pago, así como clasificaciones detalladas para ayudarte a elegir la opción imprescindible que aumente tu confianza y habilidades. ¡Explora ahora para descubrir tu herramienta perfecta para el éxito en las entrevistas!
12 herramientas
xix.ai
¡Las mejores herramientas de transferencia de estilo con IA de 2026, mejor valoradas para experimentos creativos! XIX.AI ha seleccionado una colección de herramientas potentes y revolucionarias que no te puedes perder, capaces de ofrecer resultados excepcionales según pruebas reales y clasificaciones rigurosas. Estas soluciones de primera categoría ayudan a los creativos a aumentar significativamente su productividad, acelerando la creación de contenidos y abriendo un sinfín de posibilidades creativas. ¡Explora ahora mismo para descubrir tu herramienta perfecta y empieza a crear hoy mismo!
9 herramientas
xix.ai
¡Ya están aquí, en XIX.AI, las mejores herramientas de 2026 con las mejores valoraciones para crear bocadillos de diálogo con IA y contar historias visuales! Esta selección incluye potentes herramientas revolucionarias que ayudan a los creadores a aumentar su productividad y superar los bloqueos creativos. Consulta una comparación entre las versiones gratuitas y de pago, echa un vistazo a las pruebas en condiciones reales y revisa las últimas clasificaciones para encontrar las soluciones imprescindibles, perfectas para crear narrativas visuales cautivadoras. ¡Explora ahora mismo y descubre tu herramienta ideal!
10 herramientas
xix.ai
Las mejores herramientas de resumen de reuniones con IA de 2026, mejor valoradas para un seguimiento claro de las decisiones y un seguimiento posterior sin esfuerzo. Esta lista seleccionada presenta soluciones potentes y revolucionarias que aumentan drásticamente la productividad al automatizar las notas de las reuniones, identificar las acciones clave y agilizar la coordinación del equipo en todos los proyectos. Consigue una comparación entre las versiones gratuitas y de pago, junto con pruebas en condiciones reales y clasificaciones actualizadas semanalmente, para ayudarte a encontrar la herramienta perfecta. ¡Explora ahora mismo y aprovecha las ventajas de la IA!
9 herramientas
xix.ai
