Alibaba presenta Qwen-UI-Agent, un modelo base multimodal del mundo real
Alibaba ha presentado oficialmente Qwen-UI-Agent, un modelo base para agentes de interfaz gráfica de usuario (GUI) diseñado para funcionar en entornos reales. Este modelo, que abarca entornos móviles, de escritorio, web y de búsqueda avanzada, va más allá de las pruebas de simulación tradicionales para funcionar a la perfección en dispositivos físicos complejos.

Un rendimiento que supera al de los líderes del sector
Qwen-UI-Agent ha demostrado unas capacidades excepcionales tanto en pruebas de referencia de prestigio como en entornos reales:
Rendimiento en dispositivos móviles: ha alcanzado una impresionante puntuación del 82,1 % en MobileWorld, superando a varios de los principales modelos insignia internacionales. En su prueba de referencia personalizada, MobileWorld-Real, que incluye más de 100 dispositivos reales, la tasa de éxito alcanzó el 92,2 %, con resultados casi perfectos en las tareas diarias de Android. Rendimiento en ordenadores de sobremesa: con una puntuación del 79,5 % en OSWorld-Verified, el modelo redujo significativamente los pasos de ejecución en múltiples tareas en comparación con los modelos de referencia.Capacidades web y generales: ocupó el primer puesto en la prueba web WebArena entre todos los modelos comparados. Sus capacidades generales y de agencia superan a las del modelo de entrenamiento base, lo que le permite gestionar con facilidad las solicitudes de cola larga.Salvar la brecha entre la simulación y la realidad
Para cerrar la brecha entre la simulación y la aplicación en el mundo real, Qwen-UI-Agent utiliza un entorno móvil en vivo con más de 100 teléfonos físicos y más de 150 aplicaciones. Esta configuración permite la creación de tareas, la recopilación de trayectorias y el entrenamiento de modelos. El equipo también presentó MobileWorld-Real, un banco de pruebas con dispositivos reales que incluye más de 400 tareas, lo que permite una selección precisa de modelos basada en el rendimiento real de los dispositivos.

Instrucciones optimizadas y seguridad robusta
Más allá de las operaciones estándar de la interfaz gráfica de usuario, el modelo puede ejecutar comandos de línea de comandos directamente. Al generar acciones por lotes en una sola decisión, acorta las trayectorias de ejecución y aumenta la eficiencia. Se ha integrado un mecanismo de seguridad integral en todo el proceso: el modelo rechaza y cancela las tareas que impliquen solicitudes ilegales o de alto riesgo. En el caso de acciones delicadas, como pagos, eliminación de datos o autorizaciones de privacidad, se detiene en los pasos críticos para esperar la confirmación del usuario.
Además, el modelo admite el aprendizaje por refuerzo en línea en trayectorias que superan los 100 pasos. En combinación con el aprendizaje por plan de estudios adaptativo, mejora continuamente su capacidad para abordar tareas complejas a largo plazo.
Página web del proyecto: https://tongyi-mai.github.io/Qwen-UI-Agent/
Artículo relacionado
Gecko Robotics se asocia con NVIDIA para integrar la seguridad y el control de agentes de IA
Gecko Robotics está aprovechando la última capa de seguridad de IA agéntica de NVIDIA dentro de su flota de robots de inspección. Fuente: Gecko RoboticsNVIDIA Corp. presentó hoy su Plataforma de Seguridad de Agentes Abiertos (Open Agent Safety Platfo
Google Gemini mejora las burbujas flotantes para promover los asistentes de IA ligeros
A partir del 6 de septiembre, Google inició un despliegue por fases del botón de acción rápida «minimizado» actualizado, que incorpora la interfaz de Gemini, para los usuarios de Android. Esta actuali
Google presenta Dreambeans, su herramienta de IA más excéntrica hasta la fecha, para convertir tu vida en una historieta
Google Labs, la división encargada del diseño de productos experimentales, ha lanzado una nueva aplicación basada en inteligencia artificial para iOS y Android que da vida a tu día a día.Te presentamo
Recomendaciones de temas especiales relacionados
comentario (0)
0/500
Alibaba ha presentado oficialmente Qwen-UI-Agent, un modelo base para agentes de interfaz gráfica de usuario (GUI) diseñado para funcionar en entornos reales. Este modelo, que abarca entornos móviles, de escritorio, web y de búsqueda avanzada, va más allá de las pruebas de simulación tradicionales para funcionar a la perfección en dispositivos físicos complejos.

Un rendimiento que supera al de los líderes del sector
Qwen-UI-Agent ha demostrado unas capacidades excepcionales tanto en pruebas de referencia de prestigio como en entornos reales:
Rendimiento en dispositivos móviles: ha alcanzado una impresionante puntuación del 82,1 % en MobileWorld, superando a varios de los principales modelos insignia internacionales. En su prueba de referencia personalizada, MobileWorld-Real, que incluye más de 100 dispositivos reales, la tasa de éxito alcanzó el 92,2 %, con resultados casi perfectos en las tareas diarias de Android. Rendimiento en ordenadores de sobremesa: con una puntuación del 79,5 % en OSWorld-Verified, el modelo redujo significativamente los pasos de ejecución en múltiples tareas en comparación con los modelos de referencia.Capacidades web y generales: ocupó el primer puesto en la prueba web WebArena entre todos los modelos comparados. Sus capacidades generales y de agencia superan a las del modelo de entrenamiento base, lo que le permite gestionar con facilidad las solicitudes de cola larga.Salvar la brecha entre la simulación y la realidad
Para cerrar la brecha entre la simulación y la aplicación en el mundo real, Qwen-UI-Agent utiliza un entorno móvil en vivo con más de 100 teléfonos físicos y más de 150 aplicaciones. Esta configuración permite la creación de tareas, la recopilación de trayectorias y el entrenamiento de modelos. El equipo también presentó MobileWorld-Real, un banco de pruebas con dispositivos reales que incluye más de 400 tareas, lo que permite una selección precisa de modelos basada en el rendimiento real de los dispositivos.

Instrucciones optimizadas y seguridad robusta
Más allá de las operaciones estándar de la interfaz gráfica de usuario, el modelo puede ejecutar comandos de línea de comandos directamente. Al generar acciones por lotes en una sola decisión, acorta las trayectorias de ejecución y aumenta la eficiencia. Se ha integrado un mecanismo de seguridad integral en todo el proceso: el modelo rechaza y cancela las tareas que impliquen solicitudes ilegales o de alto riesgo. En el caso de acciones delicadas, como pagos, eliminación de datos o autorizaciones de privacidad, se detiene en los pasos críticos para esperar la confirmación del usuario.
Además, el modelo admite el aprendizaje por refuerzo en línea en trayectorias que superan los 100 pasos. En combinación con el aprendizaje por plan de estudios adaptativo, mejora continuamente su capacidad para abordar tareas complejas a largo plazo.
Página web del proyecto: https://tongyi-mai.github.io/Qwen-UI-Agent/
Gecko Robotics se asocia con NVIDIA para integrar la seguridad y el control de agentes de IA
Gecko Robotics está aprovechando la última capa de seguridad de IA agéntica de NVIDIA dentro de su flota de robots de inspección. Fuente: Gecko RoboticsNVIDIA Corp. presentó hoy su Plataforma de Seguridad de Agentes Abiertos (Open Agent Safety Platfo
Google Gemini mejora las burbujas flotantes para promover los asistentes de IA ligeros
A partir del 6 de septiembre, Google inició un despliegue por fases del botón de acción rápida «minimizado» actualizado, que incorpora la interfaz de Gemini, para los usuarios de Android. Esta actuali
Google presenta Dreambeans, su herramienta de IA más excéntrica hasta la fecha, para convertir tu vida en una historieta
Google Labs, la división encargada del diseño de productos experimentales, ha lanzado una nueva aplicación basada en inteligencia artificial para iOS y Android que da vida a tu día a día.Te presentamo





Hogar






