アリババ、実世界向けマルチモーダル基盤モデル「Qwen-UI-Agent」を発表
アリババは、実環境での運用を目的としたGUIエージェント向け基盤モデル「Qwen-UI-Agent」を正式に発表しました。モバイル、デスクトップ、ウェブ、ディープサーチ環境を網羅するこのモデルは、従来のシミュレーションテストの枠を超え、複雑な物理デバイス間でシームレスに機能します。

業界トップクラスを凌ぐパフォーマンス
「Qwen-UI-Agent」は、権威あるベンチマークおよび実環境の両方で卓越した能力を発揮しています。
モバイル性能:MobileWorldにおいて82.1%という驚異的なスコアを達成し、国際的な主要フラッグシップモデル数機種を上回りました。 100台以上の実機を用いた独自ベンチマーク「MobileWorld-Real」では、成功率が92.2%に達し、Android Dailyタスクではほぼ完璧な結果を示しました。デスクトップ性能:OSWorld-Verifiedで79.5%のスコアを記録し、ベースラインモデルと比較して複数のタスクにおける実行ステップを大幅に削減しました。Webおよび汎用能力:WebArenaのWebテストにおいて、比較対象モデル全体の中で1位を獲得しました。その汎用能力およびエージェント能力はベースとなる学習モデルを上回っており、ロングテールなリクエストも容易に処理可能です。シミュレーションと現実のギャップを埋める
シミュレーションと実世界での応用との隔たりを埋めるため、Qwen-UI-Agentは100台以上の実機と150以上のアプリケーションを備えた実稼働モバイル環境を活用しています。この環境は、タスクの作成、行動履歴の収集、およびモデルの学習をサポートします。 また、チームは400以上のタスクを備えた実機ベンチマーク「MobileWorld-Real」を導入し、実際のデバイス性能に基づいた精度の高いモデル選定を可能にしました。

簡素化された指示と堅牢なセキュリティ
標準的なGUI操作に加え、このモデルはコマンドラインコマンドを直接実行できます。1回の決定でバッチ処理を出力することで、実行トラジェクトリーを短縮し、効率を向上させます。 プロセス全体に包括的なセキュリティメカニズムが組み込まれており、モデルは不正または高リスクなリクエストを含むタスクを拒否・中止します。支払い、データ削除、プライバシーに関する承認といった機密性の高い操作については、重要なステップで一時停止し、ユーザーの確認を待ちます。
さらに、本モデルは100ステップを超える実行経路におけるオンライン強化学習をサポートしています。適応型カリキュラム学習と組み合わせることで、難易度の高い長期タスクに対処する能力を継続的に向上させます。
プロジェクトホームページ:https://tongyi-mai.github.io/Qwen-UI-Agent/
関連記事
Gecko RoboticsはNVIDIAと提携し、AIエージェントのセキュリティと制御を統合する
Gecko Roboticsは、その点検ロボット部隊内でNVIDIAの最新のアジェンティックAIセキュリティレイヤーを活用しています。出典:Gecko RoboticsNVIDIA Corp.は本日、オープンソースのOpenShellソフトウェアおよびSentry参照システム設計を特徴とする「Open Agent Safety Platform」を発表しました。これらのツールは、AIエージェントを運用するロボットにおける、ハードウェア、コンピューティング、ソフトウェアの各レイヤーにわたるガバナン
Google Gemini、軽量AIアシスタントの普及を促進するため「フローティングバブル」機能を強化
9月6日より、GoogleはAndroidユーザー向けに、Geminiインターフェースを搭載した更新版の「最小化」クイックアクションボタンの段階的な展開を開始しました。このアップデートにより、ユーザーは広範囲に表示されるGeminiのオーバーレイを、Sparkのロゴが付いたコンパクトなフローティングバブルに折りたたむことができ、画面をほとんど占有しなくなります。この機能強化により、従来のフルスクリ
Googleは、あなたの生活を漫画の世界に変える、同社史上最も風変わりなAIツール「Dreambeans」を発表した
実験的な製品設計を担当する部門「Google Labs」は、日常生活を彩るAI搭載の新しいアプリをiOSおよびAndroid向けにリリースしました。その名も「Dreambeans」。この名前の由来については、後ほど説明します。このツールとは一体どのようなものなのでしょうか?このアプリケーションのプロダクトリードであるゴズデ・オズヌル氏は、TechCrunchに対し、このコンセプトは、ユーザーが利用
関連特集おすすめ
コメント (0)
0/500
アリババは、実環境での運用を目的としたGUIエージェント向け基盤モデル「Qwen-UI-Agent」を正式に発表しました。モバイル、デスクトップ、ウェブ、ディープサーチ環境を網羅するこのモデルは、従来のシミュレーションテストの枠を超え、複雑な物理デバイス間でシームレスに機能します。

業界トップクラスを凌ぐパフォーマンス
「Qwen-UI-Agent」は、権威あるベンチマークおよび実環境の両方で卓越した能力を発揮しています。
モバイル性能:MobileWorldにおいて82.1%という驚異的なスコアを達成し、国際的な主要フラッグシップモデル数機種を上回りました。 100台以上の実機を用いた独自ベンチマーク「MobileWorld-Real」では、成功率が92.2%に達し、Android Dailyタスクではほぼ完璧な結果を示しました。デスクトップ性能:OSWorld-Verifiedで79.5%のスコアを記録し、ベースラインモデルと比較して複数のタスクにおける実行ステップを大幅に削減しました。Webおよび汎用能力:WebArenaのWebテストにおいて、比較対象モデル全体の中で1位を獲得しました。その汎用能力およびエージェント能力はベースとなる学習モデルを上回っており、ロングテールなリクエストも容易に処理可能です。シミュレーションと現実のギャップを埋める
シミュレーションと実世界での応用との隔たりを埋めるため、Qwen-UI-Agentは100台以上の実機と150以上のアプリケーションを備えた実稼働モバイル環境を活用しています。この環境は、タスクの作成、行動履歴の収集、およびモデルの学習をサポートします。 また、チームは400以上のタスクを備えた実機ベンチマーク「MobileWorld-Real」を導入し、実際のデバイス性能に基づいた精度の高いモデル選定を可能にしました。

簡素化された指示と堅牢なセキュリティ
標準的なGUI操作に加え、このモデルはコマンドラインコマンドを直接実行できます。1回の決定でバッチ処理を出力することで、実行トラジェクトリーを短縮し、効率を向上させます。 プロセス全体に包括的なセキュリティメカニズムが組み込まれており、モデルは不正または高リスクなリクエストを含むタスクを拒否・中止します。支払い、データ削除、プライバシーに関する承認といった機密性の高い操作については、重要なステップで一時停止し、ユーザーの確認を待ちます。
さらに、本モデルは100ステップを超える実行経路におけるオンライン強化学習をサポートしています。適応型カリキュラム学習と組み合わせることで、難易度の高い長期タスクに対処する能力を継続的に向上させます。
プロジェクトホームページ:https://tongyi-mai.github.io/Qwen-UI-Agent/
Gecko RoboticsはNVIDIAと提携し、AIエージェントのセキュリティと制御を統合する
Gecko Roboticsは、その点検ロボット部隊内でNVIDIAの最新のアジェンティックAIセキュリティレイヤーを活用しています。出典:Gecko RoboticsNVIDIA Corp.は本日、オープンソースのOpenShellソフトウェアおよびSentry参照システム設計を特徴とする「Open Agent Safety Platform」を発表しました。これらのツールは、AIエージェントを運用するロボットにおける、ハードウェア、コンピューティング、ソフトウェアの各レイヤーにわたるガバナン
Google Gemini、軽量AIアシスタントの普及を促進するため「フローティングバブル」機能を強化
9月6日より、GoogleはAndroidユーザー向けに、Geminiインターフェースを搭載した更新版の「最小化」クイックアクションボタンの段階的な展開を開始しました。このアップデートにより、ユーザーは広範囲に表示されるGeminiのオーバーレイを、Sparkのロゴが付いたコンパクトなフローティングバブルに折りたたむことができ、画面をほとんど占有しなくなります。この機能強化により、従来のフルスクリ
Googleは、あなたの生活を漫画の世界に変える、同社史上最も風変わりなAIツール「Dreambeans」を発表した
実験的な製品設計を担当する部門「Google Labs」は、日常生活を彩るAI搭載の新しいアプリをiOSおよびAndroid向けにリリースしました。その名も「Dreambeans」。この名前の由来については、後ほど説明します。このツールとは一体どのようなものなのでしょうか?このアプリケーションのプロダクトリードであるゴズデ・オズヌル氏は、TechCrunchに対し、このコンセプトは、ユーザーが利用





家






