マイクロソフト、画面上のアプリ認識を可能にするCopilot Visionのアップデートをテスト

Microsoftは、Windowsアプリケーション全体におけるAIとの対話方法を変える、強化されたCopilotエクスペリエンスを発表します。この革新的なアップデートは、Copilot Visionの機能をMicrosoft Edge以外にも拡張し、インテリジェントな画面共有機能を通じてあらゆるデスクトップアプリケーションのリアルタイム支援を可能にします。

拡張された機能

Copilot Visionは、Windowsエコシステム全体でコンテキストに応じたガイダンスを提供します。

AIを活用した画面解析がすべてのPCアプリケーションで利用可能に

Adobe Photoshopのような複雑なソフトウェアの対話型コーチングが可能に

写真、ドキュメント、Webコンテンツをシステム全体で視覚的に分析可能

現在、米国を拠点とするWindows Insiderテスターに先行して展開中

実用的なアプリケーション

インタラクティブなソフトウェアガイダンス

強化されたCopilot Visionは、技術的なアプリケーションを支援する際に特に価値を発揮します。マイクロソフトが最近行ったデモンストレーションでは、AIが以下のことに成功しました：

• Minecraftのゲームプレイを段階的に説明
• Clipchampのビデオ編集設定を最適化
• ソフトウェアのチュートリアル中に、関連するインターフェース要素をハイライト表示

定期的にスナップショットをキャプチャする問題になっているRecall機能とは異なり、Copilot Visionは、画像を永久に保存することなく、AIが可視コンテンツを積極的に解釈して応答する動的な画面共有セッションのように動作します。

補足機能

インテリジェントなファイル検索

Microsoftは同時に、Copilot内の高度なファイル検索機能をテストしています：

1. 複数のフォーマットにまたがるドキュメントのインデックスを作成し、内容を理解します。
2. Office文書やPDFなど、一般的なファイル形式に対応
3. 自然言語によるクエリで最近の作業ファイルを検索できます。

アクセシビリティと可用性

プラットフォームのサポート

• Windows 11（コパイロットプラスPCに限定されない）
• iOSおよびAndroid用のモバイルバージョン
• 初期ベータ版は米国在住のテスターに限定
• 数カ月以内に一般展開を予定

実装要件

今後のCopilotの機能強化にアクセスするには、以下のものが必要です：

• Windows用の標準Copilotアプリケーション
• クラウド処理用のアクティブなインターネット接続
• 更新されたWindows 11のインストール

マイクロソフトは、ベータテストの成功を受けて、今年後半にすべてのWindows 11ユーザーにこれらのAI機能の段階的なリリースを完了する予定です。