Anthropicの新しいAIモデルは人間のようなコンピューターを操作し、エラーが含まれています

人間のように、コンピューターとシームレスに対話できるAIを夢見たことはありますか？まあ、その夢は今や現実になっています。人類の最新の革新のおかげで。火曜日に、彼らはClaude 3.5 Sonnetという名前の新しい世代のClaude AIモデルを発表しました。現在、ベータモードでは、このAIは開発者がAPIを介して実験できるようにしています。

人類は、「パブリックベータ版でのコンピューター使用を提供する最初のフロンティアAIモデル」として、Claude 3.5 Sonnetを誇らしげにラベル付けしています。つまり、開発者は、画面の表示、カーソルの操作、ボタンのクリック、仮想キーボードでの入力など、コンピューターでさまざまなタスクを実行するようにプログラムできます。目標？毎日コンピューターと対話する方法を再現します。

今、この新しいAIはまだ実験段階にありますが、そのしゃったものがないわけではありません。それは少し不器用でエラーが発生しやすい場合があります。しかし、それがまさに人類がベータ版でそれをリリースした理由です。開発者からの貴重なフィードバックを収集し、時間の経過とともにモデルを改良します。

コンピューターを使用してAIを気にする必要があるのはなぜですか？

人類はその質問に対する明確な答えを持っています：「コンピューターを介して膨大な量の現代の仕事が起こります」。 AIが人間と同じようにソフトウェアと対話できるようにすることにより、現在のAIアシスタントが処理できない多くの新しいアプリケーションのロックを解除します。

開発者とユーザーはどのように利益を得ることができますか？

タスクごとに特定のツールを作成する代わりに、AnthropicはClaudeの一般的なコンピュータースキルを教えています。これにより、AIは人間向けに設計された幅広い標準ソフトウェアプログラムを利用できます。開発者は、この機能を活用して、繰り返しタスクを自動化し、ソフトウェアを構築およびテストし、さらには研究を実施できます。

いくつかの企業は、Asana、Canva、Cognition、Doordash、Replit、The Browser Companyなど、Claude 3.5 Sonnetのコンピュータースキルをすでに活用しています。たとえば、Replitはこれらの機能を使用して、レプリットエージェント製品を強化しています。

彼らはどのようにしてクロードをコンピューターを使用するように訓練しましたか？

人類によると、コンピューターをナビゲートするためのクロードのトレーニングには、多くの試行錯誤が含まれていました。このプロセスでは、AIがコンピューター画面の画像を理解して解釈し、見ているものに基づいてどのアクションを実行するかを決定する必要があります。 Claude 3.5 Sonnetは、スクリーンショットを分析し、ピクセルをカウントしてカーソルを正確に移動し、マウスコマンドを発行することでこれを達成します。

クロードはどれくらいうまく機能していますか？

AIモデルのコンピューターを使用する能力を評価するOSWorldベンチマークテストでは、Claude 3.5 Sonnetは14.9％のスコアを達成しました。これは、70％〜75％の人間レベルのパフォーマンスよりも大幅に低くなりますが、同じカテゴリの次のベストAIモデルによって7.7％のスコアがほぼ2倍です。

これらの有望な結果にもかかわらず、クロードのコンピューターの使用はまだ初期段階にあります。 Windowsのドラッグや画面にズームするなど、これ以上複雑なタスクを実行することはできません。さらに、スクリーンショットに依存しているため、特定のアクションと通知を見逃す可能性があります。

人類は、「ユーザーが完了したいタスクにより、コンピューターの使用が急速に改善されるようになると予想しています。」と述べています。彼らはまた、テクノロジーが進化するにつれて、厳格な安全対策を維持しながら、ソフトウェア開発の経験が少ない人にとってはよりアクセスしやすくなることを強調しています。

Claude 3.5 Sonnetは、誰でもアクセスできるようになりました。開発者は、人類のAPI、Amazon Bedrock、およびGoogle CloudのVertex AIのコンピューター使用ベータ版でアプリケーションの構築を開始できます。