Anthropicの新しいAIモデルは人間のようなコンピューターを操作し、エラーが含まれています

あなたは、まるで人間のようになめらかにコンピュータと対話できるAIを夢見たことがありますか？その夢が、Anthropicの最新のイノベーションによって現実になりました。火曜日に、彼らはClaude AIモデルの新世代であるClaude 3.5 Sonnetを公開しました。このAIは驚くべき精度でコンピュータを操作できます。現在ベータ版で、開発者がAPIを通じて実験することができます。

AnthropicはClaude 3.5 Sonnetを「公開ベータでコンピュータ使用を提供する初のフロンティアAIモデル」と誇らしげに称しています。これは、開発者が画面の閲覧、カーソルの操作、ボタンのクリック、仮想キーボードでの入力など、さまざまなタスクをコンピュータ上で実行するようプログラムできることを意味します。目標は？私たちが毎日コンピュータと対話する方法を再現することです。

この新しいAIはまだ実験段階にあり、完全ではありません。時折、不器用でエラーが発生することがあります。しかし、Anthropicがベータ版を公開したのは、まさに開発者からの貴重なフィードバックを集め、モデルを時間とともに改良するためです。

なぜAIがコンピュータを使うことに注目すべきか？

Anthropicはこの質問に明確な答えを持っています。「現代の仕事の膨大な量がコンピュータを通じて行われています。」AIが人間と同じようにソフトウェアと対話できるようにすることで、現在のAIアシスタントでは対応できない数多くの新しいアプリケーションが解放されます。

開発者やユーザーはどのように恩恵を受けられるのか？

各タスクごとに専用ツールを作る代わりに、AnthropicはClaudeに一般的なコンピュータスキルを教えています。これにより、AIは人間向けに設計された幅広い標準ソフトウェアプログラムを利用できます。開発者はこの機能を利用して、繰り返し作業の自動化、ソフトウェアの構築とテスト、さらには研究を行うことができます。

Asana、Canva、Cognition、DoorDash、Replit、The Browser Companyなど、すでにいくつかの企業がClaude 3.5 Sonnetのコンピュータスキルを活用しています。たとえば、Replitはこの機能を使ってReplit Agent製品を強化しています。

Claudeはどのようにしてコンピュータの使い方を学んだのか？

Anthropicによると、Claudeにコンピュータの操作を教えるには多くの試行錯誤が必要でした。このプロセスでは、AIがコンピュータ画面の画像を理解し、解釈し、見たものに基づいてどのアクションを取るかを決定する必要があります。Claude 3.5 Sonnetは、スクリーンショットを分析し、ピクセルを数えてカーソルを正確に移動させ、マウスコマンドを発行することでこれを実現します。

Claudeのパフォーマンスはどの程度か？

AIモデルのコンピュータ使用能力を評価するOSWorldベンチマークテストでは、Claude 3.5 Sonnetは14.9%のスコアを達成しました。これは人間のレベルである70%～75%に比べると大幅に低いですが、同じカテゴリーの次に優れたAIモデルの7.7%のほぼ2倍です。

これらの有望な結果にもかかわらず、Claudeのコンピュータ使用はまだ初期段階です。ウィンドウのドラッグや画面のズームインなど、より複雑なタスクはまだ実行できません。また、スクリーンショットに依存しているため、特定のアクションや通知を見逃す可能性があります。

Anthropicは楽観的で、「コンピュータ使用は急速に改善し、より速く、信頼性が高く、ユーザーが望むタスクに対してより有用になるでしょう」と述べています。また、技術が進化するにつれて、ソフトウェア開発の経験が少ない人々にもアクセスしやすくなり、厳格な安全対策を維持しながら利用可能になると強調しています。

Claude 3.5 Sonnetは今、誰でも利用可能です。開発者はAnthropic API、Amazon Bedrock、Google CloudのVertex AIでコンピュータ使用ベータを利用してアプリケーションの構築を開始できます。