Anthropicの新しいAIモデルは人間のようなコンピューターを操作し、エラーが含まれています

あなたは、まるで人間のようになめらかにコンピュータと対話できるAIを夢見たことがありますか?その夢が、Anthropicの最新のイノベーションによって現実になりました。火曜日に、彼らはClaude AIモデルの新世代であるClaude 3.5 Sonnetを公開しました。このAIは驚くべき精度でコンピュータを操作できます。現在ベータ版で、開発者がAPIを通じて実験することができます。
AnthropicはClaude 3.5 Sonnetを「公開ベータでコンピュータ使用を提供する初のフロンティアAIモデル」と誇らしげに称しています。これは、開発者が画面の閲覧、カーソルの操作、ボタンのクリック、仮想キーボードでの入力など、さまざまなタスクをコンピュータ上で実行するようプログラムできることを意味します。目標は?私たちが毎日コンピュータと対話する方法を再現することです。
この新しいAIはまだ実験段階にあり、完全ではありません。時折、不器用でエラーが発生することがあります。しかし、Anthropicがベータ版を公開したのは、まさに開発者からの貴重なフィードバックを集め、モデルを時間とともに改良するためです。
なぜAIがコンピュータを使うことに注目すべきか?
Anthropicはこの質問に明確な答えを持っています。「現代の仕事の膨大な量がコンピュータを通じて行われています。」AIが人間と同じようにソフトウェアと対話できるようにすることで、現在のAIアシスタントでは対応できない数多くの新しいアプリケーションが解放されます。
開発者やユーザーはどのように恩恵を受けられるのか?
各タスクごとに専用ツールを作る代わりに、AnthropicはClaudeに一般的なコンピュータスキルを教えています。これにより、AIは人間向けに設計された幅広い標準ソフトウェアプログラムを利用できます。開発者はこの機能を利用して、繰り返し作業の自動化、ソフトウェアの構築とテスト、さらには研究を行うことができます。
Asana、Canva、Cognition、DoorDash、Replit、The Browser Companyなど、すでにいくつかの企業がClaude 3.5 Sonnetのコンピュータスキルを活用しています。たとえば、Replitはこの機能を使ってReplit Agent製品を強化しています。
Claudeはどのようにしてコンピュータの使い方を学んだのか?
Anthropicによると、Claudeにコンピュータの操作を教えるには多くの試行錯誤が必要でした。このプロセスでは、AIがコンピュータ画面の画像を理解し、解釈し、見たものに基づいてどのアクションを取るかを決定する必要があります。Claude 3.5 Sonnetは、スクリーンショットを分析し、ピクセルを数えてカーソルを正確に移動させ、マウスコマンドを発行することでこれを実現します。
Claudeのパフォーマンスはどの程度か?
AIモデルのコンピュータ使用能力を評価するOSWorldベンチマークテストでは、Claude 3.5 Sonnetは14.9%のスコアを達成しました。これは人間のレベルである70%~75%に比べると大幅に低いですが、同じカテゴリーの次に優れたAIモデルの7.7%のほぼ2倍です。
これらの有望な結果にもかかわらず、Claudeのコンピュータ使用はまだ初期段階です。ウィンドウのドラッグや画面のズームインなど、より複雑なタスクはまだ実行できません。また、スクリーンショットに依存しているため、特定のアクションや通知を見逃す可能性があります。
Anthropicは楽観的で、「コンピュータ使用は急速に改善し、より速く、信頼性が高く、ユーザーが望むタスクに対してより有用になるでしょう」と述べています。また、技術が進化するにつれて、ソフトウェア開発の経験が少ない人々にもアクセスしやすくなり、厳格な安全対策を維持しながら利用可能になると強調しています。
Claude 3.5 Sonnetは今、誰でも利用可能です。開発者はAnthropic API、Amazon Bedrock、Google CloudのVertex AIでコンピュータ使用ベータを利用してアプリケーションの構築を開始できます。
関連記事
Yaoke Media初のAIGCドラマ『秦嶺の青銅の謎』が本日配信開始、AIが演じる主演キャストが登場
本日、Yaoke MediaのAIGCファンタジー・ミステリー短編ドラマ『秦嶺青銅の秘話』が正式に公開されました。同社が初めて契約した2人のAI俳優、秦凌月と林西燕燕が主演を務め、物語は謎に包まれた秦嶺の鉱山地帯を舞台に展開されます。 物語は、引退した諜報員・秦月がチームを率いてその奥深くへと入り込み、長年埋もれていた鉱山事故と、2世代にわたる血の生贄の真実を暴いていく様子を描きます。その真実は、
サティヤ・ナデラ、新たなOpenAIとの契約を活用する準備ができている
水曜日に、ウォール・ストリートのアナリストがマイクロソフトのCEOであるサティヤ・ナデラ氏に直接尋ねました。改正されたOpenAIとの提携関係が同社の財務状況にどのような影響を与えるのかと。ナデラ氏はこの新しい協定を「皆にとっての勝利」と表現しました。「OpenAIとの提携については満足しています。私は常にどんな提携でもウィンウィンの関係を築くことに重点を置いています。そうすることで、長期的に良いパートナーシップを維持できるからです。」彼は、マイクロソフトが依然としてOpenAIの知的財産、
WordPress.comでは、AIエージェントによる投稿の作成や公開が可能になりました。その他にもさまざまな機能が追加されています。
人気のウェブホスティング・パブリッシングプラットフォームであるWordPress.comが、AIエージェントの導入に乗り出した。この動きは、ウェブのあり方を一変させる可能性がある。同社は金曜日、AIエージェントが顧客のウェブサイト上でコンテンツの下書き作成、編集、公開を行うほか、コメントの管理、メタデータの更新・修正、タグやカテゴリを用いたコンテンツの整理も可能になると発表した。これらすべての操作
関連特集おすすめ
コメント (8)
0/500
Когда ИИ начинает делать те же ошибки, что и я в работе с компьютером, это по-своему успокаивает 😂 Меня беспокоит, насколько мы готовы доверить программному обеспечению такое прямое взаимодействие с интерфейсом. Это ведь прямая дорога как к невероятной производительности, так и к полному хаосу, если что-то пойдет не так. Кажется, пора задуматься о новых 'правилах дорожного движения' для роботов-помощников.
Этот AI, который делает ошибки, как человек, звучит одновременно и забавно, и немного тревожно 😅 Получается, мы создали идеального цифрового стажёра, который тоже путает Ctrl+C и Ctrl+V? Интересно, как это повлияет на безопасность — вдруг он случайно удалит что-то важное, пытаясь 'помочь'?
Wow, Claude 3.5 Sonnet sounds like a game-changer! An AI that mimics human computer use, errors and all? That’s wild. I wonder how it handles my messy desktop and random browser tabs 😅. Super curious to see it in action!
This AI acting like a human on computers is wild! 😮 Makes me wonder if it’ll start rage-quitting when apps crash like I Elyse.

あなたは、まるで人間のようになめらかにコンピュータと対話できるAIを夢見たことがありますか?その夢が、Anthropicの最新のイノベーションによって現実になりました。火曜日に、彼らはClaude AIモデルの新世代であるClaude 3.5 Sonnetを公開しました。このAIは驚くべき精度でコンピュータを操作できます。現在ベータ版で、開発者がAPIを通じて実験することができます。
AnthropicはClaude 3.5 Sonnetを「公開ベータでコンピュータ使用を提供する初のフロンティアAIモデル」と誇らしげに称しています。これは、開発者が画面の閲覧、カーソルの操作、ボタンのクリック、仮想キーボードでの入力など、さまざまなタスクをコンピュータ上で実行するようプログラムできることを意味します。目標は?私たちが毎日コンピュータと対話する方法を再現することです。
この新しいAIはまだ実験段階にあり、完全ではありません。時折、不器用でエラーが発生することがあります。しかし、Anthropicがベータ版を公開したのは、まさに開発者からの貴重なフィードバックを集め、モデルを時間とともに改良するためです。
なぜAIがコンピュータを使うことに注目すべきか?
Anthropicはこの質問に明確な答えを持っています。「現代の仕事の膨大な量がコンピュータを通じて行われています。」AIが人間と同じようにソフトウェアと対話できるようにすることで、現在のAIアシスタントでは対応できない数多くの新しいアプリケーションが解放されます。
開発者やユーザーはどのように恩恵を受けられるのか?
各タスクごとに専用ツールを作る代わりに、AnthropicはClaudeに一般的なコンピュータスキルを教えています。これにより、AIは人間向けに設計された幅広い標準ソフトウェアプログラムを利用できます。開発者はこの機能を利用して、繰り返し作業の自動化、ソフトウェアの構築とテスト、さらには研究を行うことができます。
Asana、Canva、Cognition、DoorDash、Replit、The Browser Companyなど、すでにいくつかの企業がClaude 3.5 Sonnetのコンピュータスキルを活用しています。たとえば、Replitはこの機能を使ってReplit Agent製品を強化しています。
Claudeはどのようにしてコンピュータの使い方を学んだのか?
Anthropicによると、Claudeにコンピュータの操作を教えるには多くの試行錯誤が必要でした。このプロセスでは、AIがコンピュータ画面の画像を理解し、解釈し、見たものに基づいてどのアクションを取るかを決定する必要があります。Claude 3.5 Sonnetは、スクリーンショットを分析し、ピクセルを数えてカーソルを正確に移動させ、マウスコマンドを発行することでこれを実現します。
Claudeのパフォーマンスはどの程度か?
AIモデルのコンピュータ使用能力を評価するOSWorldベンチマークテストでは、Claude 3.5 Sonnetは14.9%のスコアを達成しました。これは人間のレベルである70%~75%に比べると大幅に低いですが、同じカテゴリーの次に優れたAIモデルの7.7%のほぼ2倍です。
これらの有望な結果にもかかわらず、Claudeのコンピュータ使用はまだ初期段階です。ウィンドウのドラッグや画面のズームインなど、より複雑なタスクはまだ実行できません。また、スクリーンショットに依存しているため、特定のアクションや通知を見逃す可能性があります。
Anthropicは楽観的で、「コンピュータ使用は急速に改善し、より速く、信頼性が高く、ユーザーが望むタスクに対してより有用になるでしょう」と述べています。また、技術が進化するにつれて、ソフトウェア開発の経験が少ない人々にもアクセスしやすくなり、厳格な安全対策を維持しながら利用可能になると強調しています。
Claude 3.5 Sonnetは今、誰でも利用可能です。開発者はAnthropic API、Amazon Bedrock、Google CloudのVertex AIでコンピュータ使用ベータを利用してアプリケーションの構築を開始できます。
Yaoke Media初のAIGCドラマ『秦嶺の青銅の謎』が本日配信開始、AIが演じる主演キャストが登場
本日、Yaoke MediaのAIGCファンタジー・ミステリー短編ドラマ『秦嶺青銅の秘話』が正式に公開されました。同社が初めて契約した2人のAI俳優、秦凌月と林西燕燕が主演を務め、物語は謎に包まれた秦嶺の鉱山地帯を舞台に展開されます。 物語は、引退した諜報員・秦月がチームを率いてその奥深くへと入り込み、長年埋もれていた鉱山事故と、2世代にわたる血の生贄の真実を暴いていく様子を描きます。その真実は、
サティヤ・ナデラ、新たなOpenAIとの契約を活用する準備ができている
水曜日に、ウォール・ストリートのアナリストがマイクロソフトのCEOであるサティヤ・ナデラ氏に直接尋ねました。改正されたOpenAIとの提携関係が同社の財務状況にどのような影響を与えるのかと。ナデラ氏はこの新しい協定を「皆にとっての勝利」と表現しました。「OpenAIとの提携については満足しています。私は常にどんな提携でもウィンウィンの関係を築くことに重点を置いています。そうすることで、長期的に良いパートナーシップを維持できるからです。」彼は、マイクロソフトが依然としてOpenAIの知的財産、
WordPress.comでは、AIエージェントによる投稿の作成や公開が可能になりました。その他にもさまざまな機能が追加されています。
人気のウェブホスティング・パブリッシングプラットフォームであるWordPress.comが、AIエージェントの導入に乗り出した。この動きは、ウェブのあり方を一変させる可能性がある。同社は金曜日、AIエージェントが顧客のウェブサイト上でコンテンツの下書き作成、編集、公開を行うほか、コメントの管理、メタデータの更新・修正、タグやカテゴリを用いたコンテンツの整理も可能になると発表した。これらすべての操作
Когда ИИ начинает делать те же ошибки, что и я в работе с компьютером, это по-своему успокаивает 😂 Меня беспокоит, насколько мы готовы доверить программному обеспечению такое прямое взаимодействие с интерфейсом. Это ведь прямая дорога как к невероятной производительности, так и к полному хаосу, если что-то пойдет не так. Кажется, пора задуматься о новых 'правилах дорожного движения' для роботов-помощников.
Этот AI, который делает ошибки, как человек, звучит одновременно и забавно, и немного тревожно 😅 Получается, мы создали идеального цифрового стажёра, который тоже путает Ctrl+C и Ctrl+V? Интересно, как это повлияет на безопасность — вдруг он случайно удалит что-то важное, пытаясь 'помочь'?
Wow, Claude 3.5 Sonnet sounds like a game-changer! An AI that mimics human computer use, errors and all? That’s wild. I wonder how it handles my messy desktop and random browser tabs 😅. Super curious to see it in action!
This AI acting like a human on computers is wild! 😮 Makes me wonder if it’ll start rage-quitting when apps crash like I Elyse.





家






