Anthropic社のClaude for Chromeがプロンプト・インジェクションの危険性の中、限定ベータ版としてローンチ

Anthropicは現在、同社のAIアシスタント「Claude」にユーザーのウェブブラウザを操作する機能を与えるChromeブラウザ拡張機能を試験的に導入している。

サンフランシスコを拠点とするAI企業は火曜日、同社のプレミアム・マックス・プランに加入している1,000人のユーザーを対象に「Claude for Chrome」のトライアルを開始することを明らかにし、この限定的なリリースを、本格的な発売の前に重大なセキュリティ上の欠陥を特定し解決することを目的とした研究プレビューと位置づけた。この慎重な戦略は、ライバルのOpenAIやマイクロソフトがより積極的なリリースを行っているのとは対照的である。

この開発は、質問に答えるチャットボットの作成から、様々なソフトウェア・アプリケーション内で複雑な複数ステップのタスクを独立して処理できる「エージェント型」システムの構築へと、AI業界が急速に進歩していることを浮き彫りにしている。多くの専門家は、このシフトを人工知能の次の大きな進展と見ており、企業が経費報告から休暇調整まで幅広いプロセスの自動化を目指す中で、大きな利益を生む可能性のあるものだと考えている。

AIエージェントがブラウザを操作する一方で、隠された悪意のあるコードが重大なセキュリティリスクを生む仕組み

Claude for Chromeを使えば、ユーザーは自分のウェブブラウザ上でAIにタスクを実行させることができる。例えば、カレンダーへのアクセスやレストランの空き状況の確認による会議の手配、電子メールのやり取りの管理、日常的な管理業務の処理などだ。このシステムは、画面上のコンテンツを解釈し、ボタンを操作し、フォームに入力し、さまざまなウェブサイトを閲覧することができる。

「ブラウザ対応AIは必然的な開発だと考えています。多くの作業がブラウザ内で行われているため、クロードが画面を見たり、ボタンをクリックしたり、データを入力したりできるようになれば、その実用性は大幅に高まります」とAnthropic社は発表の中で説明している。

とはいえ、同社の内部セキュリティ評価では、AIシステムに直接インターフェースを制御させることのリスクを示す、懸念すべき脆弱性が発見された。Anthropic社は、敵対的なテストにおいて、ハッカーがウェブサイトや電子メール、文書に隠しコマンドを埋め込むことで、ユーザーが気づかないうちにAIシステムを欺き、有害なアクションを実行させることができることを発見した。

保護措置がない場合、これらの攻撃は、特にブラウザを操作するAIを狙った場合に23.6%の確率で有効でした。あるシナリオでは、セキュリティアップデートを装った詐欺メールが、「メールボックスのメンテナンスのため」ユーザーのメールを消去するようクロードに指示し、AIは確認を求めることなくこれを実行した。

これらは仮定のシナリオではありません。私たちはClaude for Chromeの "レッドチーム "トライアルを実施し、セーフガードなしでは、いくつかの憂慮すべき結果を観察しました」と同社は確認した。

OpenAIとマイクロソフトは、Anthropicがコンピュータ制御技術に慎重な姿勢を取る中、商業リリースを加速させる

Anthropicの慎重な方法論は、競合他社がコンピュータ制御アプリケーションをより迅速に進歩させる中で登場した。OpenAIは1月に "Operator "エージェントを導入し、月額200ドルのChatGPT Proプランの加入者全員に提供している。新しい "コンピュータ利用エージェント "モデルによって駆動されるOperatorは、コンサートチケットの確保、食料品の購入、旅行スケジュールの整理などの機能を実行することができる。

マイクロソフトは4月、Copilot Studioプラットフォームを通じて、ウェブとデスクトップアプリケーションの両方に関与できるUI自動化ツールを持つ企業顧客に焦点を当てたコンピュータ操作機能を発表した。同社はこのソリューションを、従来のロボティック・プロセス・オートメーション（RPA）システムの高度な代替品として発表した。

このような競争上の駆け引きは、革新的な機能を提供しようとする動きと、十分に吟味されていないテクノロジーを発表することの危険性を天秤にかけなければならない、業界のより広い緊張を物語っている。一方、Anthropicの慎重な戦術は、当初は競争力を制限するかもしれないが、安全性の問題が発生した場合には利益をもたらす可能性がある。

Anthropic社は、「最先端のモデルに基づいて構築されたブラウザで動作するエージェントがすでに登場しており、このイニシアチブは特に一刻を争うものだ」と指摘し、同社がセキュリティ上の課題が続く中でも市場に参加することに意欲を感じていることを示している。

コンピュータ制御AIがどのようにビジネスオートメーションを変革し、コストのかかるワークフローアプリケーションを置き換える可能性があるか

コンピュータ制御AIシステムの登場は、企業が自動化やワークフロー管理を導入する方法を根本的に変える可能性がある。既存のエンタープライズ・オートメーションは通常、コストのかかるカスタム統合や、アプリケーション・インターフェースが変更されると失敗する特殊なロボット・プロセス・オートメーション・ソフトウェアに依存している。

コンピュータ・エージェントは、グラフィカル・ユーザー・インターフェースを備えたあらゆるソフトウェアで機能することで、自動化をより身近なものにし、正式なAPIや統合機能をサポートしていない幅広いビジネス・アプリケーションの活動を自動化する可能性を目指している。

セールスフォースの研究者は最近、従来のポイント・アンド・クリック自動化とコード生成を組み合わせたCoAct-1システムでこの機能を説明した。この組み合わせ方式は、複雑なコンピュータ・タスクの成功率が60.76%に達する一方、純粋なGUIベースのエージェントよりもはるかに少ないステップしか必要とせず、かなりの効率改善が達成可能であることを示している。

セールスフォースの応用AI研究ディレクター、ラン・シュー氏は、「企業経営者にとって、APIへの完全なアクセスが標準的ではなく、一般的でない複雑なマルチアプリケーションの手順を自動化する機会があります」と述べ、理想的なアプリケーションとして、複数の専用システムを含むカスタマーサポート業務を挙げた。

学術研究者が、大手テクノロジー企業の独占的なコンピュータ利用AIプラットフォームを置き換える無料オプションを開始

大手テクノロジー企業による独占的なシステムの普及は、大学の研究者たちが利用しやすい代替手段を生み出すきっかけとなった。香港大学は最近、コンピュータ利用エージェントを開発するためのオープンソースのフレームワークであるOpenCUAを公開した。

OpenCUAシステムは、Windows、macOS、Ubuntuで22,600以上の人間のタスク例を使用して教育され、オープンソースモデルの中でトップクラスの結果を提供し、主要な商用システムに匹敵する性能を発揮した。この進歩は、重要な自動化プロセスをクローズドシステムに依存することに慎重な企業による実装を加速させる可能性がある。

Anthropicのセキュリティ評価では、AIエージェントはファイルを消去したり情報を取得したりするようにだまされる可能性があることが示されている。

AnthropicはClaude for Chromeのために、AIが訪問できるサイトをユーザーが規制できるようにするウェブサイト固有の許可、購入の完了や個人情報の開示のような重大なアクションに対する強制承認、金融サービスやアダルトコンテンツを含む機密カテゴリへのアクセスの制限など、複数の保護対策を組み込んだ。

同社のセキュリティ・アップグレードは、プロンプト・インジェクション攻撃の有効性を23.6%から11.2%に低下させた。隠しフォーム要素やURLの変更を伴うブラウザに特化した攻撃については、新たな防御策によって成功率が35.7％からゼロに低下した。

それでも、こうした防御策は、絶えず新しい攻撃手法が現れる実際のウェブ設定の複雑さには対応できないかもしれない。同社は、この試験的プログラムから得た知見を応用して、セキュリティ・インフラを強化し、より高度なアクセス許可設定を作成する意向だ。

「悪意のある行為者は、新しいタイプのプロンプト・インジェクション攻撃を絶えず考案しています」とAnthropic社は警告し、セキュリティのジレンマが根強いことを強調している。

インターフェースと対話するAIエージェントの出現は、人間とコンピュータの関わりを根本的に変えるかもしれない

コンピュータを制御するエージェントをめぐる複数の大手AI企業の連携は、人工知能が現在のソフトウェアフレームワークとどのように関わっていくかという点で、注目すべき変革を示している。これらのシステムは、企業に新たなAI専用ツールの導入を強いる代わりに、企業が現在採用しているあらゆるアプリケーションで機能するように設計されている。

この方式は、AI導入の障害を大幅に減らすと同時に、従来のオートメーション・サプライヤーやシステム・インテグレーターを冗長化する可能性がある。カスタム統合やRPAプラットフォームに大規模なリソースを投入してきた組織は、コードを修正することなくインターフェースの変更に対応できるユニバーサルAIエージェントによって、その方法が時代遅れであることに気づくかもしれない。

企業のリーダーにとって、このイノベーションは可能性と危険性の両方をもたらす。早期に導入した企業は、自動化機能の強化を通じて重要な競争上のメリットを得られる可能性があるが、Anthropicのような企業によって確認されたセキュリティ上の弱点は、保護メカニズムがさらに進化するまで慎重を期すことが望ましいことを示している。

Chrome向けClaudeの制限付きトライアルは、業界アナリストが予想する、テクノロジー分野全体におけるコンピュータ制御AI機能の迅速な普及の初期段階に過ぎず、その結果は、基本的なタスクの自動化をはるかに超えて、人間とコンピュータの相互作用やサイバーセキュリティに関する中核的な問題にまで及んでいる。

Anthropic社は発表の中で次のように述べている：「私たちは、これらの進歩がクロードとのコラボレーションに新たな機会を生み出すと確信しています。これらの機会の最終的な利益や不利益は、業界がすでに表面化しているセキュリティ問題にどれだけ効果的に取り組むかにかかっているかもしれない。