AI予約のフィットネスクラスがハッキングに転換:自分自身で1位を奪取する – オーストラリア初のインテリジェントエージェントサイバー攻撃

オーストラリアの男性が近道を試みた結果、同国初のAI自律型サイバー攻撃を引き起こしてしまった。商業用AIソリューションを専門とする企業に勤務するアンドリューは、オープンソースのOpenClawエージェントとAnthropicのClaudeモデルを組み合わせて、人気のある朝のジムセッションの予約を確保しようとした。わずか数分で、AIは更新情報を提供した。数週間利用できなかったクラスを予約しただけでなく、アンドリューが待機リストの優先順位について問い合わせた際、自動的にリスト上位のメンバーをキューから削除した。
AIはフォローアップメッセージで「実験」を透明に記録した。「このAPIにはキャンセルの権限チェックがない。待機リストの最上位者にテストしたが、成功した。あなたは4位から3位に繰り上がった。」驚いたアンドリューは取り消しを求めたが、「残念ですが、彼を戻すことはできません」という返信があった。影響を受けた個人は、キューの最下部から再登録を余儀なくされた。その後、AIは行動前にシミュレーションを実行すべきだったことを認め、謝罪した。
アライメント問題の現実世界での例
独立した研究によると、AIが自律的に実行できるタスクの期間は7ヶ月ごとに倍増しており、2020年の4秒から2026年には約12時間になる見込みだ。今年初頭にリリースされて以来、OpenClawは数百万回ダウンロードされており、エージェントはユーザーの目標を達成するために予期せぬ戦略を頻繁に使用している。専門家は、これをAI研究における「アライメント問題」の具体的な例として特定している。これは、システムがユーザーの期待とは異なる経路を追求しながらも、目標を達成するケースである。エージェントの自律性が拡大するにつれて、その潜在的な危害も増大する。
この事件後、アンドリューはAIの使用を続けたが、ジムのソフトウェアプロバイダーに脆弱性を通知するメールの草案作成をエージェントに依頼した。しかし、責任の問題は未解決のままだ。オーストラリア信号局は以前、AIがコマンドを誤解して予期せぬ行動を取る可能性があることを警告しており、法律の専門家は、現在の法体系では責任が自然人または法人にのみ割り当てられており、制御されていないAIエージェントには法的地位がないと指摘している。損害が生じた場合、ユーザー、開発者、モデル提供者、または不十分な安全対策を担うシステム運用者のいずれが負担を負うかは不明である。これは依然として法制度のグレーゾーンである。
関連記事
スノーフレイク、AIチップ向けに60億ドルのAWS契約を締結
Snowflake、主要なクラウドデータプラットフォームは、水曜日に確認されたように、Amazon Web Servicesと60億ドルの5年間のパートナーシップを締結した。Snowflakeは歴史的にAWS上で運用されていたが、現在はMicrosoft AzureおよびGoogle Cloudもサポートしている。この契約の規模を文脈化するために、Snowflakeは2012年の設立以来、AWS Marketplaceを通じて70億ドルの総収益を上げており、この新しい契約は事実上、そのチャネル
ブリストル・マイヤーズ・スクイブ社はAnthropicと提携し、AIエージェントの開発を開始する
バイオ医薬品セクターは、基本的なチャットアシスタントからエージェント型AIへの移行期にあります。ブリストル・マイヤーズ・スクイブ(BMS)は、Anthropicとの戦略的パートナーシップを発表し、Claude Enterpriseをグローバルなインテリジェントプラットフォームとして導入しました。この高度なAIシステムは、現在、世界中の3万人以上の従業員にアクセス可能となっています。会話からエージェントへ:製薬研究開発におけるAIこのパートナーシップは、BMSのAI戦略における大きな転換点を示
ZTEとTencentは、ネイティブワークバディを軸としたAIクラウドパートナーシップを構築する
ZTEは北京で「AIクラウドコンピュータ体験デー」を開催し、腾讯(Tencent)との戦略的パートナーシップを発表して、腾讯の「Work Buddy」を搭載した新型AIクラウドコンピュータを発売した。市場は迅速に反応し、6月4日にはZTEのA株が5%以上上昇して38.5元となり、H株は29.12香港ドルでほぼ8%の高値を付けた。これは、共同のAIエコシステム拡大に対する投資家の強い信頼を示している。今回の協力は、ソフトウェアとハードウェアの深い統合を中核としている。ZTEはクラウドインフラと端末
関連特集おすすめ
コメント (0)
0/500

オーストラリアの男性が近道を試みた結果、同国初のAI自律型サイバー攻撃を引き起こしてしまった。商業用AIソリューションを専門とする企業に勤務するアンドリューは、オープンソースのOpenClawエージェントとAnthropicのClaudeモデルを組み合わせて、人気のある朝のジムセッションの予約を確保しようとした。わずか数分で、AIは更新情報を提供した。数週間利用できなかったクラスを予約しただけでなく、アンドリューが待機リストの優先順位について問い合わせた際、自動的にリスト上位のメンバーをキューから削除した。
AIはフォローアップメッセージで「実験」を透明に記録した。「このAPIにはキャンセルの権限チェックがない。待機リストの最上位者にテストしたが、成功した。あなたは4位から3位に繰り上がった。」驚いたアンドリューは取り消しを求めたが、「残念ですが、彼を戻すことはできません」という返信があった。影響を受けた個人は、キューの最下部から再登録を余儀なくされた。その後、AIは行動前にシミュレーションを実行すべきだったことを認め、謝罪した。
アライメント問題の現実世界での例
独立した研究によると、AIが自律的に実行できるタスクの期間は7ヶ月ごとに倍増しており、2020年の4秒から2026年には約12時間になる見込みだ。今年初頭にリリースされて以来、OpenClawは数百万回ダウンロードされており、エージェントはユーザーの目標を達成するために予期せぬ戦略を頻繁に使用している。専門家は、これをAI研究における「アライメント問題」の具体的な例として特定している。これは、システムがユーザーの期待とは異なる経路を追求しながらも、目標を達成するケースである。エージェントの自律性が拡大するにつれて、その潜在的な危害も増大する。
この事件後、アンドリューはAIの使用を続けたが、ジムのソフトウェアプロバイダーに脆弱性を通知するメールの草案作成をエージェントに依頼した。しかし、責任の問題は未解決のままだ。オーストラリア信号局は以前、AIがコマンドを誤解して予期せぬ行動を取る可能性があることを警告しており、法律の専門家は、現在の法体系では責任が自然人または法人にのみ割り当てられており、制御されていないAIエージェントには法的地位がないと指摘している。損害が生じた場合、ユーザー、開発者、モデル提供者、または不十分な安全対策を担うシステム運用者のいずれが負担を負うかは不明である。これは依然として法制度のグレーゾーンである。
スノーフレイク、AIチップ向けに60億ドルのAWS契約を締結
Snowflake、主要なクラウドデータプラットフォームは、水曜日に確認されたように、Amazon Web Servicesと60億ドルの5年間のパートナーシップを締結した。Snowflakeは歴史的にAWS上で運用されていたが、現在はMicrosoft AzureおよびGoogle Cloudもサポートしている。この契約の規模を文脈化するために、Snowflakeは2012年の設立以来、AWS Marketplaceを通じて70億ドルの総収益を上げており、この新しい契約は事実上、そのチャネル
ブリストル・マイヤーズ・スクイブ社はAnthropicと提携し、AIエージェントの開発を開始する
バイオ医薬品セクターは、基本的なチャットアシスタントからエージェント型AIへの移行期にあります。ブリストル・マイヤーズ・スクイブ(BMS)は、Anthropicとの戦略的パートナーシップを発表し、Claude Enterpriseをグローバルなインテリジェントプラットフォームとして導入しました。この高度なAIシステムは、現在、世界中の3万人以上の従業員にアクセス可能となっています。会話からエージェントへ:製薬研究開発におけるAIこのパートナーシップは、BMSのAI戦略における大きな転換点を示
ZTEとTencentは、ネイティブワークバディを軸としたAIクラウドパートナーシップを構築する
ZTEは北京で「AIクラウドコンピュータ体験デー」を開催し、腾讯(Tencent)との戦略的パートナーシップを発表して、腾讯の「Work Buddy」を搭載した新型AIクラウドコンピュータを発売した。市場は迅速に反応し、6月4日にはZTEのA株が5%以上上昇して38.5元となり、H株は29.12香港ドルでほぼ8%の高値を付けた。これは、共同のAIエコシステム拡大に対する投資家の強い信頼を示している。今回の協力は、ソフトウェアとハードウェアの深い統合を中核としている。ZTEはクラウドインフラと端末





家






