AIクローラーはウィキメディアコモンズ帯域幅の需要を50％サージします
ウィキペディアと他の多数のクラウドソースの知識プラットフォームであるウィキメディア財団は、水曜日に、2024年1月以降のウィキメディアコモンズからのマルチメディアダウンロードの帯域幅使用量が50％増加することを発表しました。
「当社のインフラストラクチャは、主要なイベント中に人間からの突然のトラフィックの急増を処理するように設計されていますが、スクレーパーボットからのトラフィックの量は比類のないものであり、リスクとコストが増加します」と投稿は説明します。
Wikimedia Commonsは、オープンライセンスまたはパブリックドメインで利用できる画像、ビデオ、およびオーディオファイルの自由にアクセス可能なハブとして機能します。
より深く掘り下げて、ウィキメディアは、ボットからの最もリソース集約型のトラフィックの65％（消費されたコンテンツの種類によって測定される）が発生することを明らかにしました。しかし、これらのボットは、全体のページビューのわずか35％を占めています。 Wikimediaによると、矛盾は、コンテンツがユーザーに近づいている頻度のキャッシュに起因していますが、ボットがターゲットになることが多い人気の低いコンテンツは、より費用のかかる「コアデータセンター」に保存されます。
「人間の読者は、特定の、しばしば類似したトピックに焦点を当てる傾向がありますが、クローラーボットは、より多くのページを「大量に読み取る」傾向があり、あまり人気のないページを訪問する傾向があります」とウィキメディアは指摘しました。 「これにより、これらの要求がコアデータセンターに転送され、リソース消費コストが大幅に増加します。」
その結果、Wikimedia Foundationのサイト信頼性チームは、日常のユーザーの混乱を防ぐために、これらのクローラーをブロックすることにかなりの時間とリソースを捧げています。これは、財団が争っているエスカレートクラウドコストにも触れていません。
このシナリオは、オープンなインターネットを危険にさらしているより広範なトレンドの一部です。先月、ソフトウェアエンジニアでオープンソースの支持者であるDrewed Devaultは、AI Crawlersが自動化されたトラフィックを阻止することを目的とした「robots.txt」ファイルを露骨に無視していることを嘆きました。同様に、「プラグマティックエンジニア」として知られるGergely Oroszは最近、Metaのような企業のAIスクレイパーがプロジェクトの帯域幅の要求を急いでいることに不満を表明しました。
オープンソースインフラストラクチャは特に脆弱ですが、開発者は創意工夫と決意で対応しています。 TechCrunchは先週、一部のハイテク企業がステップアップしていることを強調しました。たとえば、CloudFlareは、AIが生成されたコンテンツでクローラーを遅くするように設計されたAI Labyrinthを導入しました。
しかし、それは猫とマウスの絶え間ないゲームのままであり、多くの出版社がログインとペイウォールの後ろで後退するように促すかもしれないものであり、最終的に私たち全員に依存しているウェブのオープンな性質を害します。
関連記事
任正非：中国のAI未来とファーウェイの長期戦略
json收起自动换行复制{"content": ",[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object
エージェントAIが2025年にウォール街を凌駕する投資革命を起こす
長年、ウォール街の企業は優れたリソースを活用して株式市場を支配し、利益を形成してきました。今、人工知能（AI）などの最先端技術がその均衡を整えつつあります。エージェントAIは個人投資家に鋭いデータ駆動型の選択を可能にし、2025年にウォール街を上回る可能性があります。この記事では、エージェントAIが投資をどのように変革しているか、収益を高めるための実際的なヒントを紹介します。主なポイントエージェン
Perplexityが先月7億8000万クエリを受信、CEOが語る
json收起自动换行复制{"content": ",[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],,[object Object],— アラビンド・スリニバス (@AravSrinivas)
コメント (10)
0/200
![ThomasJones]()
ThomasJones
2025年4月17日 0:00:00 JST
Wikimedia Commons bandwidth usage up by 50%? 😲 That's insane! I guess all those AI crawlers are hungry for our data. It's cool that Wikimedia is keeping us posted, but man, this is gonna slow things down. Hope they find a way to handle it without messing up our experience! 🤞
0
![RaymondGreen]()
RaymondGreen
2025年4月18日 0:00:00 JST
ウィキメディア・コモンズの帯域使用量が50%増えたって？😲 信じられない！AIクローラーがデータを欲しがってるんだね。ウィキメディアが情報を共有してくれるのはいいけど、これで遅くなるのは嫌だな。ユーザー体験を壊さずに対応できるといいね！🤞
0
![RogerSanchez]()
RogerSanchez
2025年4月17日 0:00:00 JST
위키미디어 커먼즈의 대역폭 사용량이 50% 증가했다고? 😲 믿기지 않아! AI 크롤러들이 우리 데이터를 원하는 거겠지. 위키미디어가 정보를 공유해주는 건 좋지만, 이 때문에 느려지면 곤란해. 사용자 경험을 망치지 않고 해결할 방법을 찾았으면 좋겠어! 🤞
0
![CarlTaylor]()
CarlTaylor
2025年4月17日 0:00:00 JST
O uso de banda do Wikimedia Commons aumentou 50%? 😲 Isso é loucura! Acho que esses rastreadores de IA estão famintos pelos nossos dados. É legal que o Wikimedia nos mantenha informados, mas cara, isso vai atrasar tudo. Espero que eles encontrem uma maneira de lidar com isso sem estragar nossa experiência! 🤞
0
![AlbertLee]()
AlbertLee
2025年4月18日 0:00:00 JST
¿El uso de ancho de banda de Wikimedia Commons aumentó un 50%? 😲 ¡Eso es una locura! Supongo que esos rastreadores de IA están hambrientos de nuestros datos. Es genial que Wikimedia nos mantenga informados, pero hombre, esto va a ralentizar todo. Espero que encuentren una manera de manejarlo sin arruinar nuestra experiencia. 🤞
0
![ThomasHernández]()
ThomasHernández
2025年4月17日 0:00:00 JST
The surge in bandwidth demand by AI crawlers on Wikimedia Commons is insane! It's cool to see AI being used so extensively, but it's also a bit worrying. Hope they find a way to manage it without affecting the user experience too much. 🤔
0
ウィキペディアと他の多数のクラウドソースの知識プラットフォームであるウィキメディア財団は、水曜日に、2024年1月以降のウィキメディアコモンズからのマルチメディアダウンロードの帯域幅使用量が50％増加することを発表しました。
「当社のインフラストラクチャは、主要なイベント中に人間からの突然のトラフィックの急増を処理するように設計されていますが、スクレーパーボットからのトラフィックの量は比類のないものであり、リスクとコストが増加します」と投稿は説明します。
Wikimedia Commonsは、オープンライセンスまたはパブリックドメインで利用できる画像、ビデオ、およびオーディオファイルの自由にアクセス可能なハブとして機能します。
より深く掘り下げて、ウィキメディアは、ボットからの最もリソース集約型のトラフィックの65％（消費されたコンテンツの種類によって測定される）が発生することを明らかにしました。しかし、これらのボットは、全体のページビューのわずか35％を占めています。 Wikimediaによると、矛盾は、コンテンツがユーザーに近づいている頻度のキャッシュに起因していますが、ボットがターゲットになることが多い人気の低いコンテンツは、より費用のかかる「コアデータセンター」に保存されます。
「人間の読者は、特定の、しばしば類似したトピックに焦点を当てる傾向がありますが、クローラーボットは、より多くのページを「大量に読み取る」傾向があり、あまり人気のないページを訪問する傾向があります」とウィキメディアは指摘しました。 「これにより、これらの要求がコアデータセンターに転送され、リソース消費コストが大幅に増加します。」
その結果、Wikimedia Foundationのサイト信頼性チームは、日常のユーザーの混乱を防ぐために、これらのクローラーをブロックすることにかなりの時間とリソースを捧げています。これは、財団が争っているエスカレートクラウドコストにも触れていません。
このシナリオは、オープンなインターネットを危険にさらしているより広範なトレンドの一部です。先月、ソフトウェアエンジニアでオープンソースの支持者であるDrewed Devaultは、AI Crawlersが自動化されたトラフィックを阻止することを目的とした「robots.txt」ファイルを露骨に無視していることを嘆きました。同様に、「プラグマティックエンジニア」として知られるGergely Oroszは最近、Metaのような企業のAIスクレイパーがプロジェクトの帯域幅の要求を急いでいることに不満を表明しました。
オープンソースインフラストラクチャは特に脆弱ですが、開発者は創意工夫と決意で対応しています。 TechCrunchは先週、一部のハイテク企業がステップアップしていることを強調しました。たとえば、CloudFlareは、AIが生成されたコンテンツでクローラーを遅くするように設計されたAI Labyrinthを導入しました。
しかし、それは猫とマウスの絶え間ないゲームのままであり、多くの出版社がログインとペイウォールの後ろで後退するように促すかもしれないものであり、最終的に私たち全員に依存しているウェブのオープンな性質を害します。
任正非：中国のAI未来とファーウェイの長期戦略
json收起自动换行复制{"content": ",[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object
エージェントAIが2025年にウォール街を凌駕する投資革命を起こす
長年、ウォール街の企業は優れたリソースを活用して株式市場を支配し、利益を形成してきました。今、人工知能（AI）などの最先端技術がその均衡を整えつつあります。エージェントAIは個人投資家に鋭いデータ駆動型の選択を可能にし、2025年にウォール街を上回る可能性があります。この記事では、エージェントAIが投資をどのように変革しているか、収益を高めるための実際的なヒントを紹介します。主なポイントエージェン
Perplexityが先月7億8000万クエリを受信、CEOが語る
json收起自动换行复制{"content": ",[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],,[object Object],— アラビンド・スリニバス (@AravSrinivas)
2025年4月17日 0:00:00 JST
Wikimedia Commons bandwidth usage up by 50%? 😲 That's insane! I guess all those AI crawlers are hungry for our data. It's cool that Wikimedia is keeping us posted, but man, this is gonna slow things down. Hope they find a way to handle it without messing up our experience! 🤞
0
2025年4月18日 0:00:00 JST
ウィキメディア・コモンズの帯域使用量が50%増えたって？😲 信じられない！AIクローラーがデータを欲しがってるんだね。ウィキメディアが情報を共有してくれるのはいいけど、これで遅くなるのは嫌だな。ユーザー体験を壊さずに対応できるといいね！🤞
0
2025年4月17日 0:00:00 JST
위키미디어 커먼즈의 대역폭 사용량이 50% 증가했다고? 😲 믿기지 않아! AI 크롤러들이 우리 데이터를 원하는 거겠지. 위키미디어가 정보를 공유해주는 건 좋지만, 이 때문에 느려지면 곤란해. 사용자 경험을 망치지 않고 해결할 방법을 찾았으면 좋겠어! 🤞
0
2025年4月17日 0:00:00 JST
O uso de banda do Wikimedia Commons aumentou 50%? 😲 Isso é loucura! Acho que esses rastreadores de IA estão famintos pelos nossos dados. É legal que o Wikimedia nos mantenha informados, mas cara, isso vai atrasar tudo. Espero que eles encontrem uma maneira de lidar com isso sem estragar nossa experiência! 🤞
0
2025年4月18日 0:00:00 JST
¿El uso de ancho de banda de Wikimedia Commons aumentó un 50%? 😲 ¡Eso es una locura! Supongo que esos rastreadores de IA están hambrientos de nuestros datos. Es genial que Wikimedia nos mantenga informados, pero hombre, esto va a ralentizar todo. Espero que encuentren una manera de manejarlo sin arruinar nuestra experiencia. 🤞
0
2025年4月17日 0:00:00 JST
The surge in bandwidth demand by AI crawlers on Wikimedia Commons is insane! It's cool to see AI being used so extensively, but it's also a bit worrying. Hope they find a way to manage it without affecting the user experience too much. 🤔
0
