オプション
ニュース
EleutherAIがAIトレーニング用の大規模ライセンステキストデータセットを公開

EleutherAIがAIトレーニング用の大規模ライセンステキストデータセットを公開

2025年8月30日
128

EleutherAIがAIトレーニング用の大規模ライセンステキストデータセットを公開

EleutherAI、主要なAI研究グループは、AIモデルトレーニング用の最大規模のライセンスおよびオープンドメインテキストのコレクションを公開しました。

Common Pile v0.1と名付けられたこの8テラバイトのデータセットは、AIスタートアップのPoolside、Hugging Face、およびさまざまな学術機関と協力して2年間で開発されました。このデータセットは、EleutherAIの新しいモデルComma v0.1-1TおよびComma v0.1-2Tのトレーニングに使用され、組織はこれらのモデルが無許可の著作権付きデータでトレーニングされたモデルと同等の性能を発揮すると主張しています。

OpenAIを含むAI企業は、著作権付きの本やジャーナルを含むウェブスクレイピングデータを使用したモデルトレーニングに関する法的挑戦に直面しています。一部はコンテンツプロバイダーとライセンス契約を結んでいますが、多くは米国のフェアユース原則に依存して、許可なく著作権付き素材でトレーニングを行っています。

EleutherAIは、これらの訴訟がAI業界の透明性を大幅に低下させ、モデルの機能や弱点への洞察を制限し、広範な研究コミュニティに悪影響を及ぼしていると主張しています。

「法的挑戦はモデルトレーニングのデータ調達慣行を大きく変えていませんが、AI企業の公開性を劇的に減らしました」と、EleutherAIのエグゼクティブディレクターであるステラ・ビダーマンは、金曜日のHugging Faceのブログ投稿で述べました。「我々が話した一部の企業の研究者は、訴訟を理由にデータ中心の研究を共有できないと述べています。」

Common Pile v0.1は、Hugging FaceのAIプラットフォームおよびGitHubで利用可能で、法律相談を受けて開発され、米国議会図書館やインターネットアーカイブによってデジタル化された30万冊の公共ドメインの本などのソースが含まれています。EleutherAIはまた、OpenAIのWhisperモデルを使用してオーディオコンテンツを文字起こししました。

EleutherAIは、Comma v0.1-1TおよびComma v0.1-2TがCommon Pile v0.1の品質を示し、開発者が独自システムと競争力のあるモデルを作成できると主張しています。両モデルは、70億のパラメータを持ち、データセットの一部でトレーニングされ、Metaの元のLlamaモデルとコーディング、画像理解、数学ベンチマークで競合します。

TechCrunch All Stage Passで200ドル以上節約

よりスマートに革新。より早く成長。より深くネットワーク。Precursor Ventures、NEA、Index Ventures、Underscore VCなどのビジョナリーとつながり、洞察、ワークショップ、貴重なコネクションの1日を過ごしましょう。

TechCrunch All Stage Passで200ドル以上節約

よりスマートに革新。より早く成長。より深くネットワーク。Precursor Ventures、NEA、Index Ventures、Underscore VCなどのビジョナリーとつながり、洞察、ワークショップ、貴重なコネクションの1日を過ごしましょう。

ボストン、MA | 7月15日 いますぐ登録

パラメータ、しばしばウェイトと呼ばれるものは、AIモデルの動作や応答を形作る内部要素です。

「無許可のテキストが高性能に不可欠だという考えは根拠がありません」とビダーマンは投稿で述べました。「公開ライセンスや公共ドメインのデータがよりアクセスしやすくなるにつれて、そのようなコンテンツでトレーニングされたモデルが大幅に改善すると予想しています。」

Common Pile v0.1は、EleutherAIの過去の論争の一部に対処しています。数年前、グループは著作権付き素材を含むオープンデータセットThe Pileを公開し、AIトレーニングでの使用に対して批判と法的精査を受けました。

EleutherAIは、研究およびインフラのパートナーと協力して、オープンデータセットをより定期的に公開することを約束しています。

太平洋時間午前9:48更新: ビダーマンはXで、EleutherAIがデータセットとモデルの公開に貢献し、トロント大学などのパートナーが研究を共同主導したと述べました。

関連記事
AppleのスマートグラスはWWDC27でデビューする可能性があり、プライバシー保護を強調している AppleのスマートグラスはWWDC27でデビューする可能性があり、プライバシー保護を強調している Bloombergのマーク・ガーマン氏によると、Appleのスマートグラス(コードネームN50)は2027年6月のWWDC27で初公開され、2027年秋に小売店での発売が予定されている。当初は今年後半から2027年初頭にかけての発売が目標だったが、製品のさらなる洗練とプライバシー保護プロトコルの強化を可能にするため、発売時期が延期された。プライバシーはAppleのスマートグラス戦略の中核的な柱である。Metaなどの競合他社をめぐるプライバシー論争から教訓を得て、Appleは堅牢な機能とポリシー
内部詳細が明かされた次世代ジェミニ:計算リソースの逼迫、開発チーム間で優先順位とリソース配分を巡り意見が割れた 内部詳細が明かされた次世代ジェミニ:計算リソースの逼迫、開発チーム間で優先順位とリソース配分を巡り意見が割れた 報告によると、Googleの次世代Geminiモデルの発売は延期された。開発の優先順位とリソース配分をめぐる社内での意見の相違、限られた計算能力、複雑な承認手続きが重なり、2ヶ月の延期を余儀なくされた。独自開発のTPUチップを所有しているものの、モデルのトレーニング、Google Cloudサービス、多数の消費者向けおよび企業向けAIアプリケーションからの競合する需要により、Googleは計算資源の不足に直面している。上層部は現在、組織再編成を通じてこれらの部門間の対立に対処している。同時に、リ
OpenAI、成長鈍化への懸念を退け、複数の事業部門が加速していると表明 OpenAI、成長鈍化への懸念を退け、複数の事業部門が加速していると表明 外部からの販売成長の鈍化や社内目標の未達に関する scrutiny に対応し、AI リーダーである OpenAI は 4 月 28 日(火曜日)、自信に満ちた声明を発表した。同社は、消費者向け製品とエンタープライズサービスが急速に進展しており、最近のビジネス減速に関する憶測を直接否定していると明らかにした。同社が「複数の社内目標を逸脱した」とする主張に対し、OpenAI はこれらの報道を「典型的なクリックベイト」と一蹴した。同社は、AI 統合に対する堅調なエンタープライズ需要を強調し、広告施策
関連特集おすすめ
作曲 曲のドラフト作成に最適なAIメロディ作成ツール
曲のドラフト作成に最適なAIメロディ作成ツール

2026年最新版 高評価のAIメロディ作成ツールで曲のドラフト作成!XIX.AIは、厳格な実世界テストを経て最高の作成体験を提供する、革新的な強力なコレクションを厳選しました。詳細な無料版と有料版の比較、正確なランキング、そして素晴らしい曲のドラフトを楽に作成し、創造的な生産性を大幅に向上させるためにぜひ試すべきオプションが見つかります。今すぐ探索して、あなたに最適なツールを見つけましょう!

8 ツール
xix.ai
チャットボット 面接練習用のベストなAI会話トレーニングツール
面接練習用のベストなAI会話トレーニングツール

2026年最新版・最高評価のAI会話トレーニングツールが、面接練習に最適です。XIX.AIにてご提供しています!この厳選コレクションには、現実世界での厳格なテストを経て正確なフィードバックを提供する強力なツールが含まれています。無料版と有料版の比較や詳細なランキングをご覧いただき、自信とスキルを高めるための必須オプションをお選びください。今すぐ探索して、面接成功に最適なツールを見つけましょう!

12 ツール
xix.ai
デザインとアート クリエイティブな実験に最適なAIスタイル転送ツール
クリエイティブな実験に最適なAIスタイル転送ツール

2026年版 クリエイティブな実験に最適な、最新・最高評価のAIスタイル転送ツール!XIX.AIは、実地テストと厳格なランキングを通じて卓越した結果をもたらす、強力で画期的な「必試」ツールを厳選しました。これらのトップソリューションは、コンテンツ制作を加速させ、無限の創造的可能性を切り拓くことで、クリエイターの生産性を大幅に向上させます。 今すぐチェックして、あなたにぴったりのツールを見つけ、今日から創作を始めましょう!

9 ツール
xix.ai
漫画制作 ビジュアルストーリーテリングに最適なAI吹き出しツール
ビジュアルストーリーテリングに最適なAI吹き出しツール

2026年版、ビジュアルストーリーテリングに最適な高評価AIダイアログバブルツールがXIX.AIに登場!この厳選コレクションには、クリエイターの生産性を高め、創作上のボトルネックを解消する、画期的な強力ツールが揃っています。 無料版と有料版の比較、実地テストの結果、最新のランキングを確認して、魅力的なビジュアルストーリーを構築するのに最適な、ぜひ試すべきソリューションを見つけましょう。今すぐチェックして、あなたにぴったりのツールを発見してください!

10 ツール
xix.ai
ミーティングアシスタント AI会議要約ツールのトップ選定:決定事項とフォローアップを明確に把握
AI会議要約ツールのトップ選定:決定事項とフォローアップを明確に把握

2026年版:意思決定の追跡を明確にし、フォローアップを容易にする、高評価のAI会議要約ツールベストセレクション。この厳選リストでは、会議メモの自動化、重要なアクション項目の特定、すべてのプロジェクトにわたるチーム連携の効率化を通じて、生産性を劇的に向上させる、強力で画期的なソリューションをご紹介します。 無料版と有料版の比較、実地テストの結果、毎週更新されるランキングを参考に、最適なツールを見つけてください。今すぐチェックして、AIの力を最大限に活用しましょう!

9 ツール
xix.ai
データ分析 最強のAIデータクリーニングツール:欠損値や重複データを迅速に修正
最強のAIデータクリーニングツール:欠損値や重複データを迅速に修正

2026年最新かつ最も評価の高いAIデータクリーニングツールをご紹介。欠損値や重複データを迅速に修正できるこれらのツールは、生産性を大幅に向上させる強力なソリューションです。各ツールは信頼性を確保するため、厳格な実環境でのテストを経ています。無料版と有料版の比較情報もご用意しており、あなたのニーズに最も合ったツールを見つけ出せます。今すぐXIX.AIで詳細を確認し、AI活用の強みを最大限に引き出しましょう。

11 ツール
xix.ai
コメント (2)
0/500
NicholasLewis
NicholasLewis 2026年3月10日 19:01:03 JST

Наконец-то качественные данные для обучения ИИ! 😄 Но интересно, как это повлияет на конкуренцию между OpenAI и другими компаниями. Может, скоро увидим более умные модели?

RyanLopez
RyanLopez 2026年2月2日 17:00:51 JST

Wow, 8 terabytes of legally licensed text is a game-changer! It's fantastic to see more high-quality, transparent data becoming available. This should really help push open-source AI models forward and maybe even challenge some of the big players who rely on murkier data sources. Hopefully, it leads to more reliable and ethically-sound systems. Can't wait to see what gets built on this! 🚀

OR