HeimEleutherAI stellt riesigen lizenzierten Textdatensatz für KI-Training vor
EleutherAI, eine führende KI-Forschungsgruppe, hat eine der größten Sammlungen lizenzierter und gemeinfreier Texte für das Training von KI-Modellen veröffentlicht.
Der Datensatz namens Common Pile v0.1, der 8 Terabyte umfasst, wurde über zwei Jahre hinweg in Zusammenarbeit mit den KI-Startups Poolside, Hugging Face und verschiedenen akademischen Institutionen entwickelt. Er wurde verwendet, um zwei neue EleutherAI-Modelle, Comma v0.1-1T und Comma v0.1-2T, zu trainieren, die laut der Organisation die Leistung von Modellen erreichen, die mit nicht lizenzierten, urheberrechtlich geschützten Daten trainiert wurden.
KI-Unternehmen, einschließlich OpenAI, sehen sich rechtlichen Herausforderungen gegenüber, weil sie web-gescrapte Daten, einschließlich urheberrechtlich geschützter Bücher und Zeitschriften, für das Modelltraining verwenden. Während einige Lizenzvereinbarungen mit Inhalteanbietern haben, berufen sich viele auf die US-amerikanische Fair-Use-Doktrin, um das Training mit urheberrechtlich geschütztem Material ohne Erlaubnis zu rechtfertigen.
EleutherAI argumentiert, dass diese Klagen die Transparenz in der KI-Branche erheblich reduziert haben, was die Einblicke in die Funktionsweise und Schwächen von Modellen einschränkt und der breiteren Forschungsgemeinschaft schadet.
„Rechtliche Herausforderungen haben die Praktiken zur Datenbeschaffung für das Modelltraining nicht wesentlich verändert, aber sie haben die Offenheit von KI-Unternehmen stark verringert“, sagte Stella Biderman, Geschäftsführerin von EleutherAI, in einem Blogbeitrag auf Hugging Face am Freitag. „Forscher bei einigen Unternehmen, mit denen wir gesprochen haben, nennen Klagen als Grund, warum sie ihre datenzentrierte Forschung nicht teilen können.“
Der Common Pile v0.1, verfügbar auf der KI-Plattform von Hugging Face und GitHub, wurde mit rechtlicher Beratung entwickelt und umfasst Quellen wie 300.000 gemeinfreie Bücher, die von der Library of Congress und dem Internet Archive digitalisiert wurden. EleutherAI nutzte auch das Whisper-Modell von OpenAI, um Audioinhalte zu transkribieren.
EleutherAI behauptet, dass Comma v0.1-1T und Comma v0.1-2T die Qualität des Common Pile v0.1 demonstrieren und Entwicklern ermöglichen, Modelle zu erstellen, die mit proprietären Systemen konkurrieren können. Beide Modelle, mit 7 Milliarden Parametern und trainiert auf einem Teil des Datensatzes, rivalisieren mit dem ursprünglichen Llama-Modell von Meta in den Bereichen Programmierung, Bildverständnis und mathematischen Benchmarks.
Sparen Sie über 200 $ bei Ihrem TechCrunch All Stage Pass
Intelligenter innovieren. Schneller wachsen. Tiefer vernetzen. Verbinden Sie sich mit Visionären von Precursor Ventures, NEA, Index Ventures, Underscore VC und mehr für einen Tag voller Einblicke, Workshops und wertvoller Verbindungen.
Sparen Sie über 200 $ bei Ihrem TechCrunch All Stage Pass
Intelligenter innovieren. Schneller wachsen. Tiefer vernetzen. Verbinden Sie sich mit Visionären von Precursor Ventures, NEA, Index Ventures, Underscore VC und mehr für einen Tag voller Einblicke, Workshops und wertvoller Verbindungen.
Boston, MA | 15. Juli JETZT REGISTRIERENParameter, oft als Gewichte bezeichnet, sind die internen Elemente eines KI-Modells, die sein Verhalten und seine Reaktionen prägen.
„Die Annahme, dass nicht lizenzierter Text für hohe Leistung unerlässlich ist, ist unbegründet“, erklärte Biderman in ihrem Beitrag. „Da offen lizenzierte und gemeinfreie Daten zugänglicher werden, erwarten wir erhebliche Verbesserungen bei Modellen, die mit solchen Inhalten trainiert werden.“
Der Common Pile v0.1 beantwortet teilweise die früheren Kontroversen von EleutherAI. Vor Jahren veröffentlichte die Gruppe The Pile, einen offenen Datensatz, der urheberrechtlich geschütztes Material enthielt, was Kritik und rechtliche Prüfungen für dessen Verwendung im KI-Training nach sich zog.
EleutherAI verpflichtet sich, regelmäßig offene Datensätze zu veröffentlichen und mit Forschungs- und Infrastrukturpartnern zusammenzuarbeiten.
Aktualisiert um 9:48 Uhr Pazifischer Zeit: Biderman bemerkte auf X, dass EleutherAI zum Datensatz und der Modellfreigabe beigetragen hat, mit erheblicher Beteiligung von Partnern wie der University of Toronto, die die Forschung mitgeleitet hat.
Verwandter Artikel
Anthropic erweitert die Claude KI-Coding-Tools in Japan im Rahmen der Bemühungen um internationales Wachstum
Anthropic, ein führendes US-amerikalisches Unternehmen für künstliche Intelligenz, intensiviert seine globalen Outreach-Bemühungen. Am Mittwoch veranstaltete das Unternehmen in Tokio eine große Entwicklerkonferenz namens „Code with Claude“, an der kn
Indiens Software-Riese stellt weniger ein, verspricht aber keine Entlassungen, während KI-Agenten ausgebaut werden
Während die künstliche Intelligenz traditionelle, arbeitsintensive Geschäftsmodelle neu gestaltet, hat Tata Consultancy Services (TCS), ein führendes indisches Software-Outsourcing-Unternehmen, seine strategische Antwort vorgestellt. Während der jähr
China sperrt KI-Modelle während des Gaokam, um sofortige Hausaufgabenhilfe zu blockieren
Mit dem sich dem 2026-Gaokao schnell nähernden Termin haben Gerüchte über die Sperrung von KI-Tools während der Prüfungsphase eine intensive Online-Debatte entfacht. Als Reaktion auf die öffentlichen Bedenken haben große KI-Plattformen und Bildungs-A
Empfehlungen zu verwandten Spezialthemen
Design & Kunst
Die besten KI-Tools für den Stiltransfer für kreative Experimente
Die besten und am besten bewerteten KI-Tools für den Stiltransfer im Jahr 2026 – ideal für kreative Experimente! XIX.AI hat eine leistungsstarke, bahnbrechende Sammlung unverzichtbarer Tools zusammengestellt, die in Praxistests und strengen Bewertungen außergewöhnliche Ergebnisse liefern. Diese Top-Lösungen helfen Kreativen dabei, ihre Produktivität deutlich zu steigern, indem sie die Erstellung von Inhalten beschleunigen und unendliche kreative Möglichkeiten eröffnen. Entdecken Sie jetzt Ihr perfektes Tool und legen Sie noch heute los!
9 Tools
xix.ai
Comic-Erstellung
Die besten KI-Tools für Sprechblasen zum visuellen Geschichtenerzählen
Die besten und am besten bewerteten KI-Tools für Sprechblasen zum visuellen Storytelling des Jahres 2026 finden Sie hier auf XIX.AI! Diese sorgfältig zusammengestellte Sammlung umfasst leistungsstarke, bahnbrechende Tools, die Kreativen dabei helfen, ihre Produktivität zu steigern und kreative Blockaden zu überwinden. Holen Sie sich einen Vergleich zwischen kostenlosen und kostenpflichtigen Angeboten, sehen Sie sich Praxistests an und werfen Sie einen Blick auf die aktuellen Rankings, um die unverzichtbaren Lösungen zu finden, die sich perfekt für die Gestaltung fesselnder visueller Erzählungen eignen. Stöbern Sie jetzt und entdecken Sie Ihr ideales Tool!
10 Tools
xix.ai
Besprechungsassistent
Die besten Tools zur Zusammenfassung von KI-Meetings: Entscheidungen und Folgemaßnahmen übersichtlich nachverfolgen
Die besten und am besten bewerteten KI-Tools zur Zusammenfassung von Besprechungen im Jahr 2026 für eine übersichtliche Nachverfolgung von Entscheidungen und müheloses Follow-up. Diese sorgfältig zusammengestellte Liste präsentiert leistungsstarke, bahnbrechende Lösungen, die die Produktivität drastisch steigern, indem sie Besprechungsnotizen automatisieren, wichtige Aktionspunkte identifizieren und die Teamkoordination projektübergreifend optimieren. Erhalten Sie einen Vergleich zwischen kostenlosen und kostenpflichtigen Angeboten sowie Praxistests und wöchentlich aktualisierte Rankings, die Ihnen helfen, das perfekte Tool zu finden. Entdecken Sie es jetzt und nutzen Sie Ihren KI-Vorteil!
9 Tools
xix.ai
Datenanalyse
Die besten Tools für die KI-gestützte Datenreinigung: Fehlende Werte und Duplikate schnell beheben
2026 – Die neuesten, besten und am höchsten bewerteten Tools für die Reinigung von KI-Daten, um fehlende Werte sowie Duplikate schnell zu beheben. Diese sorgfältig zusammengestellte Liste präsentiert leistungsstarke Lösungen, die die Produktivität erheblich steigern. Jedes Tool wurde in der Praxis gründlich getestet, um seine Zuverlässigkeit zu gewährleisten. Holen Sie sich einen kostenlosen Vergleich zwischen kostenloser und kostenpflichtiger Variante und entdecken Sie das für Ihre Bedürfnisse beste Tool. Entdecken Sie es jetzt auf XIX.AI, um Ihren Vorteil in der KI-Branche zu erlangen.
11 Tools
xix.ai
Design & Kunst
Die besten KI-gestützten Kreativwerkzeuge für Künstler: Den Durchbruch durch visuelle Blockaden
2026 Neueste Besten Top-Bewerteten KI-Kreativitäts-Tools für Künstler wurden von XIX.AI kuratiert, um Kreativen zu helfen, visuelle Blockaden zu durchbrechen und die Kreativität sofort zu steigern. Diese leistungsstarken, bahnbrechenden Tools bieten reale Tests, detaillierte kostenlose vs. kostenpflichtige Vergleiche und wöchentlich aktualisierte Rankings. Entdecken Sie Ihr perfektes Tool, um die Content-Erstellung zu beschleunigen und Ihren KI-Vorteil noch heute freizuschalten. Jetzt erkunden!
14 Tools
xix.ai
Musikkomposition
KI-Beat-Maker für TikTok-Hintergrundmusik, Reels-Audio und Werbemusik für Creator
Die besten KI-Beat-Generatoren 2026 für TikTok-Hintergrundtracks, Reels-Audio und Promo-Musik für Creator! XIX.AI hat eine Liste der besten Tools zusammengestellt, die bahnbrechende Funktionen bieten und in der Praxis getestet wurden, um makellose Musik für jeden Content-Bedarf zu liefern. Hier findest du detaillierte Vergleichsdaten zu kostenlosen und kostenpflichtigen Angeboten, wöchentlich aktualisierte Rankings sowie Optionen, die du unbedingt ausprobieren solltest, um deine Kreativität und Produktivität zu steigern. Entdecke jetzt das perfekte Tool für dich!
11 Tools
xix.ai
Kommentare (2)
![NicholasLewis]()
Наконец-то качественные данные для обучения ИИ! 😄 Но интересно, как это повлияет на конкуренцию между OpenAI и другими компаниями. Может, скоро увидим более умные модели?
![RyanLopez]()
Wow, 8 terabytes of legally licensed text is a game-changer! It's fantastic to see more high-quality, transparent data becoming available. This should really help push open-source AI models forward and maybe even challenge some of the big players who rely on murkier data sources. Hopefully, it leads to more reliable and ethically-sound systems. Can't wait to see what gets built on this! 🚀
EleutherAI, eine führende KI-Forschungsgruppe, hat eine der größten Sammlungen lizenzierter und gemeinfreier Texte für das Training von KI-Modellen veröffentlicht.
Der Datensatz namens Common Pile v0.1, der 8 Terabyte umfasst, wurde über zwei Jahre hinweg in Zusammenarbeit mit den KI-Startups Poolside, Hugging Face und verschiedenen akademischen Institutionen entwickelt. Er wurde verwendet, um zwei neue EleutherAI-Modelle, Comma v0.1-1T und Comma v0.1-2T, zu trainieren, die laut der Organisation die Leistung von Modellen erreichen, die mit nicht lizenzierten, urheberrechtlich geschützten Daten trainiert wurden.
KI-Unternehmen, einschließlich OpenAI, sehen sich rechtlichen Herausforderungen gegenüber, weil sie web-gescrapte Daten, einschließlich urheberrechtlich geschützter Bücher und Zeitschriften, für das Modelltraining verwenden. Während einige Lizenzvereinbarungen mit Inhalteanbietern haben, berufen sich viele auf die US-amerikanische Fair-Use-Doktrin, um das Training mit urheberrechtlich geschütztem Material ohne Erlaubnis zu rechtfertigen.
EleutherAI argumentiert, dass diese Klagen die Transparenz in der KI-Branche erheblich reduziert haben, was die Einblicke in die Funktionsweise und Schwächen von Modellen einschränkt und der breiteren Forschungsgemeinschaft schadet.
„Rechtliche Herausforderungen haben die Praktiken zur Datenbeschaffung für das Modelltraining nicht wesentlich verändert, aber sie haben die Offenheit von KI-Unternehmen stark verringert“, sagte Stella Biderman, Geschäftsführerin von EleutherAI, in einem Blogbeitrag auf Hugging Face am Freitag. „Forscher bei einigen Unternehmen, mit denen wir gesprochen haben, nennen Klagen als Grund, warum sie ihre datenzentrierte Forschung nicht teilen können.“
Der Common Pile v0.1, verfügbar auf der KI-Plattform von Hugging Face und GitHub, wurde mit rechtlicher Beratung entwickelt und umfasst Quellen wie 300.000 gemeinfreie Bücher, die von der Library of Congress und dem Internet Archive digitalisiert wurden. EleutherAI nutzte auch das Whisper-Modell von OpenAI, um Audioinhalte zu transkribieren.
EleutherAI behauptet, dass Comma v0.1-1T und Comma v0.1-2T die Qualität des Common Pile v0.1 demonstrieren und Entwicklern ermöglichen, Modelle zu erstellen, die mit proprietären Systemen konkurrieren können. Beide Modelle, mit 7 Milliarden Parametern und trainiert auf einem Teil des Datensatzes, rivalisieren mit dem ursprünglichen Llama-Modell von Meta in den Bereichen Programmierung, Bildverständnis und mathematischen Benchmarks.
Sparen Sie über 200 $ bei Ihrem TechCrunch All Stage Pass
Intelligenter innovieren. Schneller wachsen. Tiefer vernetzen. Verbinden Sie sich mit Visionären von Precursor Ventures, NEA, Index Ventures, Underscore VC und mehr für einen Tag voller Einblicke, Workshops und wertvoller Verbindungen.
Sparen Sie über 200 $ bei Ihrem TechCrunch All Stage Pass
Intelligenter innovieren. Schneller wachsen. Tiefer vernetzen. Verbinden Sie sich mit Visionären von Precursor Ventures, NEA, Index Ventures, Underscore VC und mehr für einen Tag voller Einblicke, Workshops und wertvoller Verbindungen.
Boston, MA | 15. Juli JETZT REGISTRIERENParameter, oft als Gewichte bezeichnet, sind die internen Elemente eines KI-Modells, die sein Verhalten und seine Reaktionen prägen.
„Die Annahme, dass nicht lizenzierter Text für hohe Leistung unerlässlich ist, ist unbegründet“, erklärte Biderman in ihrem Beitrag. „Da offen lizenzierte und gemeinfreie Daten zugänglicher werden, erwarten wir erhebliche Verbesserungen bei Modellen, die mit solchen Inhalten trainiert werden.“
Der Common Pile v0.1 beantwortet teilweise die früheren Kontroversen von EleutherAI. Vor Jahren veröffentlichte die Gruppe The Pile, einen offenen Datensatz, der urheberrechtlich geschütztes Material enthielt, was Kritik und rechtliche Prüfungen für dessen Verwendung im KI-Training nach sich zog.
EleutherAI verpflichtet sich, regelmäßig offene Datensätze zu veröffentlichen und mit Forschungs- und Infrastrukturpartnern zusammenzuarbeiten.
Aktualisiert um 9:48 Uhr Pazifischer Zeit: Biderman bemerkte auf X, dass EleutherAI zum Datensatz und der Modellfreigabe beigetragen hat, mit erheblicher Beteiligung von Partnern wie der University of Toronto, die die Forschung mitgeleitet hat.
Anthropic erweitert die Claude KI-Coding-Tools in Japan im Rahmen der Bemühungen um internationales Wachstum
Anthropic, ein führendes US-amerikalisches Unternehmen für künstliche Intelligenz, intensiviert seine globalen Outreach-Bemühungen. Am Mittwoch veranstaltete das Unternehmen in Tokio eine große Entwicklerkonferenz namens „Code with Claude“, an der kn
Indiens Software-Riese stellt weniger ein, verspricht aber keine Entlassungen, während KI-Agenten ausgebaut werden
Während die künstliche Intelligenz traditionelle, arbeitsintensive Geschäftsmodelle neu gestaltet, hat Tata Consultancy Services (TCS), ein führendes indisches Software-Outsourcing-Unternehmen, seine strategische Antwort vorgestellt. Während der jähr
China sperrt KI-Modelle während des Gaokam, um sofortige Hausaufgabenhilfe zu blockieren
Mit dem sich dem 2026-Gaokao schnell nähernden Termin haben Gerüchte über die Sperrung von KI-Tools während der Prüfungsphase eine intensive Online-Debatte entfacht. Als Reaktion auf die öffentlichen Bedenken haben große KI-Plattformen und Bildungs-A
Die besten und am besten bewerteten KI-Tools für den Stiltransfer im Jahr 2026 – ideal für kreative Experimente! XIX.AI hat eine leistungsstarke, bahnbrechende Sammlung unverzichtbarer Tools zusammengestellt, die in Praxistests und strengen Bewertungen außergewöhnliche Ergebnisse liefern. Diese Top-Lösungen helfen Kreativen dabei, ihre Produktivität deutlich zu steigern, indem sie die Erstellung von Inhalten beschleunigen und unendliche kreative Möglichkeiten eröffnen. Entdecken Sie jetzt Ihr perfektes Tool und legen Sie noch heute los!
9 Tools
xix.ai
Die besten und am besten bewerteten KI-Tools für Sprechblasen zum visuellen Storytelling des Jahres 2026 finden Sie hier auf XIX.AI! Diese sorgfältig zusammengestellte Sammlung umfasst leistungsstarke, bahnbrechende Tools, die Kreativen dabei helfen, ihre Produktivität zu steigern und kreative Blockaden zu überwinden. Holen Sie sich einen Vergleich zwischen kostenlosen und kostenpflichtigen Angeboten, sehen Sie sich Praxistests an und werfen Sie einen Blick auf die aktuellen Rankings, um die unverzichtbaren Lösungen zu finden, die sich perfekt für die Gestaltung fesselnder visueller Erzählungen eignen. Stöbern Sie jetzt und entdecken Sie Ihr ideales Tool!
10 Tools
xix.ai
Die besten und am besten bewerteten KI-Tools zur Zusammenfassung von Besprechungen im Jahr 2026 für eine übersichtliche Nachverfolgung von Entscheidungen und müheloses Follow-up. Diese sorgfältig zusammengestellte Liste präsentiert leistungsstarke, bahnbrechende Lösungen, die die Produktivität drastisch steigern, indem sie Besprechungsnotizen automatisieren, wichtige Aktionspunkte identifizieren und die Teamkoordination projektübergreifend optimieren. Erhalten Sie einen Vergleich zwischen kostenlosen und kostenpflichtigen Angeboten sowie Praxistests und wöchentlich aktualisierte Rankings, die Ihnen helfen, das perfekte Tool zu finden. Entdecken Sie es jetzt und nutzen Sie Ihren KI-Vorteil!
9 Tools
xix.ai
2026 – Die neuesten, besten und am höchsten bewerteten Tools für die Reinigung von KI-Daten, um fehlende Werte sowie Duplikate schnell zu beheben. Diese sorgfältig zusammengestellte Liste präsentiert leistungsstarke Lösungen, die die Produktivität erheblich steigern. Jedes Tool wurde in der Praxis gründlich getestet, um seine Zuverlässigkeit zu gewährleisten. Holen Sie sich einen kostenlosen Vergleich zwischen kostenloser und kostenpflichtiger Variante und entdecken Sie das für Ihre Bedürfnisse beste Tool. Entdecken Sie es jetzt auf XIX.AI, um Ihren Vorteil in der KI-Branche zu erlangen.
11 Tools
xix.ai
2026 Neueste Besten Top-Bewerteten KI-Kreativitäts-Tools für Künstler wurden von XIX.AI kuratiert, um Kreativen zu helfen, visuelle Blockaden zu durchbrechen und die Kreativität sofort zu steigern. Diese leistungsstarken, bahnbrechenden Tools bieten reale Tests, detaillierte kostenlose vs. kostenpflichtige Vergleiche und wöchentlich aktualisierte Rankings. Entdecken Sie Ihr perfektes Tool, um die Content-Erstellung zu beschleunigen und Ihren KI-Vorteil noch heute freizuschalten. Jetzt erkunden!
14 Tools
xix.ai
Die besten KI-Beat-Generatoren 2026 für TikTok-Hintergrundtracks, Reels-Audio und Promo-Musik für Creator! XIX.AI hat eine Liste der besten Tools zusammengestellt, die bahnbrechende Funktionen bieten und in der Praxis getestet wurden, um makellose Musik für jeden Content-Bedarf zu liefern. Hier findest du detaillierte Vergleichsdaten zu kostenlosen und kostenpflichtigen Angeboten, wöchentlich aktualisierte Rankings sowie Optionen, die du unbedingt ausprobieren solltest, um deine Kreativität und Produktivität zu steigern. Entdecke jetzt das perfekte Tool für dich!
11 Tools
xix.ai
Наконец-то качественные данные для обучения ИИ! 😄 Но интересно, как это повлияет на конкуренцию между OpenAI и другими компаниями. Может, скоро увидим более умные модели?
Wow, 8 terabytes of legally licensed text is a game-changer! It's fantastic to see more high-quality, transparent data becoming available. This should really help push open-source AI models forward and maybe even challenge some of the big players who rely on murkier data sources. Hopefully, it leads to more reliable and ethically-sound systems. Can't wait to see what gets built on this! 🚀
