Maison
EleutherAI Dévoile un Ensemble de Données Textuelles Sous Licence Massive pour l'Entraînement d'IA
EleutherAI, un groupe de recherche en IA de premier plan, a lancé l'une des plus grandes collections de textes sous licence et en domaine public pour l'entraînement de modèles d'IA.
Nommé le Common Pile v0.1, cet ensemble de données de 8 téraoctets a été développé sur deux ans avec les startups IA Poolside, Hugging Face, et diverses institutions académiques. Il a été utilisé pour entraîner deux nouveaux modèles d'EleutherAI, Comma v0.1-1T et Comma v0.1-2T, dont l'organisation affirme qu'ils égalent les performances des modèles entraînés sur des données sous copyright non licenciées.
Les entreprises d'IA, y compris OpenAI, font face à des défis juridiques concernant leur utilisation de données extraites du web, y compris des livres et journaux sous copyright, pour l'entraînement de modèles. Bien que certaines aient des accords de licence avec des fournisseurs de contenu, beaucoup s'appuient sur la doctrine américaine du fair use pour justifier l'entraînement sur du matériel sous copyright sans autorisation.
EleutherAI soutient que ces poursuites ont considérablement réduit la transparence dans l'industrie de l'IA, limitant la compréhension des fonctionnalités et des faiblesses des modèles, ce qui nuit à la communauté de recherche au sens large.
« Les défis juridiques n'ont pas significativement modifié les pratiques de sourcing de données pour l'entraînement des modèles, mais ils ont fortement réduit l'ouverture des entreprises d'IA », a déclaré Stella Biderman, directrice exécutive d'EleutherAI, dans un article de blog sur Hugging Face vendredi. « Les chercheurs de certaines entreprises avec lesquelles nous avons parlé citent les poursuites comme la raison pour laquelle ils ne peuvent pas partager leurs recherches axées sur les données. »
Le Common Pile v0.1, disponible sur la plateforme IA de Hugging Face et GitHub, a été développé avec une consultation juridique et inclut des sources comme 300 000 livres du domaine public numérisés par la Bibliothèque du Congrès et l'Internet Archive. EleutherAI a également utilisé le modèle Whisper d'OpenAI pour transcrire du contenu audio.
EleutherAI affirme que Comma v0.1-1T et Comma v0.1-2T démontrent la qualité du Common Pile v0.1, permettant aux développeurs de créer des modèles compétitifs avec des systèmes propriétaires. Les deux modèles, avec 7 milliards de paramètres et entraînés sur une partie de l'ensemble de données, rivalisent avec le modèle Llama original de Meta dans les benchmarks de codage, de compréhension d'images et de mathématiques.
Économisez Plus de 200 $ sur Votre Pass Toutes Étapes TechCrunch
Innovez plus intelligemment. Croissez plus vite. Réseautez plus profondément. Connectez-vous avec des visionnaires de Precursor Ventures, NEA, Index Ventures, Underscore VC, et plus encore pour une journée d'insights, d'ateliers et de connexions précieuses.
Économisez Plus de 200 $ sur Votre Pass Toutes Étapes TechCrunch
Innovez plus intelligemment. Croissez plus vite. Réseautez plus profondément. Connectez-vous avec des visionnaires de Precursor Ventures, NEA, Index Ventures, Underscore VC, et plus encore pour une journée d'insights, d'ateliers et de connexions précieuses.
Boston, MA | 15 juillet INSCRIVEZ-VOUS MAINTENANTLes paramètres, souvent appelés poids, sont les éléments internes d'un modèle d'IA qui façonnent son comportement et ses réponses.
« La croyance que le texte non licencié est essentiel pour des performances élevées est infondée », a déclaré Biderman dans son article. « À mesure que les données sous licence ouverte et du domaine public deviennent plus accessibles, nous anticipons des améliorations significatives dans les modèles entraînés sur ce contenu. »
Le Common Pile v0.1 répond en partie aux controverses passées d'EleutherAI. Il y a des années, le groupe a publié The Pile, un ensemble de données ouvert contenant du matériel sous copyright, qui a suscité des critiques et un examen juridique pour son utilisation dans l'entraînement d'IA.
EleutherAI s'engage à publier des ensembles de données ouverts plus régulièrement, en collaborant avec des partenaires de recherche et d'infrastructure.
Mis à jour à 9h48, heure du Pacifique : Biderman a noté sur X qu'EleutherAI a contribué à la publication de l'ensemble de données et du modèle, avec une implication significative de partenaires comme l'Université de Toronto, qui a co-dirigé la recherche.
Article connexe
Stripe va acquérir OpenRouter alors que le routage basé sur des modèles d'IA prend de l'ampleur
Stripe a conclu un accord en vue d’acquérir OpenRouter, une plateforme de routage de modèles d’IA qui permet aux développeurs d’accéder à des centaines de modèles via une interface unique. Cette acqui
Barrett Zoph, ancien chercheur chez OpenAI, revient chez Google pour contribuer au développement de Gemini
Barret Zoph, qui avait auparavant quitté brusquement l’entreprise pour rejoindre OpenAI en raison d’un désaccord avec Miriam Mularati, PDG de Thinking Machines Lab, a une nouvelle fois changé d’employ
Comment Recursive Intelligence a levé 335 millions de dollars en 4 mois, avec une valorisation de 4 milliards de dollars
Les cofondatrices de la start-up Ricursive Intelligence semblaient destinées à devenir cofondatrices.Anna Goldie, PDG, et Azalia Mirhoseini, directrice technique, sont si connues dans le milieu de l’I
Recommandations de sujets spéciaux liés
Conception et art
Les meilleurs outils d'illustration basés sur l'IA : créez plus rapidement des scènes éditoriales et des illustrations de couverture
Les meilleurs outils d'illustration IA de 2026 : notre sélection regroupe les outils les plus performants pour créer rapidement de superbes scènes éditoriales et des couvertures accrocheuses. Chaque option a été soumise à des tests rigoureux en conditions réelles ; nous vous proposons une comparaison entre les versions gratuites et payantes afin de vous aider à trouver celle qui correspond le mieux à votre flux de travail. Essayez dès aujourd’hui ces solutions incontournables pour exploiter pleinement le potentiel de l’IA et booster votre productivité créative. Découvrez-les dès maintenant sur XIX.AI.
10 outils
xix.ai
Éducation et apprentissage
Les meilleurs professeurs particuliers spécialisés en IA pour la préparation aux examens : entraînez-vous en maths, en sciences et en anglais
Les meilleurs tuteurs IA 2026 les mieux notés pour la préparation aux examens sont disponibles ici, sur XIX.AI ! Notre sélection comprend des outils puissants et révolutionnaires qui proposent une comparaison entre les versions gratuites et payantes, des tests concrets et des classements mis à jour chaque semaine. Ils vous aident à améliorer votre efficacité à l'écrit, à simplifier l'apprentissage de sujets complexes et à libérer votre potentiel académique. Découvrez dès maintenant l'outil de préparation aux examens qui vous convient le mieux et commencez à créer dès aujourd'hui pour exploiter pleinement les avantages de l'IA !
10 outils
xix.ai
Finance
Outils de planification budgétaire par IA pour la gestion personnelle des finances
2026 Derniers Meilleurs Outils de Planification Budgétaire par IA les mieux notés pour la gestion personnelle des finances sont ici sur XIX.AI ! Cette collection soigneusement sélectionnée propose des solutions puissantes et révolutionnaires qui vous aident à réaliser des tests concrets, à comprendre vos habitudes de dépenses et à créer des plans personnalisés pour améliorer votre productivité. Profitez d’une comparaison entre versions gratuites et payantes ainsi que de classements détaillés. Des outils incontournables conçus pour simplifier la gestion financière et exploiter pleinement votre avantage grâce à l’IA. Explorez dès maintenant !
11 outils
xix.ai
Santé et bien-être
Assistants de suivi du sommeil par l’IA : améliorez votre récupération grâce à de meilleures habitudes avant le coucher
2026 : Découvrez les meilleurs assistants de suivi du sommeil basés sur l’IA, hautement notés et récemment mis à jour, conçus pour une récupération optimale. Ce guide hebdomadaire entièrement actualisé présente des outils puissants qui offrent des tests en conditions réelles, des comparaisons entre versions gratuites et payantes, ainsi que des classements détaillés afin de vous aider à trouver la solution idéale pour améliorer la qualité du sommeil et favoriser de meilleures habitudes avant le coucher. Explorez-le dès maintenant sur XIX.AI pour tirer parti des avantages offerts par l’IA.
10 outils
xix.ai
Analyse des données
Copilotes SQL basés sur l'IA pour l'analyse des produits et du chiffre d'affaires
2026 : les meilleurs copilotes SQL IA les mieux notés pour l'analyse des produits et du chiffre d'affaires ! XIX.AI a sélectionné une gamme d’outils puissants et révolutionnaires à essayer absolument, qui sont soumis à des tests en conditions réelles via des classements mis à jour chaque semaine. Ces outils aident les utilisateurs à booster considérablement leur productivité en accélérant l’analyse des données, en simplifiant les requêtes complexes et en générant des informations précises permettant de prendre des décisions commerciales plus éclairées. Explorez-les dès maintenant pour découvrir l’outil idéal qui vous permettra de tirer pleinement parti de l’IA !
14 outils
xix.ai
Éducation et apprentissage
Les meilleurs outils d'aide aux devoirs basés sur l'IA qui enseignent : apprenez les concepts, pas seulement les réponses
2026 : les meilleurs outils d'aide aux devoirs basés sur l'IA, les mieux notés, qui enseignent les concepts fondamentaux et ne se contentent pas de fournir des réponses. Des outils puissants pour les élèves. Une sélection incontournable à ne pas manquer. Mise à jour hebdomadaire. Comparaison entre les versions gratuites et payantes. Tests en conditions réelles. Classements précis pour vous aider à exploiter pleinement votre potentiel d'apprentissage. Explorez dès maintenant pour découvrir l'outil idéal qui vous permettra d'étudier plus efficacement.
10 outils
xix.ai
commentaires (2)
![NicholasLewis]()
Наконец-то качественные данные для обучения ИИ! 😄 Но интересно, как это повлияет на конкуренцию между OpenAI и другими компаниями. Может, скоро увидим более умные модели?
![RyanLopez]()
Wow, 8 terabytes of legally licensed text is a game-changer! It's fantastic to see more high-quality, transparent data becoming available. This should really help push open-source AI models forward and maybe even challenge some of the big players who rely on murkier data sources. Hopefully, it leads to more reliable and ethically-sound systems. Can't wait to see what gets built on this! 🚀
EleutherAI, un groupe de recherche en IA de premier plan, a lancé l'une des plus grandes collections de textes sous licence et en domaine public pour l'entraînement de modèles d'IA.
Nommé le Common Pile v0.1, cet ensemble de données de 8 téraoctets a été développé sur deux ans avec les startups IA Poolside, Hugging Face, et diverses institutions académiques. Il a été utilisé pour entraîner deux nouveaux modèles d'EleutherAI, Comma v0.1-1T et Comma v0.1-2T, dont l'organisation affirme qu'ils égalent les performances des modèles entraînés sur des données sous copyright non licenciées.
Les entreprises d'IA, y compris OpenAI, font face à des défis juridiques concernant leur utilisation de données extraites du web, y compris des livres et journaux sous copyright, pour l'entraînement de modèles. Bien que certaines aient des accords de licence avec des fournisseurs de contenu, beaucoup s'appuient sur la doctrine américaine du fair use pour justifier l'entraînement sur du matériel sous copyright sans autorisation.
EleutherAI soutient que ces poursuites ont considérablement réduit la transparence dans l'industrie de l'IA, limitant la compréhension des fonctionnalités et des faiblesses des modèles, ce qui nuit à la communauté de recherche au sens large.
« Les défis juridiques n'ont pas significativement modifié les pratiques de sourcing de données pour l'entraînement des modèles, mais ils ont fortement réduit l'ouverture des entreprises d'IA », a déclaré Stella Biderman, directrice exécutive d'EleutherAI, dans un article de blog sur Hugging Face vendredi. « Les chercheurs de certaines entreprises avec lesquelles nous avons parlé citent les poursuites comme la raison pour laquelle ils ne peuvent pas partager leurs recherches axées sur les données. »
Le Common Pile v0.1, disponible sur la plateforme IA de Hugging Face et GitHub, a été développé avec une consultation juridique et inclut des sources comme 300 000 livres du domaine public numérisés par la Bibliothèque du Congrès et l'Internet Archive. EleutherAI a également utilisé le modèle Whisper d'OpenAI pour transcrire du contenu audio.
EleutherAI affirme que Comma v0.1-1T et Comma v0.1-2T démontrent la qualité du Common Pile v0.1, permettant aux développeurs de créer des modèles compétitifs avec des systèmes propriétaires. Les deux modèles, avec 7 milliards de paramètres et entraînés sur une partie de l'ensemble de données, rivalisent avec le modèle Llama original de Meta dans les benchmarks de codage, de compréhension d'images et de mathématiques.
Économisez Plus de 200 $ sur Votre Pass Toutes Étapes TechCrunch
Innovez plus intelligemment. Croissez plus vite. Réseautez plus profondément. Connectez-vous avec des visionnaires de Precursor Ventures, NEA, Index Ventures, Underscore VC, et plus encore pour une journée d'insights, d'ateliers et de connexions précieuses.
Économisez Plus de 200 $ sur Votre Pass Toutes Étapes TechCrunch
Innovez plus intelligemment. Croissez plus vite. Réseautez plus profondément. Connectez-vous avec des visionnaires de Precursor Ventures, NEA, Index Ventures, Underscore VC, et plus encore pour une journée d'insights, d'ateliers et de connexions précieuses.
Boston, MA | 15 juillet INSCRIVEZ-VOUS MAINTENANTLes paramètres, souvent appelés poids, sont les éléments internes d'un modèle d'IA qui façonnent son comportement et ses réponses.
« La croyance que le texte non licencié est essentiel pour des performances élevées est infondée », a déclaré Biderman dans son article. « À mesure que les données sous licence ouverte et du domaine public deviennent plus accessibles, nous anticipons des améliorations significatives dans les modèles entraînés sur ce contenu. »
Le Common Pile v0.1 répond en partie aux controverses passées d'EleutherAI. Il y a des années, le groupe a publié The Pile, un ensemble de données ouvert contenant du matériel sous copyright, qui a suscité des critiques et un examen juridique pour son utilisation dans l'entraînement d'IA.
EleutherAI s'engage à publier des ensembles de données ouverts plus régulièrement, en collaborant avec des partenaires de recherche et d'infrastructure.
Mis à jour à 9h48, heure du Pacifique : Biderman a noté sur X qu'EleutherAI a contribué à la publication de l'ensemble de données et du modèle, avec une implication significative de partenaires comme l'Université de Toronto, qui a co-dirigé la recherche.
Stripe va acquérir OpenRouter alors que le routage basé sur des modèles d'IA prend de l'ampleur
Stripe a conclu un accord en vue d’acquérir OpenRouter, une plateforme de routage de modèles d’IA qui permet aux développeurs d’accéder à des centaines de modèles via une interface unique. Cette acqui
Barrett Zoph, ancien chercheur chez OpenAI, revient chez Google pour contribuer au développement de Gemini
Barret Zoph, qui avait auparavant quitté brusquement l’entreprise pour rejoindre OpenAI en raison d’un désaccord avec Miriam Mularati, PDG de Thinking Machines Lab, a une nouvelle fois changé d’employ
Comment Recursive Intelligence a levé 335 millions de dollars en 4 mois, avec une valorisation de 4 milliards de dollars
Les cofondatrices de la start-up Ricursive Intelligence semblaient destinées à devenir cofondatrices.Anna Goldie, PDG, et Azalia Mirhoseini, directrice technique, sont si connues dans le milieu de l’I
Les meilleurs outils d'illustration IA de 2026 : notre sélection regroupe les outils les plus performants pour créer rapidement de superbes scènes éditoriales et des couvertures accrocheuses. Chaque option a été soumise à des tests rigoureux en conditions réelles ; nous vous proposons une comparaison entre les versions gratuites et payantes afin de vous aider à trouver celle qui correspond le mieux à votre flux de travail. Essayez dès aujourd’hui ces solutions incontournables pour exploiter pleinement le potentiel de l’IA et booster votre productivité créative. Découvrez-les dès maintenant sur XIX.AI.
10 outils
xix.ai
Les meilleurs tuteurs IA 2026 les mieux notés pour la préparation aux examens sont disponibles ici, sur XIX.AI ! Notre sélection comprend des outils puissants et révolutionnaires qui proposent une comparaison entre les versions gratuites et payantes, des tests concrets et des classements mis à jour chaque semaine. Ils vous aident à améliorer votre efficacité à l'écrit, à simplifier l'apprentissage de sujets complexes et à libérer votre potentiel académique. Découvrez dès maintenant l'outil de préparation aux examens qui vous convient le mieux et commencez à créer dès aujourd'hui pour exploiter pleinement les avantages de l'IA !
10 outils
xix.ai
2026 Derniers Meilleurs Outils de Planification Budgétaire par IA les mieux notés pour la gestion personnelle des finances sont ici sur XIX.AI ! Cette collection soigneusement sélectionnée propose des solutions puissantes et révolutionnaires qui vous aident à réaliser des tests concrets, à comprendre vos habitudes de dépenses et à créer des plans personnalisés pour améliorer votre productivité. Profitez d’une comparaison entre versions gratuites et payantes ainsi que de classements détaillés. Des outils incontournables conçus pour simplifier la gestion financière et exploiter pleinement votre avantage grâce à l’IA. Explorez dès maintenant !
11 outils
xix.ai
2026 : Découvrez les meilleurs assistants de suivi du sommeil basés sur l’IA, hautement notés et récemment mis à jour, conçus pour une récupération optimale. Ce guide hebdomadaire entièrement actualisé présente des outils puissants qui offrent des tests en conditions réelles, des comparaisons entre versions gratuites et payantes, ainsi que des classements détaillés afin de vous aider à trouver la solution idéale pour améliorer la qualité du sommeil et favoriser de meilleures habitudes avant le coucher. Explorez-le dès maintenant sur XIX.AI pour tirer parti des avantages offerts par l’IA.
10 outils
xix.ai
2026 : les meilleurs copilotes SQL IA les mieux notés pour l'analyse des produits et du chiffre d'affaires ! XIX.AI a sélectionné une gamme d’outils puissants et révolutionnaires à essayer absolument, qui sont soumis à des tests en conditions réelles via des classements mis à jour chaque semaine. Ces outils aident les utilisateurs à booster considérablement leur productivité en accélérant l’analyse des données, en simplifiant les requêtes complexes et en générant des informations précises permettant de prendre des décisions commerciales plus éclairées. Explorez-les dès maintenant pour découvrir l’outil idéal qui vous permettra de tirer pleinement parti de l’IA !
14 outils
xix.ai
2026 : les meilleurs outils d'aide aux devoirs basés sur l'IA, les mieux notés, qui enseignent les concepts fondamentaux et ne se contentent pas de fournir des réponses. Des outils puissants pour les élèves. Une sélection incontournable à ne pas manquer. Mise à jour hebdomadaire. Comparaison entre les versions gratuites et payantes. Tests en conditions réelles. Classements précis pour vous aider à exploiter pleinement votre potentiel d'apprentissage. Explorez dès maintenant pour découvrir l'outil idéal qui vous permettra d'étudier plus efficacement.
10 outils
xix.ai
Наконец-то качественные данные для обучения ИИ! 😄 Но интересно, как это повлияет на конкуренцию между OpenAI и другими компаниями. Может, скоро увидим более умные модели?
Wow, 8 terabytes of legally licensed text is a game-changer! It's fantastic to see more high-quality, transparent data becoming available. This should really help push open-source AI models forward and maybe even challenge some of the big players who rely on murkier data sources. Hopefully, it leads to more reliable and ethically-sound systems. Can't wait to see what gets built on this! 🚀
