집EleutherAI가 AI 훈련을 위한 대규모 라이선스 텍스트 데이터셋 공개
EleutherAI, 선도적인 AI 연구 그룹은 AI 모델 훈련을 위한 가장 큰 라이선스 및 오픈 도메인 텍스트 컬렉션 중 하나를 출시했습니다.
Common Pile v0.1이라는 이름의 이 8테라바이트 데이터셋은 AI 스타트업 Poolside, Hugging Face 및 다양한 학술 기관과 함께 2년 동안 개발되었습니다. 이 데이터셋은 EleutherAI의 두 가지 새로운 모델, Comma v0.1-1T와 Comma v0.1-2T를 훈련시키는 데 사용되었으며, 이 조직은 이 모델들이 라이선스 없이 저작권이 있는 데이터로 훈련된 모델들의 성능과 맞먹는다고 주장합니다.
OpenAI를 포함한 AI 기업들은 웹 스크래핑 데이터를 사용한 모델 훈련, 특히 저작권이 있는 책과 저널을 포함한 데이터 사용으로 인해 법적 도전에 직면해 있습니다. 일부는 콘텐츠 제공자와 라이선스 계약을 맺고 있지만, 많은 기업은 미국의 공정 사용 원칙에 의존하여 허가 없이 저작권이 있는 자료로 훈련을 정당화합니다.
EleutherAI는 이러한 소송들이 AI 산업의 투명성을 크게 감소시켜 모델 기능과 약점에 대한 통찰을 제한하며, 이는 더 넓은 연구 커뮤니티에 해를 끼친다고 주장합니다.
“법적 도전은 모델 훈련을 위한 데이터 소싱 관행을 크게 바꾸지 않았지만, AI 기업의 개방성을 급격히 감소시켰습니다,”라고 EleutherAI의 전무이사인 Stella Biderman이 금요일 Hugging Face 블로그 포스트에서 말했습니다. “우리가 대화한 일부 기업의 연구자들은 소송을 이유로 데이터 중심 연구를 공유할 수 없다고 언급했습니다.”
Hugging Face의 AI 플랫폼과 GitHub에서 제공되는 Common Pile v0.1은 법률 자문을 받아 개발되었으며, 의회 도서관과 인터넷 아카이브가 디지털화한 300,000개의 공공 도메인 책과 같은 소스를 포함합니다. EleutherAI는 또한 OpenAI의 Whisper 모델을 사용하여 오디오 콘텐츠를 전사했습니다.
EleutherAI는 Comma v0.1-1T와 Comma v0.1-2T가 Common Pile v0.1의 품질을 보여주며, 개발자들이 독점 시스템과 경쟁할 수 있는 모델을 만들 수 있게 한다고 주장합니다. 70억 개의 매개변수를 가지며 데이터셋의 일부로 훈련된 두 모델은 Meta의 원래 Llama 모델과 코딩, 이미지 이해, 수학 벤치마크에서 경쟁합니다.
TechCrunch All Stage Pass에서 200달러 이상 절약하세요
더 똑똑하게 혁신하세요. 더 빠르게 성장하세요. 더 깊이 네트워크를 형성하세요. Precursor Ventures, NEA, Index Ventures, Underscore VC 등의 비전가들과 함께 하루 동안의 통찰, 워크숍, 그리고 소중한 연결을 경험하세요.
TechCrunch All Stage Pass에서 200달러 이상 절약하세요
더 똑똑하게 혁신하세요. 더 빠르게 성장하세요. 더 깊이 네트워크를 형성하세요. Precursor Ventures, NEA, Index Ventures, Underscore VC 등의 비전가들과 함께 하루 동안의 통찰, 워크숍, 그리고 소중한 연결을 경험하세요.
Boston, MA | 7월 15일 지금 등록하세요매개변수, 종종 가중치라고 불리는 것은 AI 모델의 행동과 응답을 형성하는 내부 요소입니다.
“라이선스 없는 텍스트가 고성능에 필수적이라는 믿음은 근거가 없습니다,”라고 Biderman이 자신의 포스트에서 말했습니다. “공개적으로 라이선스된 데이터와 공공 도메인 데이터가 더 접근 가능해짐에 따라, 이러한 콘텐츠로 훈련된 모델이 크게 개선될 것으로 기대합니다.”
Common Pile v0.1은 EleutherAI의 과거 논란을 부분적으로 해결합니다. 몇 년 전, 이 그룹은 저작권이 있는 자료를 포함한 오픈 데이터셋인 The Pile을 공개했으며, 이는 AI 훈련에 사용된 것에 대해 비판과 법적 조사를 받았습니다.
EleutherAI는 연구 및 인프라 파트너들과 협력하여 오픈 데이터셋을 더 자주 공개할 것을 약속합니다.
태평양 표준시 오전 9:48 업데이트: Biderman은 X에서 EleutherAI가 데이터셋과 모델 출시에 기여했으며, 토론토 대학교와 같은 파트너들이 연구를 공동으로 이끌며 중요한 역할을 했다고 언급했습니다.
관련 기사
딥마인드 CEO 하사비스: 하루 6시간 수면, 보통 오후 1시경에 활력을 느낍니다
Fortune는 최근 Google DeepMind의 CEO인 데미스 하사비스와의 인터뷰를 소개하며, 그의 비전통적인 휴식 및 생산성 접근 방식을 공개했다. 하사비스는 자신이 매우 적게 잠을 자며, 깨어 있는 시간을 두 개의 명확한 업무 블록으로 구조화한다고 밝혔다.그의 수면 습관에 대해 하사비스는 "6시간을 목표로 하지만, 제 습관은 비정형적입니다. 하루 종일 효과적으로 기능할 수 있습니다."라고 언급했다. 그는 6시간 미만의 수면이 뇌 건강
OpenAI와 Anthropic, 매출 부진 속에서도 시장 점유율 확보 경쟁
최근 OpenAI가 매출 목표를 달성하지 못했다는 보도가 나오면서 이번 주 화요일 기술주에 압박이 가해졌음에도 불구하고, 민간 AI 연구소 투자자들은 여전히 탄탄한 모습을 보이고 있다. 노련한 투자자들은 부정적인 언론 보도에도 불구하고 투자 규모를 줄이지 않을 것이라고 밝혔다.분석가들은 현재의 AI 경쟁이 초기 단계에 불과하다고 보고, “승자 독식” 식의
캘리포니아 자율주행차 규정 준수: 과태료, 지오펜스, 100만 마일의 새로운 시대
Guident는 남부 플로리다에서 AuveTech 셔틀을 운영하며, 자사의 원격 모니터링 기술을 활용해 웨스트 팜비치에서 4마일 구간과 보카 라톤에서 1마일 구간의 노선을 관리하고 있다. | 출처: Guident캘리포니아주는 자율주행차에 대한 규제 환경을 재정의하며, 기술 업계의 “빠르게 움직이고 실패를 감수하라(move fast and break thin
관련 특별 주제 추천
챗봇
언어 연습, 면접 준비 및 일상 유창성을 위한 최고의 AI 역할극 채팅 앱
2026년 최신 최고 인기 AI 역할극 채팅 앱: 언어 연습, 면접 준비 및 일상 유창성을 위한 최고의 선택! XIX.AI는 무료와 유료 비교, 실제 테스트, 매주 업데이트되는 순위 등을 제공하는 강력한 혁신적인 컬렉션을 엄선합니다. 이 필수 도구들은 글쓰기 실력을 향상시키고, 유창성 관련 어려움을 극복하며, 모든 일상 상황에서 의사소통 효율성을 높이는 데 도움을 줍니다. 지금 바로 탐색하여 언어 성장을 위한 완벽한 도구를 발견하세요!
10 도구
xix.ai
음악 작곡
리믹스 제작, 샘플링 준비, 카라오케 마스터 파일 제작을 위한 AI 스템 분리 도구
2026년 최신형으로 선정된 최고 평점의 AI 스템 분리 도구들은 리믹스 제작, 샘플링 준비, 카라오케 녹음에 특화되어 있습니다. 이 강력하고 혁신적인 도구들은 실제 환경에서의 테스트를 거쳐 정밀한 오디오 분리 기능을 제공함으로써 작업 효율성을 크게 향상시켜 줍니다. XIX.AI는 매주 업데이트되는 무료 버전과 유료 버전의 비교 가이드를 제공하여 사용자의 니즈에 가장 적합한 도구를 찾는 데 도움을 줍니다. 지금 바로 확인하여 AI 기술의 잠재력을 최대한 활용해 보세요.
8 도구
xix.ai
데이터 분석
수익 대시보드, 퍼널 분석, 그리고 제품 지표를 위한 AI SQL 코파일럿
2026년 최신 최고의 AI SQL 코파일럿들이 최상위 순위에 올랐습니다! XIX.AI는 매주 업데이트되는 실제 환경 테스트를 위해 강력하고 혁신적인 도구들을 선별하여 제공합니다. 반드시 사용해 보아야 할 이 도구들은 정확한 수익 대시보드를 생성하고, 판매 과정을 분석하며, 제품 관련 지표를 신속하게 추적할 수 있도록 도와 생산성을 크게 향상시켜 줍니다. 데이터 기반 의사결정을 위한 완벽한 도구를 찾아보세요! 238자
9 도구
xix.ai
음악 작곡
노래 초안을 위한 최고의 AI 멜로디 작곡 도구
2026년 최신 최고 인기 AI 멜로디 작곡 도구! XIX.AI는 엄격한 실전 테스트를 거쳐 최고의 작곡 경험을 제공하는 강력한 게임 체인저 컬렉션을 엄선했습니다. 무료와 유료 버전의 상세 비교, 정확한 순위, 그리고 놀라운 노래 초안을 손쉽게 만들고 창의적 생산성을 크게 높일 수 있는 필수 추천 옵션들을 확인할 수 있습니다. 지금 바로 탐색하여 완벽한 도구를 발견하세요!
8 도구
xix.ai
챗봇
면접 연습을 위한 최고의 AI 대화 트레이너 도구
2026년 최신 최고의 평점 높은 AI 대화 트레이너 도구들이 XIX.AI에서 만나보세요! 면접 연습을 위한 이 엄선된 컬렉션은 강력한, 게임 체인저 도구들을 포함하고 있으며, 엄격한 실제 세계 테스트를 거쳐 정확한 피드백을 제공합니다. 무료 대 유료 비교와 상세한 순위표를 찾을 수 있어 자신감과 기술을 향상시킬 수 있는 꼭 시도해봐야 할 옵션을 선택하는 데 도움이 됩니다. 지금 탐색하여 면접 성공을 위한 완벽한 도구를 발견하세요!
12 도구
xix.ai
디자인과 예술
창의적인 실험을 위한 최고의 AI 스타일 변환 도구
2026년 최신, 최고 평점을 받은 창의적 실험을 위한 AI 스타일 변환 도구! XIX.AI는 실제 테스트와 엄격한 평가를 통해 탁월한 결과를 보여주는, 강력하고 판도를 바꿀 만한 ‘꼭 사용해 봐야 할’ 도구들을 엄선했습니다. 이 최고의 솔루션들은 콘텐츠 제작 속도를 높이고 무한한 창의적 가능성을 열어줌으로써 크리에이터들의 생산성을 크게 높여줍니다. 지금 바로 탐색하여 나에게 딱 맞는 도구를 찾아보고, 오늘 바로 창작을 시작해 보세요!
9 도구
xix.ai
의견 (2)
0/500
![NicholasLewis]()
Наконец-то качественные данные для обучения ИИ! 😄 Но интересно, как это повлияет на конкуренцию между OpenAI и другими компаниями. Может, скоро увидим более умные модели?
![RyanLopez]()
Wow, 8 terabytes of legally licensed text is a game-changer! It's fantastic to see more high-quality, transparent data becoming available. This should really help push open-source AI models forward and maybe even challenge some of the big players who rely on murkier data sources. Hopefully, it leads to more reliable and ethically-sound systems. Can't wait to see what gets built on this! 🚀
EleutherAI, 선도적인 AI 연구 그룹은 AI 모델 훈련을 위한 가장 큰 라이선스 및 오픈 도메인 텍스트 컬렉션 중 하나를 출시했습니다.
Common Pile v0.1이라는 이름의 이 8테라바이트 데이터셋은 AI 스타트업 Poolside, Hugging Face 및 다양한 학술 기관과 함께 2년 동안 개발되었습니다. 이 데이터셋은 EleutherAI의 두 가지 새로운 모델, Comma v0.1-1T와 Comma v0.1-2T를 훈련시키는 데 사용되었으며, 이 조직은 이 모델들이 라이선스 없이 저작권이 있는 데이터로 훈련된 모델들의 성능과 맞먹는다고 주장합니다.
OpenAI를 포함한 AI 기업들은 웹 스크래핑 데이터를 사용한 모델 훈련, 특히 저작권이 있는 책과 저널을 포함한 데이터 사용으로 인해 법적 도전에 직면해 있습니다. 일부는 콘텐츠 제공자와 라이선스 계약을 맺고 있지만, 많은 기업은 미국의 공정 사용 원칙에 의존하여 허가 없이 저작권이 있는 자료로 훈련을 정당화합니다.
EleutherAI는 이러한 소송들이 AI 산업의 투명성을 크게 감소시켜 모델 기능과 약점에 대한 통찰을 제한하며, 이는 더 넓은 연구 커뮤니티에 해를 끼친다고 주장합니다.
“법적 도전은 모델 훈련을 위한 데이터 소싱 관행을 크게 바꾸지 않았지만, AI 기업의 개방성을 급격히 감소시켰습니다,”라고 EleutherAI의 전무이사인 Stella Biderman이 금요일 Hugging Face 블로그 포스트에서 말했습니다. “우리가 대화한 일부 기업의 연구자들은 소송을 이유로 데이터 중심 연구를 공유할 수 없다고 언급했습니다.”
Hugging Face의 AI 플랫폼과 GitHub에서 제공되는 Common Pile v0.1은 법률 자문을 받아 개발되었으며, 의회 도서관과 인터넷 아카이브가 디지털화한 300,000개의 공공 도메인 책과 같은 소스를 포함합니다. EleutherAI는 또한 OpenAI의 Whisper 모델을 사용하여 오디오 콘텐츠를 전사했습니다.
EleutherAI는 Comma v0.1-1T와 Comma v0.1-2T가 Common Pile v0.1의 품질을 보여주며, 개발자들이 독점 시스템과 경쟁할 수 있는 모델을 만들 수 있게 한다고 주장합니다. 70억 개의 매개변수를 가지며 데이터셋의 일부로 훈련된 두 모델은 Meta의 원래 Llama 모델과 코딩, 이미지 이해, 수학 벤치마크에서 경쟁합니다.
TechCrunch All Stage Pass에서 200달러 이상 절약하세요
더 똑똑하게 혁신하세요. 더 빠르게 성장하세요. 더 깊이 네트워크를 형성하세요. Precursor Ventures, NEA, Index Ventures, Underscore VC 등의 비전가들과 함께 하루 동안의 통찰, 워크숍, 그리고 소중한 연결을 경험하세요.
TechCrunch All Stage Pass에서 200달러 이상 절약하세요
더 똑똑하게 혁신하세요. 더 빠르게 성장하세요. 더 깊이 네트워크를 형성하세요. Precursor Ventures, NEA, Index Ventures, Underscore VC 등의 비전가들과 함께 하루 동안의 통찰, 워크숍, 그리고 소중한 연결을 경험하세요.
Boston, MA | 7월 15일 지금 등록하세요매개변수, 종종 가중치라고 불리는 것은 AI 모델의 행동과 응답을 형성하는 내부 요소입니다.
“라이선스 없는 텍스트가 고성능에 필수적이라는 믿음은 근거가 없습니다,”라고 Biderman이 자신의 포스트에서 말했습니다. “공개적으로 라이선스된 데이터와 공공 도메인 데이터가 더 접근 가능해짐에 따라, 이러한 콘텐츠로 훈련된 모델이 크게 개선될 것으로 기대합니다.”
Common Pile v0.1은 EleutherAI의 과거 논란을 부분적으로 해결합니다. 몇 년 전, 이 그룹은 저작권이 있는 자료를 포함한 오픈 데이터셋인 The Pile을 공개했으며, 이는 AI 훈련에 사용된 것에 대해 비판과 법적 조사를 받았습니다.
EleutherAI는 연구 및 인프라 파트너들과 협력하여 오픈 데이터셋을 더 자주 공개할 것을 약속합니다.
태평양 표준시 오전 9:48 업데이트: Biderman은 X에서 EleutherAI가 데이터셋과 모델 출시에 기여했으며, 토론토 대학교와 같은 파트너들이 연구를 공동으로 이끌며 중요한 역할을 했다고 언급했습니다.
딥마인드 CEO 하사비스: 하루 6시간 수면, 보통 오후 1시경에 활력을 느낍니다
Fortune는 최근 Google DeepMind의 CEO인 데미스 하사비스와의 인터뷰를 소개하며, 그의 비전통적인 휴식 및 생산성 접근 방식을 공개했다. 하사비스는 자신이 매우 적게 잠을 자며, 깨어 있는 시간을 두 개의 명확한 업무 블록으로 구조화한다고 밝혔다.그의 수면 습관에 대해 하사비스는 "6시간을 목표로 하지만, 제 습관은 비정형적입니다. 하루 종일 효과적으로 기능할 수 있습니다."라고 언급했다. 그는 6시간 미만의 수면이 뇌 건강
OpenAI와 Anthropic, 매출 부진 속에서도 시장 점유율 확보 경쟁
최근 OpenAI가 매출 목표를 달성하지 못했다는 보도가 나오면서 이번 주 화요일 기술주에 압박이 가해졌음에도 불구하고, 민간 AI 연구소 투자자들은 여전히 탄탄한 모습을 보이고 있다. 노련한 투자자들은 부정적인 언론 보도에도 불구하고 투자 규모를 줄이지 않을 것이라고 밝혔다.분석가들은 현재의 AI 경쟁이 초기 단계에 불과하다고 보고, “승자 독식” 식의
캘리포니아 자율주행차 규정 준수: 과태료, 지오펜스, 100만 마일의 새로운 시대
Guident는 남부 플로리다에서 AuveTech 셔틀을 운영하며, 자사의 원격 모니터링 기술을 활용해 웨스트 팜비치에서 4마일 구간과 보카 라톤에서 1마일 구간의 노선을 관리하고 있다. | 출처: Guident캘리포니아주는 자율주행차에 대한 규제 환경을 재정의하며, 기술 업계의 “빠르게 움직이고 실패를 감수하라(move fast and break thin
2026년 최신 최고 인기 AI 역할극 채팅 앱: 언어 연습, 면접 준비 및 일상 유창성을 위한 최고의 선택! XIX.AI는 무료와 유료 비교, 실제 테스트, 매주 업데이트되는 순위 등을 제공하는 강력한 혁신적인 컬렉션을 엄선합니다. 이 필수 도구들은 글쓰기 실력을 향상시키고, 유창성 관련 어려움을 극복하며, 모든 일상 상황에서 의사소통 효율성을 높이는 데 도움을 줍니다. 지금 바로 탐색하여 언어 성장을 위한 완벽한 도구를 발견하세요!
10 도구
xix.ai
2026년 최신형으로 선정된 최고 평점의 AI 스템 분리 도구들은 리믹스 제작, 샘플링 준비, 카라오케 녹음에 특화되어 있습니다. 이 강력하고 혁신적인 도구들은 실제 환경에서의 테스트를 거쳐 정밀한 오디오 분리 기능을 제공함으로써 작업 효율성을 크게 향상시켜 줍니다. XIX.AI는 매주 업데이트되는 무료 버전과 유료 버전의 비교 가이드를 제공하여 사용자의 니즈에 가장 적합한 도구를 찾는 데 도움을 줍니다. 지금 바로 확인하여 AI 기술의 잠재력을 최대한 활용해 보세요.
8 도구
xix.ai
2026년 최신 최고의 AI SQL 코파일럿들이 최상위 순위에 올랐습니다! XIX.AI는 매주 업데이트되는 실제 환경 테스트를 위해 강력하고 혁신적인 도구들을 선별하여 제공합니다. 반드시 사용해 보아야 할 이 도구들은 정확한 수익 대시보드를 생성하고, 판매 과정을 분석하며, 제품 관련 지표를 신속하게 추적할 수 있도록 도와 생산성을 크게 향상시켜 줍니다. 데이터 기반 의사결정을 위한 완벽한 도구를 찾아보세요! 238자
9 도구
xix.ai
2026년 최신 최고 인기 AI 멜로디 작곡 도구! XIX.AI는 엄격한 실전 테스트를 거쳐 최고의 작곡 경험을 제공하는 강력한 게임 체인저 컬렉션을 엄선했습니다. 무료와 유료 버전의 상세 비교, 정확한 순위, 그리고 놀라운 노래 초안을 손쉽게 만들고 창의적 생산성을 크게 높일 수 있는 필수 추천 옵션들을 확인할 수 있습니다. 지금 바로 탐색하여 완벽한 도구를 발견하세요!
8 도구
xix.ai
2026년 최신 최고의 평점 높은 AI 대화 트레이너 도구들이 XIX.AI에서 만나보세요! 면접 연습을 위한 이 엄선된 컬렉션은 강력한, 게임 체인저 도구들을 포함하고 있으며, 엄격한 실제 세계 테스트를 거쳐 정확한 피드백을 제공합니다. 무료 대 유료 비교와 상세한 순위표를 찾을 수 있어 자신감과 기술을 향상시킬 수 있는 꼭 시도해봐야 할 옵션을 선택하는 데 도움이 됩니다. 지금 탐색하여 면접 성공을 위한 완벽한 도구를 발견하세요!
12 도구
xix.ai
2026년 최신, 최고 평점을 받은 창의적 실험을 위한 AI 스타일 변환 도구! XIX.AI는 실제 테스트와 엄격한 평가를 통해 탁월한 결과를 보여주는, 강력하고 판도를 바꿀 만한 ‘꼭 사용해 봐야 할’ 도구들을 엄선했습니다. 이 최고의 솔루션들은 콘텐츠 제작 속도를 높이고 무한한 창의적 가능성을 열어줌으로써 크리에이터들의 생산성을 크게 높여줍니다. 지금 바로 탐색하여 나에게 딱 맞는 도구를 찾아보고, 오늘 바로 창작을 시작해 보세요!
9 도구
xix.ai
Наконец-то качественные данные для обучения ИИ! 😄 Но интересно, как это повлияет на конкуренцию между OpenAI и другими компаниями. Может, скоро увидим более умные модели?
Wow, 8 terabytes of legally licensed text is a game-changer! It's fantastic to see more high-quality, transparent data becoming available. This should really help push open-source AI models forward and maybe even challenge some of the big players who rely on murkier data sources. Hopefully, it leads to more reliable and ethically-sound systems. Can't wait to see what gets built on this! 🚀
