512K 토큰 컨텍스트를 지원하는 바이트댄스의 오픈소스 Seed-OSS-36B 모델

백악관이 인기 소셜 미디어 플랫폼인 틱톡에 합류하면서 다시 한 번 화제가 되고 있는 가운데, 중국의 주요 기술 회사인 ByteDance의 모회사도 깜짝 발표를 했습니다.

이 회사의 AI 연구 부서인 Seed 팀은 오늘 AI 코드 저장소인 Hugging Face에 Seed-OSS-36B를 출시했습니다.

Seed-OSS-36B는 정교한 추론과 개발자 친화적인 사용을 위해 구축된 새로운 오픈 소스 대규모 언어 모델(LLM) 시리즈로, OpenAI와 Anthropic의 주요 모델을 포함해 미국에서 개발된 많은 경쟁 모델보다 더 긴 토큰 컨텍스트가 특징입니다.

이 컬렉션에는 세 가지 주요 변형이 포함됩니다:

• 합성 데이터가 포함된 Seed-OSS-36B-Base
• 합성 데이터가 없는 Seed-OSS-36B-Base
• Seed-OSS-36B-Instruct

Seed 팀은 합성 데이터 버전과 비합성 데이터 버전을 모두 출시함으로써 실제 성능과 연구 적응성의 균형을 맞추는 것을 목표로 했습니다.

추가 지침 데이터로 훈련된 합성 데이터 버전은 기존 벤치마크에서 더 강력한 결과를 달성하며, 더 높은 성능의 범용 모델을 목표로 합니다.

반면, 비합성 모델은 이러한 개선 사항을 제거하여 합성 인스트럭션 데이터의 잠재적 편향을 줄이는 더 명확한 기반을 제공합니다.

두 가지 변형을 모두 제공함으로써 연구팀은 실제 사용자에게 향상된 결과를 제공하는 동시에 연구자에게는 훈련 후 기술을 연구할 수 있는 편견 없는 기준을 제공합니다.

한편, Seed-OSS-36B-Instruct 모델은 명령어 데이터를 사용하여 사후 훈련되며, 기본 모델로만 작동하는 대신 작업 실행 및 명령어 준수에 중점을 둡니다.

세 가지 모델 모두 Apache-2.0 라이선스가 적용되어 기업 연구자와 개발자가 자유롭게 활용, 수정, 공유할 수 있습니다.

즉, 내부 운영이나 고객 대면 서비스 등 상용 애플리케이션에 통합할 수 있으며, 바이트댄스에서 라이선스나 API 비용을 청구하지 않습니다.

이는 중국 기업들이 고급 오픈소스 모델을 출시하는 2025년 중반의 추세를 따르는 것이며, OpenAI는 최근 출시한 자체 오픈소스 gpt-oss 듀엣과 보조를 맞추기 위해 노력하고 있습니다.

Seed 팀은 추론, 작업 중심 기능, 다국어 환경에서의 적응성을 강조하며 전 세계에서 사용할 수 있도록 Seed-OSS를 설계했습니다.

2023년에 설립된 Seed 팀은 연구와 실제 적용 모두에 적합한 기초 모델을 만드는 데 주력해 왔습니다.

디자인 및 핵심 기능

Seed-OSS-36B의 구조에는 인과 관계 언어 모델링, 그룹화된 쿼리 주의, SwiGLU 활성화, RMSNorm 및 RoPE 위치 인코딩과 같이 잘 알려진 설계 요소가 통합되어 있습니다.

각 모델에는 64개 계층에 분산된 360억 개의 파라미터가 포함되어 있으며 155,000개의 토큰 어휘를 지원합니다.

대표적인 특징은 긴 문서와 논리 시퀀스를 성능 저하 없이 처리할 수 있도록 최대 512,000개의 토큰을 지원하는 고유한 긴 컨텍스트 용량입니다.

이는 OpenAI의 새로운 GPT-5 제품군의 두 배에 달하는 용량으로, 약 1,600페이지 분량의 텍스트를 처리할 수 있는 길이로, 대략 기독교 성경의 크기와 비슷합니다.

또 다른 두드러진 특징은 개발자가 답을 생성하기 전에 모델이 적용하는 추론의 양을 정의할 수 있는 사고 예산입니다.

허깅 페이스를 통해 액세스할 수 있는 Nvidia의 Nemotron-Nano-9B-v2를 비롯한 다른 최근 오픈 소스 릴리스에서도 유사한 메커니즘이 나타납니다.

이를 통해 팀은 작업 복잡성과 배포 효율성 요구 사항에 따라 성능을 보정할 수 있습니다.

예산 값은 512 토큰의 배수로 권장되며, 0은 직접 응답 모드를 활성화합니다.

타사 벤치마크에서의 경쟁력 있는 성능

공개된 벤치마크 결과에 따르면 Seed-OSS-36B는 최고 성능의 대형 오픈소스 모델 중 하나입니다. 특히 Instruct 버전은 여러 영역에서 최첨단 결과를 달성했습니다.

• 수학 및 추론: Seed-OSS-36B-Instruct는 AIME24에서 91.7%, BeyondAIME에서 65점을 기록하여 각각 오픈 소스 최첨단(SOTA) 성능을 나타냅니다.
• 코딩: 라이브코드벤치 v6에서 인스트럭트 모델은 67.4점을 획득하여 또 다른 SOTA 마크를 획득했습니다.
• 긴 컨텍스트 기능: 128K 컨텍스트 길이의 RULER에서 94.6을 기록하여 보고된 오픈 소스 결과 중 가장 높은 점수를 기록했습니다.
• 기본 모델 성능: 합성 데이터 베이스 변형은 MMLU-Pro에서 65.1점, MATH에서 81.7점으로 두 가지 모두 해당 카테고리에서 최고의 결과를 기록했습니다.

비합성 기본 모델은 여러 지표에서 약간 뒤처지지만 자체적으로도 여전히 경쟁력이 있습니다.

GPQA-D에서 합성 버전보다 우수한 성능을 보이며, 연구자에게 보다 깨끗하고 지침에 중립적인 테스트 기준을 제공합니다.

개방형 대안을 평가하는 기업에게 이러한 결과는 Seed-OSS가 연구 시나리오의 유연성을 유지하면서 수학 집약적, 코딩 및 긴 컨텍스트 애플리케이션에 대한 강력한 잠재력을 가지고 있음을 나타냅니다.

액세스 및 배포

Seed 팀은 성능 외에도 개발자의 접근성을 강조합니다. 이 모델은 메모리 사용량을 최소화하기 위해 4비트 및 8비트 형식의 양자화를 통해 허깅 페이스 트랜스포머를 통해 배포할 수 있습니다.

또한 확장 가능한 서비스를 위해 vLLM과 통합되며, 설정 예제 및 API 서버 가이드라인이 함께 제공됩니다.

도입을 더욱 간소화하기 위해 추론, 신속한 사용자 지정 및 도구 통합을 위한 스크립트를 제공합니다.

소규모 팀을 관리하거나 제한된 예산으로 운영되는 기술 책임자의 경우 이러한 리소스를 통해 360억 개의 매개변수를 가진 모델을 더 쉽게 실험할 수 있습니다.

라이선스 및 기업 의사 결정자를 위한 고려 사항

Apache-2.0에서 사용할 수 있는 이러한 모델은 제한적인 라이선스 없이 채택할 수 있으므로 법적 및 운영적 요소를 고려하는 팀에게 상당한 이점이 있습니다.

오픈소스 생태계를 평가하는 리더를 위해 이번 릴리스에서는 세 가지 핵심 사항을 강조합니다:

• 수학, 코딩, 장문 추론에서 최고 수준의 벤치마크 결과,
• 고성능 합성 학습 모델과 편견 없는 연구 기준 사이의 균형,
간소화된 엔지니어링 유닛을 위해 운영 복잡성을 줄여주는 접근성 기능(
• ).

개방형 라이선스에 따라 고성능과 적응형 배포를 결합하여 기업, 연구자, 개발자가 선택할 수 있는 옵션을 넓혔습니다.