O modelo de código aberto Seed-OSS-36B da ByteDance é compatível com o contexto de token de 512K

O TikTok voltou a ser notícia depois que a Casa Branca aderiu à popular plataforma de mídia social, mas sua empresa controladora, a ByteDance, uma importante empresa chinesa de tecnologia, também fez um anúncio surpreendente.

A unidade de pesquisa de IA da empresa, a Seed Team, lançou hoje o Seed-OSS-36B no repositório de códigos de IA Hugging Face.

O Seed-OSS-36B é uma nova série de modelos de linguagem grande (LLMs) de código aberto criados para raciocínio sofisticado e uso fácil pelo desenvolvedor, apresentando um contexto de token mais longo do que muitos modelos concorrentes desenvolvidos nos EUA, incluindo os principais da OpenAI e da Anthropic.

A coleção inclui três variantes principais:

• Seed-OSS-36B-Base com dados sintéticos
• Seed-OSS-36B-Base sem dados sintéticos
• Seed-OSS-36B-Instruct (Instrução Seed-OSS-36B)

Ao lançar versões sintéticas e não sintéticas do modelo Seed-OSS-36B-Base, a equipe do Seed buscou equilibrar o desempenho no mundo real com a adaptabilidade da pesquisa.

A versão de dados sintéticos, treinada com dados de instrução suplementares, obtém resultados mais sólidos em benchmarks estabelecidos e foi concebida como um modelo de uso geral de desempenho superior.

Por outro lado, o modelo não sintético remove esses aprimoramentos, fornecendo uma base mais clara que reduz o possível viés dos dados de instrução sintéticos.

Ao fornecer ambas as variações, a equipe oferece aos usuários práticos melhores resultados e, ao mesmo tempo, fornece aos pesquisadores uma linha de base imparcial para o estudo de técnicas pós-treinamento.

Enquanto isso, o modelo Seed-OSS-36B-Instruct é pós-treinado usando dados de instrução, concentrando-se na execução da tarefa e na adesão à instrução em vez de atuar apenas como um modelo de base.

Todos os três modelos estão licenciados sob o Apache-2.0, permitindo a utilização, a modificação e o compartilhamento gratuitos por pesquisadores e desenvolvedores corporativos.

Isso significa que eles podem ser integrados a aplicativos comerciais, seja para operações internas ou serviços voltados para o cliente, sem que a ByteDance cobre taxas de licenciamento ou de API.

Isso segue a tendência de meados de 2025 de empresas chinesas lançando modelos avançados de código aberto, enquanto a OpenAI trabalha para manter o ritmo com seu próprio dueto gpt-oss de código aberto lançado recentemente.

A Seed Team projetou o Seed-OSS para uso global, destacando sua adaptabilidade em raciocínio, funções orientadas a tarefas e ambientes multilíngues.

Estabelecida em 2023, a Seed Team concentrou-se na criação de modelos fundamentais adequados tanto para pesquisa quanto para aplicações práticas.

Design e recursos principais

A estrutura do Seed-OSS-36B incorpora elementos de design reconhecidos, como modelagem de linguagem causal, atenção de consulta agrupada, ativação SwiGLU, RMSNorm e codificação posicional RoPE.

Cada modelo contém 36 bilhões de parâmetros distribuídos em 64 camadas e suporta um vocabulário de 155.000 tokens.

Um recurso característico é sua capacidade inerente de contexto longo, suportando até 512.000 tokens para processar documentos longos e sequências lógicas sem degradação.

Isso é o dobro da capacidade da nova família GPT-5 da OpenAI e corresponde ao comprimento de cerca de 1.600 páginas de texto - aproximadamente o tamanho da Bíblia cristã.

Outra característica de destaque é o orçamento de raciocínio, que permite que os desenvolvedores definam a quantidade de raciocínio que o modelo aplica antes de gerar uma resposta.

Um mecanismo semelhante aparece em outros lançamentos recentes de código aberto, incluindo o Nemotron-Nano-9B-v2 da Nvidia, também acessível via Hugging Face.

Em termos práticos, isso permite que as equipes calibrem o desempenho com base na complexidade da tarefa e nas necessidades de eficiência da implementação.

Os valores de orçamento são recomendados em múltiplos de 512 tokens, com 0 ativando um modo de resposta direta.

Desempenho competitivo em benchmarks de terceiros

Os resultados de benchmark publicados colocam o Seed-OSS-36B entre os modelos de código aberto de grande porte com melhor desempenho. A versão Instruct, em especial, alcança resultados de ponta em vários domínios.

• Matemática e raciocínio: O Seed-OSS-36B-Instruct obteve 91,7% de pontuação no AIME24 e 65 no BeyondAIME, cada um representando o desempenho de código aberto de última geração (SOTA).
• Codificação: No LiveCodeBench v6, o modelo Instruct atinge 67,4, outra marca SOTA.
• Capacidade de contexto longo: No RULER com 128K de comprimento de contexto, ele atinge 94,6, o maior resultado de código aberto registrado.
• Desempenho do modelo básico: A variante de dados sintéticos do modelo Base obteve 65,1 pontos no MMLU-Pro e 81,7 no MATH - ambos os resultados líderes em suas categorias.

O modelo Base não sintético, embora ligeiramente atrás em várias métricas, permanece competitivo por si só.

Ele supera a versão sintética no GPQA-D, fornecendo aos pesquisadores uma linha de base mais limpa e neutra em termos de instrução para testes.

Para as empresas que estão avaliando alternativas abertas, esses resultados indicam que o Seed-OSS é muito promissor para aplicativos com uso intensivo de matemática, codificação e contexto longo, preservando a flexibilidade para cenários de pesquisa.

Acesso e implementação

Além do desempenho, a equipe do Seed enfatiza a acessibilidade do desenvolvedor. Os modelos podem ser implantados por meio de Hugging Face Transformers, com quantização em formatos de 4 e 8 bits para minimizar o uso da memória.

Eles também se integram ao vLLM para servir em escala, com exemplos de configuração e diretrizes de servidor de API.

Para simplificar ainda mais a adoção, a equipe fornece scripts para inferência, personalização de prompts e integração de ferramentas.

Para os líderes técnicos que gerenciam equipes pequenas ou operam com orçamentos limitados, esses recursos ajudam a tornar mais viável a experimentação com modelos de 36 bilhões de parâmetros.

Licenciamento e considerações para tomadores de decisões empresariais

Disponíveis no Apache-2.0, esses modelos podem ser adotados sem licenciamento restritivo - uma vantagem significativa para as equipes que avaliam fatores legais e operacionais.

Para os líderes que estão avaliando o ecossistema de código aberto, esta versão destaca três pontos principais:

• Resultados de benchmark de alto nível em matemática, codificação e raciocínio de contexto longo
• . Um equilíbrio entre modelos sintéticos treinados de alto desempenho e linhas de base de pesquisa imparciais.
• Recursos de acessibilidade que reduzem a complexidade operacional para unidades de engenharia simplificadas.

Ao combinar alto desempenho e implementação adaptável sob uma licença aberta, a equipe Seed da ByteDance ampliou as opções disponíveis para empresas, pesquisadores e desenvolvedores.