Lar
A Microsoft lança uma ferramenta para desenvolvedores criarem testes de comportamento de IA a partir de descrições em texto
Pesquisadores e laboratórios de IA têm feito avanços significativos na avaliação de modelos de IA em termos de segurança, conformidade, bajulação e alinhamento. No entanto, empresas e desenvolvedores enfrentam agora um desafio específico: garantir que seus sistemas de IA se comportem exatamente como pretendido para seu produto ou serviço específico.
Para simplificar esse processo de teste, a Microsoft apresentou na terça-feira o ASSERT — sigla para Adaptive Spec-driven Scoring for Evaluation and Regression Testing (Pontuação Adaptativa Baseada em Especificações para Testes de Avaliação e Regressão).
Segundo a Microsoft, a estrutura de código aberto facilita a avaliação do comportamento da IA específico para cada aplicação. Ela usa IA para converter descrições de alto nível, em linguagem natural, de objetivos, políticas ou comportamentos pretendidos em testes abrangentes e pontuados que podem ser examinados.
O ASSERT aceita descrições em linguagem simples do comportamento e das políticas esperadas de um modelo de IA e, em seguida, transforma-as em um conjunto estruturado de comportamentos aceitáveis e inaceitáveis. Ele gera cenários de problema e casos de teste, os executa no sistema de destino e pontua os resultados. A estrutura também registra os caminhos do sistema de IA, incluindo ações intermediárias e chamadas de ferramentas, permitindo que os desenvolvedores inspecionem onde ocorrem as falhas.
Os desenvolvedores também podem fornecer contexto do sistema, ferramentas e restrições para personalizar ainda mais o escopo das avaliações.
Por exemplo, um desenvolvedor poderia especificar que um agente de IA para pesquisa de documentos não deve enviar e-mails para pessoas fora da empresa, deve restringir informações confidenciais aos executivos de nível C e deve fornecer resumos concisos, levando em consideração o contexto anterior. O ASSERT então usa essas regras para gerar casos de teste que verificam continuamente se o sistema as segue.
Créditos da imagem:Microsoft
De acordo com a Microsoft, a estrutura preenche uma lacuna que avaliações mais amplas e gerais não conseguem abordar quando os modelos de IA devem se comportar de maneiras moldadas pelo contexto, pelas políticas e pelas ferramentas de um aplicativo ou produto.
“Uma das coisas que aprendemos é que as avaliações são absolutamente essenciais para tomar boas decisões”, disse Sarah Bird, diretora de produtos de IA Responsável da Microsoft. “Porque, se você não compreender o comportamento do sistema de IA, é realmente difícil saber se ele está atendendo aos padrões da sua organização […] O que descobrimos é que, se você realmente deseja um sistema confiável, deve avaliar muito mais dimensões específicas da aplicação.”
Bird disse que o ASSERT pode ser usado para avaliar sistemas durante o desenvolvimento, após a implantação e para monitoramento contínuo.
O lançamento ocorre em meio a uma mudança gradual, porém mais ampla, no setor de IA. À medida que os modelos se tornam mais capazes, os pesquisadores estão se concentrando em testes repetíveis e verificações de regressão. O HELM, da Stanford, o AILuminate, da MLCommons, e grupos de avaliação como o METR estão lançando benchmarks para medir como os modelos se comportam em diferentes condições.
Artigo relacionado
A Microsoft descontinua ferramentas de IA mal-sucedidas e consolida os aplicativos Copilot
Dois anos atrás, a Microsoft caracterizou a IA como uma “mudança de geração” na tecnologia, na qual pretendia liderar. Hoje, a empresa está consolidando seus aplicativos para consumidores e empresas com a marca Copilot, ao mesmo tempo em que desconti
A Microsoft supostamente treina sua equipe de vendas para superar a concorrência da OpenAI e da Anthropic
Microsoft estaria preparando sua força de vendas para intensificar a concorrência contra principais rivais no setor de inteligência artificial.De acordo com um relatório da Bloomberg, executivos realizaram uma sessão estratégica interna na terça-fei
Isso poderia marcar o início de uma crise para as economias baseadas em tokens?
A Microsoft introduziu recentemente ajustes significativos nos preços do GitHub Copilot, mudanças tão substanciais que um usuário do Reddit descreveu a situação em sua empresa como uma “Tokenpocalypse”.No episódio mais recente do podcast Equity da T
Recomendações de tópicos especiais relacionados
Composição musical
Melhores Ferramentas de IA para Criação de Melodias para Rascunhos de Músicas
2026 Últimas Melhores Ferramentas de Escrita de Melodias por IA Mais Bem Avaliadas para Rascunhos de Músicas! A XIX.AI reuniu uma coleção altamente poderosa e transformadora, que passou por rigorosos testes no mundo real para oferecer a melhor experiência de escrita. Você pode encontrar comparações detalhadas entre as versões gratuita e paga, classificações precisas e opções imperdíveis projetadas para ajudá-lo a criar rascunhos de músicas impressionantes sem esforço e aumentar significativamente sua produtividade criativa. Explore agora para descobrir a ferramenta perfeita para você!
8 ferramentas
xix.ai
chatbot
Melhores ferramentas de treinamento de conversação com IA para prática de entrevistas
As melhores ferramentas de treinamento de conversação com IA mais recentes e altamente avaliadas para 2026, ideais para prática de entrevistas, estão disponíveis no XIX.AI! Esta coleção selecionada apresenta ferramentas poderosas e transformadoras, submetidas a rigorosos testes do mundo real para fornecer feedback preciso. Você encontrará uma comparação entre opções gratuitas e pagas, além de classificações detalhadas, para ajudá-lo a escolher a opção imperdível que aumenta sua confiança e habilidades. Explore agora para descobrir a ferramenta perfeita para o sucesso nas entrevistas!
12 ferramentas
xix.ai
Design e Arte
As melhores ferramentas de transferência de estilo com IA para experimentos criativos
As melhores e mais bem avaliadas ferramentas de transferência de estilo com IA de 2026 para experimentos criativos! A XIX.AI selecionou uma coleção poderosa e revolucionária de ferramentas imperdíveis, que oferecem resultados excepcionais por meio de testes reais e classificações rigorosas. Essas soluções de ponta ajudam os profissionais criativos a aumentar significativamente a produtividade, acelerando a criação de conteúdo e revelando possibilidades criativas infinitas. Explore agora para descobrir a ferramenta perfeita para você e comece a criar hoje mesmo!
9 ferramentas
xix.ai
Criação de quadrinhos
As melhores ferramentas de balões de diálogo com IA para a narrativa visual
As melhores e mais bem avaliadas ferramentas de balões de diálogo com IA para narrativa visual de 2026 já estão disponíveis no XIX.AI! Esta coleção selecionada apresenta ferramentas poderosas e revolucionárias que ajudam os criadores a aumentar a produtividade e superar gargalos criativos. Veja uma comparação entre versões gratuitas e pagas, confira testes reais e verifique os rankings mais recentes para encontrar as soluções imperdíveis, perfeitas para criar narrativas visuais envolventes. Explore agora e descubra sua ferramenta ideal!
10 ferramentas
xix.ai
Assistente de Reunião
As melhores ferramentas de resumo de reuniões com IA: acompanhe decisões e ações de acompanhamento com clareza
As melhores e mais bem avaliadas ferramentas de resumo de reuniões com IA de 2026 para um acompanhamento claro das decisões e acompanhamentos sem esforço. Esta lista selecionada apresenta soluções poderosas e revolucionárias que aumentam drasticamente a produtividade ao automatizar notas de reuniões, identificar ações-chave e otimizar a coordenação da equipe em todos os projetos. Veja uma comparação entre versões gratuitas e pagas, além de testes práticos e rankings atualizados semanalmente para ajudá-lo a encontrar a ferramenta perfeita. Explore agora para aproveitar ao máximo as vantagens da IA!
9 ferramentas
xix.ai
Análise de dados
Melhores ferramentas de limpeza de dados com IA: corrija valores faltantes e duplicatas rapidamente
2026 – Os melhores e mais bem avaliados ferramentas de limpeza de dados com IA, atualizadas para corrigir rapidamente valores faltantes e duplicatas. Esta lista selecionada apresenta soluções poderosas e revolucionárias que aumentam significativamente a produtividade. Cada opção passou por testes rigorosos em condições reais para garantir sua confiabilidade. Acesse uma comparação gratuita entre as versões pagas e gratuitas e descubra a ferramenta indispensável que melhor atende às suas necessidades. Explore agora em XIX.AI para aproveitar todos os benefícios oferecidos pela IA.
11 ferramentas
xix.ai
Comentários (0)
Pesquisadores e laboratórios de IA têm feito avanços significativos na avaliação de modelos de IA em termos de segurança, conformidade, bajulação e alinhamento. No entanto, empresas e desenvolvedores enfrentam agora um desafio específico: garantir que seus sistemas de IA se comportem exatamente como pretendido para seu produto ou serviço específico.
Para simplificar esse processo de teste, a Microsoft apresentou na terça-feira o ASSERT — sigla para Adaptive Spec-driven Scoring for Evaluation and Regression Testing (Pontuação Adaptativa Baseada em Especificações para Testes de Avaliação e Regressão).
Segundo a Microsoft, a estrutura de código aberto facilita a avaliação do comportamento da IA específico para cada aplicação. Ela usa IA para converter descrições de alto nível, em linguagem natural, de objetivos, políticas ou comportamentos pretendidos em testes abrangentes e pontuados que podem ser examinados.
O ASSERT aceita descrições em linguagem simples do comportamento e das políticas esperadas de um modelo de IA e, em seguida, transforma-as em um conjunto estruturado de comportamentos aceitáveis e inaceitáveis. Ele gera cenários de problema e casos de teste, os executa no sistema de destino e pontua os resultados. A estrutura também registra os caminhos do sistema de IA, incluindo ações intermediárias e chamadas de ferramentas, permitindo que os desenvolvedores inspecionem onde ocorrem as falhas.
Os desenvolvedores também podem fornecer contexto do sistema, ferramentas e restrições para personalizar ainda mais o escopo das avaliações.
Por exemplo, um desenvolvedor poderia especificar que um agente de IA para pesquisa de documentos não deve enviar e-mails para pessoas fora da empresa, deve restringir informações confidenciais aos executivos de nível C e deve fornecer resumos concisos, levando em consideração o contexto anterior. O ASSERT então usa essas regras para gerar casos de teste que verificam continuamente se o sistema as segue.
Créditos da imagem:Microsoft
De acordo com a Microsoft, a estrutura preenche uma lacuna que avaliações mais amplas e gerais não conseguem abordar quando os modelos de IA devem se comportar de maneiras moldadas pelo contexto, pelas políticas e pelas ferramentas de um aplicativo ou produto.
“Uma das coisas que aprendemos é que as avaliações são absolutamente essenciais para tomar boas decisões”, disse Sarah Bird, diretora de produtos de IA Responsável da Microsoft. “Porque, se você não compreender o comportamento do sistema de IA, é realmente difícil saber se ele está atendendo aos padrões da sua organização […] O que descobrimos é que, se você realmente deseja um sistema confiável, deve avaliar muito mais dimensões específicas da aplicação.”
Bird disse que o ASSERT pode ser usado para avaliar sistemas durante o desenvolvimento, após a implantação e para monitoramento contínuo.
O lançamento ocorre em meio a uma mudança gradual, porém mais ampla, no setor de IA. À medida que os modelos se tornam mais capazes, os pesquisadores estão se concentrando em testes repetíveis e verificações de regressão. O HELM, da Stanford, o AILuminate, da MLCommons, e grupos de avaliação como o METR estão lançando benchmarks para medir como os modelos se comportam em diferentes condições.
A Microsoft descontinua ferramentas de IA mal-sucedidas e consolida os aplicativos Copilot
Dois anos atrás, a Microsoft caracterizou a IA como uma “mudança de geração” na tecnologia, na qual pretendia liderar. Hoje, a empresa está consolidando seus aplicativos para consumidores e empresas com a marca Copilot, ao mesmo tempo em que desconti
A Microsoft supostamente treina sua equipe de vendas para superar a concorrência da OpenAI e da Anthropic
Microsoft estaria preparando sua força de vendas para intensificar a concorrência contra principais rivais no setor de inteligência artificial.De acordo com um relatório da Bloomberg, executivos realizaram uma sessão estratégica interna na terça-fei
Isso poderia marcar o início de uma crise para as economias baseadas em tokens?
A Microsoft introduziu recentemente ajustes significativos nos preços do GitHub Copilot, mudanças tão substanciais que um usuário do Reddit descreveu a situação em sua empresa como uma “Tokenpocalypse”.No episódio mais recente do podcast Equity da T
2026 Últimas Melhores Ferramentas de Escrita de Melodias por IA Mais Bem Avaliadas para Rascunhos de Músicas! A XIX.AI reuniu uma coleção altamente poderosa e transformadora, que passou por rigorosos testes no mundo real para oferecer a melhor experiência de escrita. Você pode encontrar comparações detalhadas entre as versões gratuita e paga, classificações precisas e opções imperdíveis projetadas para ajudá-lo a criar rascunhos de músicas impressionantes sem esforço e aumentar significativamente sua produtividade criativa. Explore agora para descobrir a ferramenta perfeita para você!
8 ferramentas
xix.ai
As melhores ferramentas de treinamento de conversação com IA mais recentes e altamente avaliadas para 2026, ideais para prática de entrevistas, estão disponíveis no XIX.AI! Esta coleção selecionada apresenta ferramentas poderosas e transformadoras, submetidas a rigorosos testes do mundo real para fornecer feedback preciso. Você encontrará uma comparação entre opções gratuitas e pagas, além de classificações detalhadas, para ajudá-lo a escolher a opção imperdível que aumenta sua confiança e habilidades. Explore agora para descobrir a ferramenta perfeita para o sucesso nas entrevistas!
12 ferramentas
xix.ai
As melhores e mais bem avaliadas ferramentas de transferência de estilo com IA de 2026 para experimentos criativos! A XIX.AI selecionou uma coleção poderosa e revolucionária de ferramentas imperdíveis, que oferecem resultados excepcionais por meio de testes reais e classificações rigorosas. Essas soluções de ponta ajudam os profissionais criativos a aumentar significativamente a produtividade, acelerando a criação de conteúdo e revelando possibilidades criativas infinitas. Explore agora para descobrir a ferramenta perfeita para você e comece a criar hoje mesmo!
9 ferramentas
xix.ai
As melhores e mais bem avaliadas ferramentas de balões de diálogo com IA para narrativa visual de 2026 já estão disponíveis no XIX.AI! Esta coleção selecionada apresenta ferramentas poderosas e revolucionárias que ajudam os criadores a aumentar a produtividade e superar gargalos criativos. Veja uma comparação entre versões gratuitas e pagas, confira testes reais e verifique os rankings mais recentes para encontrar as soluções imperdíveis, perfeitas para criar narrativas visuais envolventes. Explore agora e descubra sua ferramenta ideal!
10 ferramentas
xix.ai
As melhores e mais bem avaliadas ferramentas de resumo de reuniões com IA de 2026 para um acompanhamento claro das decisões e acompanhamentos sem esforço. Esta lista selecionada apresenta soluções poderosas e revolucionárias que aumentam drasticamente a produtividade ao automatizar notas de reuniões, identificar ações-chave e otimizar a coordenação da equipe em todos os projetos. Veja uma comparação entre versões gratuitas e pagas, além de testes práticos e rankings atualizados semanalmente para ajudá-lo a encontrar a ferramenta perfeita. Explore agora para aproveitar ao máximo as vantagens da IA!
9 ferramentas
xix.ai
2026 – Os melhores e mais bem avaliados ferramentas de limpeza de dados com IA, atualizadas para corrigir rapidamente valores faltantes e duplicatas. Esta lista selecionada apresenta soluções poderosas e revolucionárias que aumentam significativamente a produtividade. Cada opção passou por testes rigorosos em condições reais para garantir sua confiabilidade. Acesse uma comparação gratuita entre as versões pagas e gratuitas e descubra a ferramenta indispensável que melhor atende às suas necessidades. Explore agora em XIX.AI para aproveitar todos os benefícios oferecidos pela IA.
11 ferramentas
xix.ai
