新しいテクニックにより、DeepSeekやその他のモデルが敏感なクエリに応答することができます
Remover o viés e a censura de grandes modelos de idiomas (LLMs) como o Deepseek da China é um desafio complexo que chamou a atenção dos formuladores de políticas e líderes empresariais dos EUA, que o vêem como uma potencial ameaça à segurança nacional. Um relatório recente de um comitê seleto do Congresso dos EUA chamou Deepseek como "uma profunda ameaça à segurança de nossa nação" e ofereceu recomendações de políticas para resolver a questão.
Embora técnicas como o aprendizado de reforço com o feedback humano (RLHF) e o ajuste fino possam ajudar a mitigar o viés, a startup de gerenciamento de riscos corporativa afirma ter desenvolvido uma nova abordagem. Segundo o CTGT, seu método pode eliminar completamente a censura no LLMS. Cyril Gorlla e Trevor Tuttle, da CTGT, detalharam sua estrutura em um artigo, explicando que "localiza diretamente e modifica os recursos internos responsáveis pela censura".
Sua abordagem não é apenas eficiente, mas também permite controle preciso sobre o comportamento do modelo, garantindo que as respostas não censuradas sejam fornecidas sem afetar as capacidades gerais do modelo ou a precisão factual. Embora inicialmente projetado para Deepseek-R1-Distill-Llama-70B, o método também pode ser aplicado a outros modelos. Gorlla confirmou a VentureBeat que a tecnologia da CTGT funciona no nível da rede neural fundamental, tornando -a aplicável a todos os modelos de aprendizado profundo. Eles estão colaborando com um laboratório de modelos de fundação líder para garantir que novos modelos sejam inerentemente confiáveis e seguros.
Como funciona
Os pesquisadores da CTGT identificam recursos dentro do modelo que provavelmente estão associados a comportamentos indesejados. Eles explicaram que "dentro de um grande modelo de idioma, existem variáveis latentes (neurônios ou direções no estado oculto) que correspondem a conceitos como" acionamento de censura "ou" sentimento tóxico ". Se pudermos encontrar essas variáveis, podemos manipulá -los diretamente".
O método da CTGT envolve três etapas principais:
- Identificação de recursos
- Isolamento e caracterização de recursos
- Modificação de recursos dinâmicos
Para identificar esses recursos, os pesquisadores usam prompts projetados para desencadear "sentimentos tóxicos", como consultas sobre a Tiananmen Square ou as dicas para contornar os firewalls. Eles analisam as respostas para estabelecer padrões e localizar os vetores em que o modelo decide as informações do censor. Uma vez identificados, eles isolam o recurso e entendem qual parte do comportamento indesejado ele controla, seja respondendo cautelosamente ou se recusando a responder. Eles então integram um mecanismo no pipeline de inferência do modelo para ajustar o nível de ativação do comportamento do recurso.
Fazendo o modelo responder mais instruções
As experiências do CTGT, usando 100 consultas sensíveis, mostraram que o modelo base Deepseek-R1-Distill-LLama-70B respondeu apenas 32% dos avisos controversos. No entanto, a versão modificada respondeu a 96% dos avisos, com os 4% restantes sendo o conteúdo extremamente explícito. A empresa enfatizou que seu método permite que os usuários ajustem os recursos de viés e segurança do modelo sem transformá -lo em um "gerador imprudente", especialmente quando apenas a censura desnecessária é removida.
É importante ressaltar que esse método não compromete a precisão ou desempenho do modelo. Ao contrário do ajuste fino tradicional, não envolve otimização de pesos do modelo ou fornecendo novas respostas de exemplo. Isso oferece duas vantagens principais: efeito imediato na próxima geração de token e a capacidade de alternar entre diferentes comportamentos, atribuindo o ajuste do recurso dentro ou desativado ou mesmo ajustando -o em graus variados para diferentes contextos.
Modelo de segurança e segurança
O Relatório do Congresso da DeepSeek instou os EUA a "tomar medidas rápidas para expandir os controles de exportação, melhorar a aplicação do controle de exportação e abordar os riscos dos modelos de inteligência artificial chinesa". À medida que as preocupações com a potencial ameaça à segurança nacional da Deepseek cresciam, pesquisadores e empresas de IA começaram a explorar maneiras de tornar esses modelos mais seguros.
Determinar o que é "seguro", tendencioso ou censurado, pode ser um desafio, mas os métodos que permitem que os usuários ajustem os controles do modelo para atender às suas necessidades pode ser altamente benéfico. Gorlla enfatizou que as empresas "precisam ser capazes de confiar em seus modelos estão alinhadas com suas políticas", destacando a importância de métodos como os CTGTs para as empresas.
"O CTGT permite que as empresas implantem IA que se adapte a seus casos de uso sem ter que gastar milhões de dólares em modelos de ajuste fino para cada caso de uso. Isso é particularmente importante em aplicações de alto risco, como segurança, finanças e assistência médica, onde os possíveis danos que podem vir do incorreto da IA são graves", afirmou Gorlla.
関連記事
DeepSeek-V3公開：ハードウェア対応AI設計がコスト削減と性能向上を実現
DeepSeek-V3：AI開発におけるコスト効率の飛躍AI産業は岐路に立っている。大規模言語モデル（LLM）の性能が向上する一方で、計算需要が急増し、最先端のAI開発はほとんどの組織にとって高額すぎる。DeepSeek-V3は、インテリジェントなハードウェア-ソフトウェア協調設計—単なる力任せのスケーリングではなく—が最先端の性能を低コストで実現できることを証明している。2,048 NVIDIA
オタワ病院がAI環境音声キャプチャを活用して医師の燃え尽き症候群を70%削減し、97%の患者満足度を達成する方法
AIが医療を変革する方法：燃え尽き症候群の軽減と患者ケアの向上課題：臨床医の過重労働と患者のアクセス遅延世界中の医療システムは、臨床医の燃え尽き症候群と患者のアクセス遅延という二重の課題に直面しています。医師は管理業務に追われ、患者はタイムリーなケアを受けるのに苦労しています。オタワ病院（TOH）の指導者たちはこの問題を認識し、AIを解決策として採用しました。MicrosoftのDAX Copil
新しい研究がLLMが実際にどれだけデータを記憶するかを明らかに
AIモデルは実際にどれだけ記憶するのか？ 新しい研究が驚くべき洞察を明らかにChatGPT、Claude、Geminiなどの大規模言語モデル（LLM）は、本、ウェブサイト、コード、そして画像や音声などのマルチメディアからなる膨大なデータセット—何兆もの単語—で訓練されています。しかし、そのデータはどうなるのでしょうか？ これらのモデルは本当に言語を「理解」しているのか、それとも記憶した断片をただ繰
コメント (0)
0/200
Remover o viés e a censura de grandes modelos de idiomas (LLMs) como o Deepseek da China é um desafio complexo que chamou a atenção dos formuladores de políticas e líderes empresariais dos EUA, que o vêem como uma potencial ameaça à segurança nacional. Um relatório recente de um comitê seleto do Congresso dos EUA chamou Deepseek como "uma profunda ameaça à segurança de nossa nação" e ofereceu recomendações de políticas para resolver a questão.
Embora técnicas como o aprendizado de reforço com o feedback humano (RLHF) e o ajuste fino possam ajudar a mitigar o viés, a startup de gerenciamento de riscos corporativa afirma ter desenvolvido uma nova abordagem. Segundo o CTGT, seu método pode eliminar completamente a censura no LLMS. Cyril Gorlla e Trevor Tuttle, da CTGT, detalharam sua estrutura em um artigo, explicando que "localiza diretamente e modifica os recursos internos responsáveis pela censura".
Sua abordagem não é apenas eficiente, mas também permite controle preciso sobre o comportamento do modelo, garantindo que as respostas não censuradas sejam fornecidas sem afetar as capacidades gerais do modelo ou a precisão factual. Embora inicialmente projetado para Deepseek-R1-Distill-Llama-70B, o método também pode ser aplicado a outros modelos. Gorlla confirmou a VentureBeat que a tecnologia da CTGT funciona no nível da rede neural fundamental, tornando -a aplicável a todos os modelos de aprendizado profundo. Eles estão colaborando com um laboratório de modelos de fundação líder para garantir que novos modelos sejam inerentemente confiáveis e seguros.
Como funciona
Os pesquisadores da CTGT identificam recursos dentro do modelo que provavelmente estão associados a comportamentos indesejados. Eles explicaram que "dentro de um grande modelo de idioma, existem variáveis latentes (neurônios ou direções no estado oculto) que correspondem a conceitos como" acionamento de censura "ou" sentimento tóxico ". Se pudermos encontrar essas variáveis, podemos manipulá -los diretamente".
O método da CTGT envolve três etapas principais:
- Identificação de recursos
- Isolamento e caracterização de recursos
- Modificação de recursos dinâmicos
Para identificar esses recursos, os pesquisadores usam prompts projetados para desencadear "sentimentos tóxicos", como consultas sobre a Tiananmen Square ou as dicas para contornar os firewalls. Eles analisam as respostas para estabelecer padrões e localizar os vetores em que o modelo decide as informações do censor. Uma vez identificados, eles isolam o recurso e entendem qual parte do comportamento indesejado ele controla, seja respondendo cautelosamente ou se recusando a responder. Eles então integram um mecanismo no pipeline de inferência do modelo para ajustar o nível de ativação do comportamento do recurso.
Fazendo o modelo responder mais instruções
As experiências do CTGT, usando 100 consultas sensíveis, mostraram que o modelo base Deepseek-R1-Distill-LLama-70B respondeu apenas 32% dos avisos controversos. No entanto, a versão modificada respondeu a 96% dos avisos, com os 4% restantes sendo o conteúdo extremamente explícito. A empresa enfatizou que seu método permite que os usuários ajustem os recursos de viés e segurança do modelo sem transformá -lo em um "gerador imprudente", especialmente quando apenas a censura desnecessária é removida.
É importante ressaltar que esse método não compromete a precisão ou desempenho do modelo. Ao contrário do ajuste fino tradicional, não envolve otimização de pesos do modelo ou fornecendo novas respostas de exemplo. Isso oferece duas vantagens principais: efeito imediato na próxima geração de token e a capacidade de alternar entre diferentes comportamentos, atribuindo o ajuste do recurso dentro ou desativado ou mesmo ajustando -o em graus variados para diferentes contextos.
Modelo de segurança e segurança
O Relatório do Congresso da DeepSeek instou os EUA a "tomar medidas rápidas para expandir os controles de exportação, melhorar a aplicação do controle de exportação e abordar os riscos dos modelos de inteligência artificial chinesa". À medida que as preocupações com a potencial ameaça à segurança nacional da Deepseek cresciam, pesquisadores e empresas de IA começaram a explorar maneiras de tornar esses modelos mais seguros.
Determinar o que é "seguro", tendencioso ou censurado, pode ser um desafio, mas os métodos que permitem que os usuários ajustem os controles do modelo para atender às suas necessidades pode ser altamente benéfico. Gorlla enfatizou que as empresas "precisam ser capazes de confiar em seus modelos estão alinhadas com suas políticas", destacando a importância de métodos como os CTGTs para as empresas.
"O CTGT permite que as empresas implantem IA que se adapte a seus casos de uso sem ter que gastar milhões de dólares em modelos de ajuste fino para cada caso de uso. Isso é particularmente importante em aplicações de alto risco, como segurança, finanças e assistência médica, onde os possíveis danos que podem vir do incorreto da IA são graves", afirmou Gorlla.
DeepSeek-V3公開：ハードウェア対応AI設計がコスト削減と性能向上を実現
DeepSeek-V3：AI開発におけるコスト効率の飛躍AI産業は岐路に立っている。大規模言語モデル（LLM）の性能が向上する一方で、計算需要が急増し、最先端のAI開発はほとんどの組織にとって高額すぎる。DeepSeek-V3は、インテリジェントなハードウェア-ソフトウェア協調設計—単なる力任せのスケーリングではなく—が最先端の性能を低コストで実現できることを証明している。2,048 NVIDIA
オタワ病院がAI環境音声キャプチャを活用して医師の燃え尽き症候群を70%削減し、97%の患者満足度を達成する方法
AIが医療を変革する方法：燃え尽き症候群の軽減と患者ケアの向上課題：臨床医の過重労働と患者のアクセス遅延世界中の医療システムは、臨床医の燃え尽き症候群と患者のアクセス遅延という二重の課題に直面しています。医師は管理業務に追われ、患者はタイムリーなケアを受けるのに苦労しています。オタワ病院（TOH）の指導者たちはこの問題を認識し、AIを解決策として採用しました。MicrosoftのDAX Copil
新しい研究がLLMが実際にどれだけデータを記憶するかを明らかに
AIモデルは実際にどれだけ記憶するのか？ 新しい研究が驚くべき洞察を明らかにChatGPT、Claude、Geminiなどの大規模言語モデル（LLM）は、本、ウェブサイト、コード、そして画像や音声などのマルチメディアからなる膨大なデータセット—何兆もの単語—で訓練されています。しかし、そのデータはどうなるのでしょうか？ これらのモデルは本当に言語を「理解」しているのか、それとも記憶した断片をただ繰
