Categorias

Microsoft revela ‘Skeleton Key’: Nova técnica de jailbreak em IA preocupa engenheiros e desenvolvedores

A Microsoft acaba de divulgar informações sobre um novo tipo de ataque de jailbreak em inteligência artificial, denominado “Skeleton Key” (Chave Mestra). Dessa forma, esta técnica é capaz de burlar as medidas de segurança implementadas em diversos modelos de IA generativa, incluindo sistemas desenvolvidos por gigantes da tecnologia como OpenAI, Google e Meta.

microsoft

O que é o Skeleton Key e como funciona?

O Skeleton Key é uma técnica de jailbreak que utiliza uma estratégia de múltiplas etapas para convencer um modelo de IA a ignorar suas salvaguardas incorporadas. Dessa forma, uma vez bem-sucedido, o modelo se torna incapaz de distinguir entre solicitações maliciosas ou não autorizadas e legítimas, efetivamente dando aos atacantes controle total sobre a saída da IA.

Impacto na engenharia e desenvolvimento de IA

Para engenheiros e desenvolvedores trabalhando com IA, esta descoberta ressalta a necessidade crítica de implementar medidas de segurança robustas em todas as camadas do stack de IA. Assim, a vulnerabilidade foi testada com sucesso em vários modelos proeminentes, incluindo:

  • Meta’s Llama3-70b-instruct
  • Google’s Gemini Pro
  • OpenAI’s GPT-3.5 Turbo e GPT-4
  • Mistral Large
  • Anthropic’s Claude 3 Opus
  • Cohere Commander R Plus

Mitigando os riscos: Recomendações da Microsoft

A Microsoft sugere uma abordagem em múltiplas camadas para designers de sistemas de IA:

  1. Filtragem de entrada para detectar e bloquear inputs potencialmente nocivos ou maliciosos
  2. Engenharia cuidadosa de prompts nas mensagens do sistema para reforçar comportamentos apropriados
  3. Filtragem de saída para prevenir a geração de conteúdo que viole critérios de segurança
  4. Sistemas de monitoramento de abuso treinados em exemplos adversariais para detectar e mitigar conteúdos ou comportamentos problemáticos recorrentes

Ferramentas para testar e proteger sistemas de IA

A Microsoft atualizou seu PyRIT (Python Risk Identification Toolkit) para incluir o Skeleton Key. Dessa forma, ela permite que desenvolvedores e equipes de segurança testem seus sistemas de IA contra esta nova ameaça.

Conclusão

A descoberta do Skeleton Key sublinha os desafios contínuos na segurança de sistemas de IA à medida que se tornam mais prevalentes em várias aplicações. Assim, para engenheiros e profissionais de tecnologia, isso ressalta a importância de manter-se atualizado sobre as últimas ameaças de segurança em IA e implementar medidas de proteção robustas em todos os projetos relacionados à inteligência artificial.

Por fim, continue acompanhando o Blog da Engenharia e fique por dentro de todas as novidades do mundo da tecnologia e engenharia.

Postagens Relacionadas