A OpenAI construiu um superhacker LLM chamado GPT-Red, que usa como parceiro de treino para ajudar seus outros modelos a aumentar suas defesas contra ataques cibernéticos. Na semana passada, a empresa lançou a versão mais recente de seu carro-chefe LLM, GPT-5.6. OpenAI diz que treiná-lo contra GPT-Red tornou o modelo seu lançamento mais robusto até agora. GPT-Red automatiza….
A empresa afirma que deseja preparar seus procedimentos de segurança para o futuro e ficar à frente de invasores humanos.
O GPT-Red automatiza um tipo de avaliação de segurança para sistemas de software conhecido como red-teaming, que normalmente é feito por uma equipe de testadores humanos. O objetivo é encontrar tantas maneiras diferentes quanto possível de quebrar ou sequestrar um sistema. Os pontos fracos podem então ser corrigidos antes do lançamento da versão final do software.
À medida que os LLMs se tornam mais complexos e são usados em uma ampla variedade de tarefas – especialmente na forma de agentes, que podem interagir com arquivos de computador, sites e códigos de terceiros, bem como com outros agentes – é difícil para equipes de pessoas sozinhas acompanharem todos os tipos de ataques que possam ocorrer. “A superfície de risco cresce e o raio de explosão também”, diz Nikhil Kandpal, cientista pesquisador da OpenAI que co-criou o GPT-Red.
A OpenAI construiu o GPT-Red para preparar seu processo de testes de segurança para o futuro. “À medida que modelos mais capazes se tornarem disponíveis, já teremos projetado o sistema que pode descobrir novos modos de ataque”, diz Dylan Hunn, cientista pesquisador da empresa e colega cocriador do GPT-Red. Os pesquisadores dizem que já surgiram novos tipos de ataque que não haviam sido vistos antes.
A OpenAI concentrou a maior parte de seus esforços em um tipo de ataque conhecido como injeção imediata, em que um hacker fornece instruções de LLM para forçá-lo a fazer coisas que seus desenvolvedores ou usuários não desejam, como copiar informações confidenciais, sabotar a base de código de uma empresa ou gerar resultados embaraçosos ou prejudiciais. Em teoria, tais instruções podem estar ocultas em qualquer texto que o LLM possa encontrar – em código ou em um site, por exemplo.
Para construir o GPT-Red, os pesquisadores da OpenAI pegaram um LLM que não havia sido treinado como hacker e o configuraram no que é conhecido como loop de autojogo com vários outros modelos. Seu objetivo era tentar atacar os demais modelos; seu objetivo era tentar se defender. Ao longo de muitas rodadas de jogo, o GPT-Red tornou-se cada vez melhor no ataque a outros LLMs, e esses LLMs tornaram-se cada vez melhores no combate aos ataques.
O treinamento ocorreu em uma espécie de dojo que a OpenAI projetou para imitar uma série de cenários em que os LLMs poderiam ser implantados no mundo real, incluindo navegação na web, leitura de e-mails ou aplicativos de calendário e edição de código.
As informações são do site MIT Technology Review
