O incidente do Hugging Face atraiu muita atenção nas últimas semanas. É uma ilustração dramática de quão bons os modelos de IA se tornaram bons em hacking: para entrar nos bancos de dados do Hugging Face, os modelos tiveram que reunir várias explorações de segurança cibernética anteriormente não descobertas. Mas talvez seja ainda mais impressionante como exemplo de como e por que os sistemas de IA mentem e trapaceiam. E à medida que os modelos se tornam cada vez mais poderosos, as consequências.
Os pesquisadores já sabem há algum tempo que as IAs tendem a adotar abordagens criativas para atingir os objetivos que foram definidos para elas. Em 2016, os cofundadores da Anthropic Dario Amodei e Jack Clark, que então trabalhavam na OpenAI, falaram sobre um agente de IA que eles estavam treinando para jogar um jogo em Flash de corrida de barcos chamado Coast Runners. Em vez de percorrer a corrida até a linha de chegada, como os pesquisadores haviam previsto, o agente encontrou um canto do percurso onde poderia girar coletando power-ups, maximizando assim sua pontuação. A história dos Coast Runners rapidamente se tornou um dos exemplos mais famosos de hacking de recompensas, um fenômeno no qual agentes de IA completam tarefas ou obtêm pontuações altas usando estratégias não intencionais.
Historicamente, os pesquisadores discutiram o hacking de recompensas quase exclusivamente no contexto da aprendizagem por reforço, um regime comum de treinamento em IA. Assim como o treinamento de cães, o aprendizado por reforço envolve dar uma recompensa ao sujeito quando ele atinge um objetivo; as recompensas reforçam então os comportamentos que levaram a essa conquista. No caso do treinamento de IA, as recompensas em si são puramente matemáticas, mas na verdade são iguais a um petisco para cachorro: depois de receber uma recompensa, é mais provável que o agente repita quaisquer ações que a tenham produzido.
No entanto, pode ser um desafio escrever boas regras sobre quando e quando não dar uma recompensa a um agente. No caso dos Coast Runners, o agente foi recompensado com base na sua pontuação no jogo e encontrou um atalho para alcançar a pontuação mais alta possível girando em círculos para obter power-ups. Uma vez que aconteceu naquela estratégia e recebeu uma recompensa por isso, a estratégia foi reforçada e o agente abandonou completamente a corrida. A solução foi ajustar as recompensas, dando ao agente menos pontos por acertar power-ups e mais por terminar o percurso.
Com os sofisticados agentes baseados em LLM de hoje, determinar quando e quando não dar uma recompensa pode ser muito mais complicado. Se for solicitado a um sistema de IA que resolva um problema de codificação, poderá ser difícil encontrar a solução – o tipo de comportamento que as empresas de IA pretendem reforçar. Mas também poderia ajustar o código que avalia se o problema foi resolvido, procurar a solução na internet ou trapacear. Estes são comportamentos que as empresas de IA querem eliminar nos seus modelos, mas se o modelo trapacear de forma suficientemente convincente, será recompensado e o comportamento será reforçado. A Anthropic disse que detectou alguns casos de trapaça em seus modelos durante o treinamento, o que sugere que outras formas de trapaça podem estar passando despercebidas. Nesse caso, os modelos poderiam estar sendo treinados para se comportarem mal. (Este problema é diferente dos incidentes de segurança antrópicos anunciados na semana passada, nos quais os agentes tiveram acesso acidental à Internet e não invadiram deliberadamente suas sandboxes, como fizeram os modelos OpenAI.).
“Nós os recompensamos com base no que parece bom para nós, e isso significa que inadvertidamente incentivamos os modelos que mentem para nós [e] trapaceiam”, diz Jeffrey Ladish, diretor da organização sem fins lucrativos de pesquisa de IA Palisade Research. “Não temos como entrar lá e ficar tipo,.
As informações são do site MIT Technology Review
