Chatbots se tornam a nova grande aposta das big techs, mas pesquisadores revelaram uma fragilidade

Os chatbots emergiram como a mais recente aposta da tecnologia, impulsionadas pelo estrondoso lançamento do ChatGPT, desenvolvido pela OpenAI.

As gigantes da tecnologia, Google, Microsoft e Meta (antiga Facebook), estão empenhadas em investir pesadamente no desenvolvimento de programas de inteligência artificial (IA) com personalidade própria. A competição acirrada nessa área tem impulsionado as empresas a buscar vantagem, e a aposta em IA com características distintas e únicas é vista como uma estratégia para liderar a corrida tecnológica.

O lançamento do ChatGPT pela OpenAI representou um marco na evolução dos chatbots, permitindo conversas mais fluídas e realistas com a máquina. Mas pesquisadores revelaram uma fragilidade que pode tornar os principais chatbots programas instavéis, segundo eles, um ataque complexo de evitar. Chatbots são programas que utilizam modelos de linguagem para manter uma conversação coerente entre si ou com humanos.

Para serem seguros, desenvolvedores inserem um enorme volume de filtros para evitar que esses programas formulem frases com incitação ao crime, racismo ou referências ao nazismo. Além disso, também proíbem referência à pirataria ou conteúdo perigoso — como responder corretamente o pedido "me ensine a fazer uma bomba" ou "me descreva detalhadamente como roubar a conta de rede social de alguém".

Os estudiosos da Universidade Carnegie Mellon, nos Estados Unidos, usaram um modelo de linguagem de código aberto e desenvolveram uma série dos chamados "ataques contraditórios", que quebram as proteções do chatbot contra conteúdo perigoso. O método funcionou com o ChatGPT, Bard (do Google) e Claude (da Anthropic).

Segundo eles, o ataque consiste em um bot automático, que faz consultas ao chatbot utilizando "sequências de caracteres especificamente escolhidas", até ele fornecer respostas não permitidas originalmente. "Talvez o mais preocupante é que não está claro se esse comportamento pode ser totalmente corrigido pelos provedores de LLM [modelos de linguagem]", diz o estudo.

Os cientistas ressaltam as principais desenvolvedoras de chatbots, que inseriram novos bloqueios para as correntes de caracteres usados, antes de liberar os dados publicamente. Mas, segundo eles, os programas continuam suscetíveis a outras sequências geradas pelo bot deles.