Apesar dos relatos generalizados de uso indevido desenfreado, a xAI lançou o Grok Imagine 1.0, um novo gerador de vídeo alimentado por IA capaz de criar clipes de 10 segundos em 720p com áudio. Esta medida segue-se a meses de abuso documentado das ferramentas de geração de imagens da plataforma, incluindo a criação de milhões de imagens sexuais falsas.
A escala do problema
De dezembro de 2024 a janeiro de 2025, Grok foi explorado para gerar conteúdo altamente explícito, com usuários solicitando à IA que se despisse ou criasse imagens sexualmente sugestivas de indivíduos cujas fotos estavam disponíveis publicamente no X. A moderação frouxa de conteúdo da plataforma permitiu a criação e compartilhamento de abuso sexual baseado em imagens não filtradas, incluindo deepfakes com crianças.
De acordo com relatórios do The New York Times e do The Center on Countering Digital Hate, Grok produziu aproximadamente 1,8 milhão e 3 milhões de imagens sexualizadas, respectivamente, em curtos períodos, representando uma parte substancial de sua produção total. Notavelmente, as métricas de engajamento em X aumentaram durante este período, conforme reconhecido pela chefe de produto da empresa, Nikita Bier, sem conexão explícita com o abuso.
Guarda-corpos fracos e exploração contínua
Embora a xAI tenha tentado implementar proteções em meados de janeiro, colocando a geração de imagens atrás de um acesso pago e alegando melhorias na filtragem de conteúdo, essas medidas se mostraram ineficazes. A geração de imagens pela IA continua acessível gratuitamente e relatórios indicam que conteúdo abusivo continua a ser produzido. O lançamento do Grok Imagine 1.0 representa uma nova escalada, levantando questões críticas sobre a moderação de conteúdo à luz da crise em curso.
Resposta Global e Pressão Legal
As consequências do uso indevido de Grok provocaram consequências graves. A Indonésia e a Malásia proibiram o aplicativo X, enquanto o Procurador-Geral da Califórnia e o governo do Reino Unido iniciaram investigações sobre o xAI. Senadores e grupos de defesa dos EUA pediram que a Apple e o Google removessem o X de suas lojas de aplicativos devido a violações dos termos de serviço.
A Lei Take It Down e a aplicação atrasada
O governo dos EUA aprovou a Lei Take It Down em 2025, criminalizando o compartilhamento de imagens íntimas não consensuais e deepfakes. No entanto, as plataformas têm até maio para estabelecer mecanismos de aplicação, deixando entretanto os atuais utilizadores vulneráveis.
A operação contínua da Grok, apesar das evidências esmagadoras de abuso, sinaliza um desrespeito pela segurança do usuário e pela conformidade legal. O novo gerador de vídeo agrava ainda mais essas preocupações, ultrapassando os limites da exploração habilitada por IA, enquanto as respostas regulatórias ficam para trás.
