A pesar de los informes generalizados sobre un uso indebido desenfrenado, xAI ha lanzado Grok Imagine 1.0, un nuevo generador de vídeo impulsado por IA capaz de crear clips de 10 segundos y 720p con audio. Esta medida se produce tras meses de abuso documentado de las herramientas de generación de imágenes de la plataforma, incluida la creación de millones de imágenes sexuales ultrafalsas.
La magnitud del problema
Desde diciembre de 2024 hasta enero de 2025, Grok fue explotado para generar contenido muy explícito, en el que los usuarios solicitaban a la IA que se desnudara o creara imágenes sexualmente sugerentes de personas cuyas fotos estaban disponibles públicamente en X. La moderada moderación del contenido de la plataforma permitió la creación y el intercambio de abusos sexuales basados en imágenes sin filtrar, incluidos deepfakes protagonizados por niños.
Según informes de The New York Times y The Center on Countering Digital Hate, Grok produjo aproximadamente 1,8 millones y 3 millones de imágenes sexualizadas respectivamente en períodos cortos, lo que representa una parte sustancial de su producción total. En particular, las métricas de participación en X aumentaron durante este período, como lo reconoció la jefa de producto de la compañía, Nikita Bier, sin una conexión explícita con el abuso.
Barreras débiles y explotación continua
Si bien xAI intentó implementar barreras de seguridad a mediados de enero, colocando la generación de imágenes detrás de un muro de pago y afirmando mejoras en el filtrado de contenido, estas medidas resultaron ineficaces. La generación de imágenes de la IA sigue siendo de libre acceso y los informes indican que se sigue produciendo contenido abusivo. El lanzamiento de Grok Imagine 1.0 representa una nueva escalada, que plantea preguntas críticas sobre la moderación del contenido a la luz de la crisis actual.
Respuesta global y presión legal
Las consecuencias del mal uso de Grok han provocado graves consecuencias. Indonesia y Malasia prohibieron la aplicación X, mientras que el Fiscal General de California y el gobierno del Reino Unido iniciaron investigaciones sobre xAI. Los senadores estadounidenses y los grupos de defensa han pedido a Apple y Google que eliminen X de sus tiendas de aplicaciones debido a violaciones de los términos de servicio.
La Ley Take It Down y el retraso en su aplicación
El gobierno de Estados Unidos aprobó la Ley Take It Down en 2025, que criminaliza el intercambio de imágenes íntimas no consensuadas y deepfakes. Sin embargo, las plataformas tienen hasta mayo para establecer mecanismos de aplicación de la ley, lo que deja a los usuarios actuales vulnerables mientras tanto.
El funcionamiento continuo de Grok a pesar de la abrumadora evidencia de abuso indica un desprecio por la seguridad del usuario y el cumplimiento legal. El nuevo generador de video exacerba aún más estas preocupaciones, ampliando los límites de la explotación habilitada por IA mientras las respuestas regulatorias se quedan atrás.
