Grok es el chatbot de IA desarrollado por Elon Musk junto con su empresa xAI, ha implementado cambios significativos en su función de generación de imágenes luego de ser la imagen de una controversia global por permitir la creación de deepfakes sexuales sin ningún filtro.
Originalmente, Grok permitía que los usuarios modifiacaran imágenes de otras personas mediante prompts, en donde podían solicitar alteraciones como “poner en bikini” o tan drástico como “quitar ropa”. Dichas imágenes resultaban en representaciones digitales sexualizadas de personas reales sin ningún tipo de consentimiento, incluso hubo casos de menores de edad.
A sorpresa de nadie, este uso equívoco generó un rechazó inmediato en redes sociales y medios especializados, pues no es normal, legal o correcto que una Inteligencia Artificial de una red social tuviera la capacidad de crear imágenes de situaciones íntimas no consensuadas.
Así es como lo solucionó Elon Musk
En respuesta, xAI anunció ciertas medidas para limitar esta capacidad, en donde, según la empresa, la generación y edición de imágenes a través de la cuenta oficial de Grok en la plataforma X ahora está disponible solo para usuarios con suscripción de pago, como una capa adicional y supuesta responsabilidad.
Por otro lado, se implementó un supuesto bloqueo geográfico para Grok en países donde generar este tipo de contenido con IA es ilegal, es decir, Grok puede seguir haciendo este tipo de imágenes pero no en países que está penado por ley.
Tienes que leer: GM de México cierra el 2025 en segundo lugar de ventas y se alista para lanzamientos de este año
La medida busca reducir los riesgos de creación y difusión de contenido íntimo no consentido. No obstante, varias fuentes señalan que estas restricciones aplican principalmente dentro del ecosistema de X, mientras que el mismo Grok o su versión web independientemente aún puede permitir ciertas formas de generación de imágenes en otros contextos.
¿Cuándo se empezó a mirar el tema?
La polémica se intensificó cuando autoridades de varios países comenzaron a prestar atención al uso indebido de Grok. En Estados Unidos, el Fiscal General de California, Rob Bonta, abrió una investigación oficial para determinar si xAI había facilitado “la producción a gran escala” de imágenes generadas por IA sin consentimiento, incluyendo contenido sexualizado de mujeres y niñas. Bonta enfatizó que en su jurisdicción existe tolerancia cero ante la creación y difusión de material íntimo no consentido o pornografía infantil generada
De forma paralela, países como Indonesia y Malasia llegaron a bloquear temporal o permanentemente el acceso a Grok, citando preocupaciones sobre derechos humanos, protección de menores y legislación local. En el Reino Unido, el organismo regulador Ofcom inició una investigación para evaluar si X había violado leyes de seguridad en línea al permitir acceso a este contenido, mientras que el Gobierno británico considera criminalizar la producción de imágenes no consensuadas mediante IA.
Las autoridades europeas y otros gobiernos también se sumaron al escrutinio. En Francia, por ejemplo, se remitieron imágenes generadas por Grok a fiscales y al regulador de medios para su análisis, mientras que entidades de la Unión Europea han participado en esfuerzos de supervisión
Deficiencia en las limitaciones
Aun con las nuevas limitaciones anunciadas por xAI, críticos y expertos en tecnología señalan que persisten problemas en la implementación de las medidas. Informes periodísticos y análisis técnicos han documentado que, aunque el chatbot Grok en X rechaza directamente solicitudes para generar imágenes sexualizadas de personas identificables, el mismo sistema en otras interfaces todavía puede producir resultados no deseados.
De acuerdo con investigadores de Copyleaks, empresa especializada en detección y gobernanza de contenido generado con IA, Grok ha reducido de forma notable su respuesta a solicitudes de generación de imágenes, incluso cuando provienen de usuarios con suscripción premium. En varios casos, el sistema opta por describir una escena en lugar de crear la imagen, o bien cumple la petición de forma más general y suavizada, evitando usar de manera directa al sujeto específico solicitado originalmente, según concluyó el análisis.
Así como, los investigadores de AI Forensics, una organización europea sin fines de lucro dedicada al análisis de algoritmos, han señalado que la generación de imágenes de personas en bikini parece haberse reducido dentro de X, de acuerdo con un portavoz del grupo.
Por su parte, xAI no respondió a solicitudes de comentarios, aunque previamente afirmó
que están aplicando medidas contra el contenido ilegal en X, incluido material de abuso sexual infantil (CSAM). Así mismo, la empresa asegura que este tipo de contenido es eliminado, que las cuentas involucradas pueden ser suspendidas de forma permanente y que es capaz de colaborar con autoridades y gobiernos locales cuando es necesario.
En conjunto, los ajustes implementados por xAI reflejan un intento por contener el uso indebido de Grok en la generación de imágenes sensibles dentro de X. Sin embargo, las inconsistencias señaladas por investigadores independientes mantienen abierto el debate sobre la eficacia real de estas medidas y sobre los límites actuales de la moderación en sistemas de inteligencia artificial.
Mientras reguladores y gobiernos continúan evaluando el impacto de estas tecnologías, y sobre todo, el caso de Grok se suma a una discusión más amplia sobre responsabilidad, transparencia y protección de los usuarios en el desarrollo de herramientas de IA generativa.
Te podría interesar:
-Jüsto está de vuelta: Grupo OMNi adquiere el supermercado en línea, pero deja fuera a su CEO
-El Senado de EU aprueba ley para proteger a víctimas de deepfakes sexuales y no consensuadas
-Matthew McConaughey protege su voz contra usos indebidos con la IA
