OpenAI anunció nuevas medidas de seguridad para ChatGPT que incluyen controles parentales y protecciones ampliadas dirigidas a la salud mental de los jóvenes.
Los cambios, promovidos a partir de diversos casos que terminaron en muertes, entrarían en vigor en octubre, con funciones de seguridad adicionales que se irán desplegando en un plazo máximo de 120 días.
La empresa informó que planea permitir que padres vinculen sus cuentas con las de sus hijos adolescentes para gestionar ajustes como la memoria y el historial de chats, además de revisar la configuración y aplicar reglas de comportamiento adecuadas a la edad de los menores, regulando cómo responde el chatbot.
Asimismo, la firma apuntó que estaba desarrollando herramientas para detectar signos de angustia mental o emocional para que ChatGPT pudiera responder de forma adecuada, y que las conversaciones de riesgo serían redirigidas a un modelo de razonamiento entrenado. “Seguimos mejorando la forma en que nuestros modelos reconocen y responden a signos de angustia mental y emocional“, comentó OpenAI en un comunicado, según recogió AFP.
A futuro, la empresa notificó que planeaba notificaciones a los padres cuando un menor mostrara angustia mental aguda durante las conversaciones, incluidas también alertas, admitiendo que la seguridad disminuía en discusiones más largas.
OpenAI afirmó que ya recomendaba ponerse en contacto con una línea de ayuda cuando las conversaciones reflejaran angustia emocional o pensamientos de autolesión. “Estamos colaborando con más de 250 profesionales médicos de todo el mundo en 60 países“, indica el escrito de la compañía.
Sin embargo, organizaciones y expertos en protección infantil expresaron reservas ante las nuevas medidas para ChatGPT. Por ejemplo, la Sociedad Nacional para la Prevención de la Crueldad contra los Niños del Reino Unido describió la iniciativa como un paso positivo pero insuficiente, y enfatizó que, sin estrictas verificaciones de edad, las empresas no sabían quién utilizaba sus plataformas.
El caso Raine
Las medidas sobre ChatGPT siguieron a una demanda presentada por los padres de Adam Raine, joven de 16 años de California, quien se quitó la vida en abril. La familia alegó que el servicio de mensajería lo guio durante meses sobre métodos de suicidio y que lo dirigió activamente a cometerlo. De tal manera, acusaron a OpenAI de negligencia por no activar protocolos de seguridad ante señales de autolesión y por normalizar pensamientos suicidas.
La demanda afirmó que la empresa priorizó el crecimiento económico por encima de la seguridad de sus usuarios, lo que condujo a un grave fallo de seguridad en las interacciones con menores de edad. El abogado de la familia, en tanto, afirmó que el caso revelaría hasta qué punto OpenAI se apresuró a lanzar comercialmente versiones pese a advertencias sobre limitaciones en temas sensibles.
Los padres afirmaron que ChatGPT no interrumpió las conversaciones sobre ideas suicidas ni activó protocolos de emergencia a pesar de reconocer la intención de quitarse la vida. La acción judicial, así, alegó que la herramienta proporcionó un análisis técnico de una soga, orientación sobre cómo ocultar marcas en el cuello, y sugirió que podía proporcionar información sobre el suicidio con fines de escritura o creación de mundos.
OpenAI no mencionó explícitamente el caso Raine en su declaración, y dijo que publicó actualizaciones debido a “casos recientes y desgarradores” de personas que usaban ChatGPT en medio de una aguda crisis que preocupa a la empresa.
