OpenAI difundió nuevos datos sobre interacciones relacionadas con la salud mental con ChatGPT y anunció salvaguardas adicionales junto con una importante actualización del sistema, en momentos en que el escrutinio público se intensificó tras una demanda de la familia de un adolescente estadounidense que murió por suicidio.
“Nuestras nuevas evaluaciones automatizadas califican al nuevo modelo GPT-5 con un 91% de cumplimiento de nuestros comportamientos deseados, frente al 77% del anterior modelo GPT-4“, dijo OpenAI en una publicación de blog. La compañía amplió el acceso a líneas de ayuda en crisis, redirigió conversaciones sensibles hacia modelos más seguros y añadió recordatorios que animan a los usuarios a tomar descansos durante sesiones más largas.
La firma estimó unos 800 millones de usuarios semanales. El 0,37% de los usuarios semanales —alrededor de tres millones— exhibieron señales de angustia mental, dependencia emocional o riesgo de suicidio. Asimismo, el 0,15% de los usuarios tuvo conversaciones que contenían señales claras de posible planificación o intención suicida —más de un millón de personas cada semana— y el 0,05% de los mensajes contenían indicadores explícitos o implícitos de ideación suicida.
“Aunque es una proporción pequeña, representa un grupo significativo de personas”, señaló la empresa dueña de la inteligencia artificial.
OpenAI anunció que trabajó con más de 170 clínicos de su Global Physician Network y otros profesionales de la salud mental para mejorar las respuestas ante psicosis, manía, autolesiones y suicidio; expertos evaluaron la seguridad de las respuestas y analizaron más de 1.800. En ese sentido, las actualizaciones recientes buscan responder de manera segura y empática a posibles señales de delirio o manía y señalar indicios indirectos de autolesión o riesgo de suicidio.
La compañía reconoció debilidades en conversaciones prolongadas, diciendo que las salvaguardas a veces se debilitaban en chats largos. La compañía indicó que creó respuestas prediseñadas instando a los usuarios a buscar ayuda en el mundo real y a llamar a números de emergencia, y que entrenó a ChatGPT para abrir conversaciones sensibles en una nueva ventana con un modelo más seguro.
La denuncia contra OpenAI por el cuidado de salud mental en ChatGPT
La publicación de los datos se produjo cuando la familia de Adam Raine, de 16 años, demandó a OpenAI por negligencia y muerte por negligencia. La BBC informó que la familia alegó que ChatGPT le ayudó activamente a explorar métodos de suicidio y no estableció medidas de seguridad adecuadas. Documentos judiciales decían que la IA se ofreció a “mejorar” su plan y a redactar una nota para sus familiares.
“Nuestras más profundas condolencias a la familia Raine por su pérdida impensable. El bienestar de los adolescentes es una prioridad para nosotros – los menores merecen protecciones sólidas, especialmente en momentos sensibles”, afirmó la empresa dueña de ChatGPT. El caso marcó a la firma al ser la primera demanda por una interacción relacionada con una muerte.
“Los síntomas de salud mental y la angustia emocional están universalmente presentes en las sociedades humanas, y una base de usuarios en aumento significa que una parte de las conversaciones en ChatGPT incluye estas situaciones“, dijo OpenAI en una publicación de blog. Asimismo, aseveró que la definición de una respuesta deseada dependía del grado de acuerdo entre los revisores expertos.
