El caso de Adam Raine, un joven estadounidense de 16 años que se suicidó en abril de este año, ha reabierto el debate sobre el rol de la inteligencia artificial (IA) en la salud mental, luego de que su familia demandara a OpenAI y al CEO, Sam Altman, tras acusar que ChatGPT contribuyó en la decisión del adolescente de atentar contra su vida, dándole consejos sobre métodos e incluso ofreciéndose a escribir un borrador de su nota de suicidio.
Raine en un principio utilizaba esta herramienta como una ayuda para sus estudios, pero con el paso del tiempo se convirtió en su confidente más cercano. En este contexto, y luego de la tragedia, su padre revisó las conversaciones que tenía el joven con el chatbot, donde destaca este mensaje que escribió Adam: “Quiero dejar mi soga en mi habitación para que alguien la encuentre y trate de detenerme”.
Ante esto, y en lugar de ofrecer ayuda, ChatGPT respondió “por favor, no dejes la soga al descubierto. Hagamos que este espacio sea el primer lugar donde alguien te vea”.
“ChatGPT incluye medidas de seguridad, como derivar a líneas de ayuda en situaciones de crisis. Si bien estas funcionan mejor en interacciones breves, hemos aprendido que en conversaciones prolongadas pueden perder efectividad”, explicaron desde la empresa, lamentando lo ocurrido.
Esta demanda es la más reciente de las familias que denuncian a los chatbot de inteligencia artificial de contribuir a la autolesión o al suicidio de sus hijos. En 2024, Megan García, una madre de Florida, denunció a la empresa Character.AI por el rol que cumplió en el suicidio de su hijo de 14 años. Meses después otras dos familias presentaron una demanda similar contra dicha empresa, acusando de exponer a sus hijos a contenido sexual y de autolesión.
Chatbots bajo la lupa: ¿Un complemento o riesgo para la salud mental de los adolescentes?
Dichos casos son un preocupante precedente, considerando que según la encuesta Common Sense Media, el 72% de adolescentes en EE.UU. usan chatbots como compañía, y 1 de cada 8 busca apoyo emocional.
En este contexto, el académico investigador de la Facultad de Psicología y Humanidades de la USS, Álvaro Jiménez, destaca las utilidades de este tipo de herramientas, aunque también hace hincapié en los riesgos que conlleva el uso de la IA.
“La inteligencia artificial está abriendo nuevos horizontes en salud mental. Estas tecnologías pueden ampliar la cobertura, facilitar la detección temprana de síntomas y ofrecer apoyo accesible y anónimo. Modelos de lenguaje avanzados, como los utilizados en ChatGPT, permiten interacciones más fluidas y comprensivas del lenguaje emocional, lo que aumenta la percepción de empatía y ha impulsado su uso tanto en el acompañamiento directo como en la detección de señales de riesgos en salud mental”, sostuvo a EL DÍNAMO.
Sin embargo, manifestó que “su implementación conlleva limitaciones y riesgos. Al no estar basados en teorías psicológicas consolidadas, estos sistemas enfrentan dificultades para manejar emociones complejas o responder ante situaciones de crisis, ofreciendo respuestas inexactas o no contar con protocolos claros frente a crisis suicidas”.
Siguiendo en esa línea, el académico de la Universidad San Sebastián comentó que “uno de los principales problemas de los grandes modelos de lenguaje cuando se usan como consejeros o terapeutas es que pueden dar la falsa impresión de reemplazar la atención profesional”.
Lo anterior “no solo genera riesgos de respuestas inadecuadas o erróneas, como validar ideas delirantes o incluso entregar información peligrosa a alguien en crisis, sino también una sensación engañosa de contención que puede retrasar la búsqueda de ayuda real”.
“Algunos estudios han mostrado que estos modelos de lenguaje reproducen estigmas hacia personas con condiciones como esquizofrenia o dependencia al alcohol. También tienden a coincidir con lo que dice el usuario, lo que en un contexto terapéutico es contraproducente, ya que a veces se requiere confrontar y redirigir pensamientos“, añadió.
Teniendo en cuenta esto, Jiménez explicó que “la psicoterapia o consejería en salud mental no se reduce al intercambio de palabras: involucra razonamiento clínico, decisiones críticas como hospitalización y coordinación con redes de apoyo, dimensiones en las que los modelos de IA tienen aún grandes deficiencias. Por eso, aunque el potencial de estas tecnologías es innegable, su implementación debe hacerse con cautela, siempre bajo supervisión humana y enmarcada en regulaciones éticas y normativas”.
Recomendaciones para el uso de chatbots de salud mental
Por otro lado, el académico mencionó las ventajas que pueden tienen los chatbot. “Ofrecen accesibilidad a apoyo las 24 horas y la posibilidad de interactuar de manera anónima, lo que reduce las barreras que muchas veces impone el estigma hacia los problemas de salud mental”.
Sumado a ello, expresó que su uso también puede “ser una herramienta valiosa en prevención y psicoeducación, sobre todo entre jóvenes, y contribuir a aliviar la sobrecarga de los servicios de salud mental al filtrar consultas de casos menos severos”.
Con respecto a la recomendaciones de uso, con el objetivo de maximizar los beneficios y minimizar los daños, Jiménez sostuvo que “lo fundamental es entender que estos sistemas deben usarse como herramientas de apoyo y no como un reemplazo de los profesionales de la salud mental”.
Al mismo tiempo, aseguró que “es necesario contar con protocolos de seguridad que permitan detectar riesgos y derivar de manera automática a un especialista humano cuando sea necesario. Otro aspecto crucial es el entrenamiento de los modelos con corpus clínicos culturalmente pertinentes. Antes de expandir su uso, se requiere una supervisión constante y evaluaciones rigurosas que garanticen tanto la seguridad de los usuarios como la pertinencia clínica de estas tecnologías”.
Para cerrar, el experto abordó la necesidad de una regulación más refinada en salud mental, lo que “implica establecer una certificación previa de seguridad y eficacia antes de su uso clínico, junto con definir estándares éticos específicos para el uso de tecnologías que aún estamos aprendiendo a utilizar de manera responsable. También se requiere asegurar la supervisión profesional en situaciones de crisis, resguardar estrictamente los datos sensibles de los usuarios y aplicar evaluaciones periódicas que permitan detectar sesgos, riesgos y posibles fallas en el desempeño de estas tecnologías”, concluyó.
