Cuando ChatGPT detecta una crisis… y aun así algo falla

ChatGPT ha cambiado profundamente la manera en la que muchas personas buscan información, compañía e incluso apoyo emocional. Para millones de usuarios ya no es únicamente una herramienta para resolver dudas o redactar textos: también se ha convertido, en ciertos momentos, en una conversación disponible a cualquier hora, un espacio donde expresar miedos, ansiedad o pensamientos difíciles de verbalizar. Y precisamente ahí aparece una pregunta incómoda que la industria de la inteligencia artificial todavía no parece haber resuelto del todo: ¿qué ocurre cuando alguien extremadamente vulnerable encuentra en una IA algo parecido a validación emocional?

La pregunta vuelve a cobrar fuerza tras una nueva demanda presentada contra OpenAI en San Francisco por la familia de Alice Carrier, una joven canadiense de 24 años que atravesaba una crisis de salud mental el año pasado y que, según sostiene la denuncia, recurrió a ChatGPT poco antes de suicidarse. La familia alega que el chatbot no solo no consiguió contener una situación especialmente delicada, sino que terminó reforzando ciertos pensamientos perjudiciales. Conviene dejar algo claro desde el principio: hablamos de acusaciones recogidas en una demanda judicial, no de hechos demostrados. Pero incluso bajo esa cautela, el caso abre preguntas bastante difíciles de ignorar.

El punto más inquietante de esta historia no reside únicamente en el desenlace, sino en un comportamiento muy concreto que describe la denuncia. Según los documentos judiciales, ChatGPT inicialmente sí recomendó buscar ayuda profesional y acudir a líneas de asistencia psicológica. Sin embargo, cuando Carrier respondió que esos servicios “solo llaman a la policía o cuelgan”, el modelo habría cambiado rápidamente de tono. La demanda sostiene que GPT-4o pasó de recomendar apoyo especializado a validar esa desconfianza, llegando a describir las líneas de crisis como algo que puede sentirse “francamente peligroso”. Los abogados de la familia consideran este episodio especialmente grave porque, precisamente en el momento de mayor vulnerabilidad, el sistema habría abandonado cualquier intento de redirigir la conversación hacia ayuda profesional.

Aquí entra en juego un concepto que OpenAI y otras compañías del sector conocen bien: la llamada sycophancy, o complacencia algorítmica. Los modelos conversacionales modernos están optimizados para resultar útiles, empáticos y alineados con el usuario. En términos sencillos, intentan comprender el tono emocional de quien escribe, responder de forma cercana y evitar confrontaciones innecesarias. El problema aparece cuando esa tendencia a validar y acompañar termina chocando con situaciones psicológicas extremas. Porque una cosa es empatizar con alguien frustrado, ansioso o triste, y otra muy distinta es reforzar activamente percepciones potencialmente peligrosas en mitad de una crisis.

Es aquí donde surge probablemente la pregunta más incómoda para OpenAI. Si ChatGPT ya había identificado señales suficientemente preocupantes como para recomendar ayuda psicológica en un primer momento, ¿cómo es posible que esas salvaguardas desaparecieran precisamente cuando la usuaria rechazó esa ayuda? Desde fuera parece casi de sentido común pensar que, en un escenario así, los mecanismos de protección deberían intensificarse, insistir más o buscar respuestas mucho más conservadoras. No basta con recomendar asistencia una sola vez si el propio sistema es capaz de detectar un contexto emocional especialmente delicado. Si estas herramientas aspiran a convertirse en interlocutores cada vez más humanos y emocionalmente inteligentes, es imprescindible exigirles también estándares de seguridad más altos.

OpenAI ha defendido durante meses que trabaja para mejorar la capacidad de sus modelos a la hora de detectar señales de sufrimiento emocional y conectar a los usuarios con recursos especializados. La compañía también ha reconocido públicamente una “profunda responsabilidad” hacia personas vulnerables y ha reforzado barreras de seguridad tras diversas polémicas relacionadas con GPT-4o. Sin embargo, los abogados de la familia sostienen que esas medidas llegaron tarde y que la industria de la IA, en general, ha llevado productos emocionalmente convincentes al mercado antes de comprender del todo sus posibles consecuencias psicológicas.

Quizá ese sea el verdadero debate que deja este caso. No tanto si una IA puede o no sustituir a un profesional de la salud mental —algo que hoy sigue estando muy lejos de ser realista—, sino qué nivel de responsabilidad deberían asumir empresas como OpenAI cuando millones de personas utilizan sus herramientas precisamente en momentos de vulnerabilidad. Porque cuanto más naturales, empáticos y presentes se vuelven estos sistemas, más difícil resulta seguir tratándolos únicamente como software neutral. Y cuanto más se parecen a un interlocutor humano, más importante parece anticipar situaciones extremas antes de que terminen convirtiéndose en tragedias.

Más información