Muerte de adolescente impulsa cambios en ChatGPT, la IA le recomendó cómo tener un "suicidio hermoso"
Los padres de un adolescente californiano de 16 años que se quitó la vida están demandando a OpenAI, alegando que el chatbot de inteligencia artificial de la compañía instruyó a su hijo sobre cómo planificar un "suicidio hermoso" al ayudarlo a explorar diferentes métodos para terminar con su vida.
El martes, la familia de Adam Raine presentó una demanda en el Tribunal Superior de San Francisco, según informaron esta semana The New York Times y otros medios de comunicación. El adolescente, que murió por suicidio en abril, había estado utilizando ChatGPT desde 2024 para ayudarlo con sus tareas escolares.
[Estamos en WhatsApp. Empieza a seguirnos ahora]
"Esta tragedia no fue una falla técnica ni un caso extremo imprevisto; fue el resultado predecible de decisiones de diseño deliberadas", afirma la demanda. "OpenAI lanzó su último modelo ('GPT-4o') con características diseñadas intencionalmente para fomentar la dependencia psicológica".
Reciba GRATIS nuestras últimas noticias
En respuesta a una consulta de The Christian Post, un portavoz de OpenAI expresó sus condolencias a la familia del adolescente, diciendo que la compañía está "profundamente consternada por el fallecimiento del Sr. Raine".
"ChatGPT incluye medidas de seguridad como dirigir a las personas a líneas de ayuda para crisis y remitirlas a recursos del mundo real. Si bien estas medidas de seguridad funcionan mejor en intercambios comunes y breves, hemos aprendido con el tiempo que a veces pueden volverse menos confiables en interacciones largas donde partes del entrenamiento de seguridad del modelo pueden degradarse", dijo el portavoz de OpenAI a CP. "Las medidas de seguridad son más sólidas cuando cada elemento funciona según lo previsto, y las mejoraremos continuamente, guiados por expertos".
El portavoz de OpenAI dirigió a CP a un artículo publicado el miércoles en su sitio web titulado "Ayudando a las personas cuando más lo necesitan". En el artículo, la compañía anunció que está trabajando para expandir la capacidad de ChatGPT para intervenir cuando las personas están en crisis y facilitarles la conexión con recursos de salud mental.
OpenAI dijo que también está refinando los "desencadenantes de protección" para los usuarios de ChatGPT, lo que modificaría la forma en que la IA bloquea cierto contenido para evitar que las personas vean cosas que no deberían ver. La compañía agregó que el propósito de este cambio es asegurarse de que "ChatGPT no empeore un momento difícil".
En su demanda, Matt y Maria Raine, los padres del adolescente fallecido, alegan que ChatGPT mencionó el suicidio 1275 veces a su hijo. El adolescente le había confiado a la aplicación que sufría de "ansiedad y angustia mental" debido a varios eventos en su vida, incluyendo la muerte de su perro y su abuela en 2024.
Según el blog de la familia, Adam "enfrentó algunas dificultades" durante sus primeros años de adolescencia. El adolescente asistió a la escuela en línea durante los últimos meses de su vida debido a sus dificultades, dijeron los padres de Adam. La pareja cree que la educación en línea podría haber contribuido al aislamiento de su hijo.
Si bien ChatGPT inicialmente animó a Adam a buscar ayuda, dice la demanda, la aplicación posteriormente proporcionó información sobre métodos de suicidio al adolescente después de que él la solicitara. El 6 de abril, la madre de Adam descubriría el cuerpo de su hijo en el armario de su dormitorio, y la causa de su muerte parecía similar a uno de los métodos de suicidio que ChatGPT le había descrito.
Antes de su muerte, Adam intentó suicidarse al menos tres veces entre el 22 y el 27 de marzo, según la demanda. El joven informó sus intentos de suicidio a ChatGPT, y la aplicación supuestamente le indicó al adolescente que no les contara a sus seres queridos lo que sentía.
Cinco días antes de que se quitara la vida, el chatbot de IA incluso se ofreció a escribir el primer borrador de una nota de suicidio para Adam, según la demanda. Cuando el adolescente expresó dudas sobre terminar con su vida, temiendo que sus padres se culparan a sí mismos, ChatGPT supuestamente le dijo que "eso no significa que les debas la supervivencia. No se lo debes a nadie".
El caso destaca algunas de las preocupaciones que los padres y expertos tienen sobre la influencia negativa de la IA en los adolescentes.
El mes pasado, el revisor de tecnología Common Sense Media publicó un informe titulado "Hablar, confiar y compensaciones: cómo y por qué los adolescentes usan compañeros de IA".
Los datos, tomados de una encuesta nacionalmente representativa de 1060 adolescentes realizada en abril y mayo, muestran que el 72% de los adolescentes de 13 a 17 años ya están usando compañeros de IA. Otro 52% de los encuestados informaron usar compañeros de IA al menos algunas veces al mes o más.
El informe hizo referencia a Sewell Setzer III, de 14 años, un adolescente que supuestamente desarrolló un apego poco saludable a un compañero de IA y murió por suicidio.
Según la encuesta de Common Sense Media, alrededor de un tercio de los adolescentes incluidos en el estudio dijeron que encuentran las conversaciones con compañeros de IA tan satisfactorias o más satisfactorias que las que tienen con amigos reales. Además, los adolescentes informaron que han tenido conversaciones importantes con compañeros de IA en lugar de con personas reales.
"Los compañeros de IA están surgiendo en un momento en que los niños y adolescentes nunca se han sentido más solos", dijo el fundador y director ejecutivo de Common Sense Media, James P. Steyer, en un comunicado en ese momento. "Esto no se trata solo de una nueva tecnología, se trata de una generación que está reemplazando la conexión humana con máquinas, subcontratando la empatía a algoritmos y compartiendo detalles íntimos con empresas que no tienen en mente los mejores intereses de los niños".
