La empresa OpenAI reconoció que su chatbot de inteligencia artificial (AI) ChatGPT comete fallos en casos “sensibles” y prometió cambios después de que recibiera una demanda por la responsabilidad de su tecnología en el suicidio de un menor de edad en Estados Unidos.
Los padres de un joven de 16 años que se quitó la vida tras meses de interactuar con ChatGPT demandaron en California a OpenAI y su dueño, Sam Altman, argumentando que el chatbot, bajo el modelo GPT-4o, no aplicó medidas de seguridad pese a reconocer las intenciones suicidas del joven.
OpenAI publicó una entrada de blog titulada “Ayudar a la gente cuando más lo necesitan” y, si bien no hizo referencia a la demanda, indicó que ChatGPT está entrenado para recomendar a aquellos usuarios que “expresen intención suicida” el contacto de organizaciones de ayuda profesional.
No obstante, reconoció que pese a tener ese mecanismo de seguridad para cuando detecte que “alguien es vulnerable y puede estar el riesgo”, los sistemas de ChatGPT “se quedan cortos” y el chatbot “no se comportó como debía en situaciones sensibles”.
Además, la empresa explicó que ChatGPT reconoce también cuándo el usuario es menor de 18 años para aplicarle medidas de protección, pero ahora incluirá controles parentales para que los responsables de los adolescentes sepan cómo usan esa tecnología, y explorará la posibilidad de conectarlos directamente con un contacto de emergencia.
