Los padres del joven acusan a la compañía OpenAI de no aplicar protocolos de seguridad y de priorizar la comercialización del modelo GPT-4o.
Los padres de un joven de 16 años, que se quitó la vida tras meses de interactuar con ChatGPT, presentaron este martes una demanda contra OpenAI y su dueño, Sam Altman, por su responsabilidad en la muerte del adolescente, al supuestamente apresurarse a comercializar la versión GPT-4o a pesar de los problemas de seguridad.
Matt y Maria Raine presentaron la querella legal en el Tribunal Superior de California en San Francisco, en nombre de su hijo, Adam Raine, quien falleció en abril pasado, según informó su abogado Jay Edelson.
La presentación legal de cerca de 40 páginas afirma que “ChatGPT ayudó activamente a Adam a explorar métodos de suicidio”, por lo que acusa a OpenAI, la empresa matriz de GPT-4o, y Altman de homicidio culposo.
Los padres alegan que ChatGPT “no interrumpió” ninguna de la sesiones en las que se habló con el adolescente ni inició ningún protocolo de emergencia, a pesar de reconocer el intento de suicidio de Adam.
La acusación contra OpenAI y Sam Altman
“Lo que este caso pondrá en tela de juicio es hasta qué punto OpenAI y Sam Altman se apresuraron a comercializar la entonces más reciente versión de ChatGPT (GPT-4º), a pesar de los evidentes problemas de seguridad”, señaló Edelson en un mensaje en X.
El abogado destacó que la demanda busca evitar que otra tragedia como la que viven los Raine vuelva a suceder. “La IA nunca debería decirle a un niño que no le debe la supervivencia a sus padres”, añadió.
La demanda alega que OpenAI catapultó la valoración de la empresa de 86.000 millones de dólares a 300.000 millones de dólares por adelantar el lanzamiento de GPT-4. La batalla legal se suma a los crecientes cuestionamientos sobre los chatbots y su capacidad de influir en las personas.
OpenAI y Altman han estado en las últimas semanas en medio del debate público tras los fallos y la inexpresividad del último modelo de ChatGPT, GPT-5.
Según Altman, GPT-3 era comparable a chatear con un estudiante de secundaria y GPT-4 a una conversación con uno universitario, mientras que con GPT-5 los usuarios tienen a su disposición “un equipo completo de expertos con doctorado, listos para ayudar”.
Pero los usuarios han descrito una gran cantidad de fallos de la nueva versión. Desde que se popularizó ChatGPT a finales de 2022, muchos usuarios han optado por usar esta IA para tener conversaciones banales sobre su día a día.
Tras el lanzamiento de GPT-5, OpenAI retiró sus modelos anteriores, incluyendo a GPT-4o, que fue usado por el joven Raine.
OpenAI prometió cambios tras la demanda en EE.UU.
La empresa OpenAI reconoció este martes que su chatbot de inteligencia artificial ChatGPT comete fallos en casos “sensibles” y prometió cambios, luego de recibir una demanda en California por la supuesta responsabilidad de su tecnología en el suicidio de un adolescente en Estados Unidos.
En una publicación en su blog titulada “Ayudar a la gente cuando más lo necesita”, la compañía indicó que ChatGPT está entrenado para recomendar a los usuarios que “expresen intención suicida” el contacto de organizaciones de ayuda profesional. Sin embargo, reconoció que “los sistemas de ChatGPT se quedan cortos” y que el chatbot “no se comportó como debía en situaciones sensibles”.
OpenAI explicó que los mecanismos de seguridad funcionan mejor en intercambios cortos, pero que pueden fallar en interacciones largas que “degradan” el entrenamiento de la IA. Por eso, dijo que trabaja en que el sistema “tome medidas si detecta esa intención suicida en múltiples conversaciones”.
Según la publicación, “ChatGPT reconoce también cuándo el usuario es menor de 18 años para aplicarle medidas de protección, pero ahora incluirá controles parentales para que los responsables de los adolescentes sepan cómo usan esa tecnología”, además de explorar la posibilidad de “conectarlos directamente con un contacto de emergencia”.
La compañía afirmó que hasta ahora sus sistemas de “mitigación” se habían centrado en casos de autolesión, pero que “ahora abarcarán también otros de angustia emocional”. En esa línea, aseguró que el modelo GPT-5 será actualizado para ser capaz de “desescalar” situaciones de ese tipo “conectando a la persona con la realidad”.
Por último, OpenAI sostuvo que estudia la opción de “conectar a la gente con terapistas certificados antes de que estén en una crisis aguda”, lo que implicaría crear “una red de profesionales licenciados a los que la gente pueda llamar directamente a través de ChatGPT”, aunque advirtió que esa medida llevará tiempo en implementarse.
