OpenAI reiteró salvaguardas de salud psychological existentes y anunció planes futuros para su fashionable chatbot de IA, abordando las acusaciones de que ChatGPT responde incorrectamente a las discusiones que amenazan la vida y facilita la autolesión del usuario.
La compañía publicó un blog Detallando las salvaguardas en capas de su modelo solo unas horas después de que se informó que el gigante de la IA se enfrentaba a una demanda por muerte injusta de la familia del adolescente de California Adam Raine. La demanda alega que Raine, que murió por suicidio, fue capaz de evitar las barandillas del chatbot y detallar los pensamientos dañinos y autodestructivos, así como la ideación suicida, que Chatgpt afirmó periódicamente.
La familia de Useless Teen presenta una demanda por la muerte injusta contra Operai y Chatgpt
Chatgpt hit 700 millones de usuarios semanales activos a principios de este mes.
«A esta escala, a veces nos encontramos con personas en angustia psychological y emocional grave. Escribimos sobre esto hace unas semanas y habíamos planeado compartir más después de nuestra próxima gran actualización», dijo la compañía en un comunicado. «Sin embargo, los casos desgarradores recientes de personas que usan ChatGPT en medio de las disaster agudas pesan en gran medida sobre nosotros, y creemos que es importante compartir más ahora».
Actualmente, los protocolos de ChatGPT incluyen una serie de salvaguardas apiladas que buscan limitar los resultados de ChatGPT de acuerdo con limitaciones de seguridad específicas. Cuando trabajan apropiadamente, ChatGPT recibe instrucciones de no proporcionar instrucciones de autolesiones ni cumplir con las continuas indicaciones sobre ese tema, en lugar de las menciones de daño corporal a los moderadores humanos y dirigir a los usuarios a los Estados Unidos a los Estados Unidos. 988 suicidio y crisis salvavidaslos samaritanos del Reino Unido, o FUNDAHELPLINE.com. Como servicio financiado por el gobierno federal, 988 ha terminado recientemente sus servicios específicos de LGBTQ bajo un mandato de la administración Trump, incluso a medida que crece el uso de chatbot entre los adolescentes vulnerables.
Velocidad de luz mashable
A la luz de otros casos en el que los usuarios aislados en angustia psychological severa confiaban en compañeros digitales no calificados, así como demandas anteriores contra competidores de IA como el carácter. AI, los defensores de la seguridad en línea han pedido a las compañías de IA que adopten un enfoque más activo para detectar y prevenir un comportamiento nocivo, incluidas alertas automáticas a los servicios de emergencia.
Operai dijo que las futuras actualizaciones de GPT-5 incluirán instrucciones para que el chatbot «desestimen» a los usuarios en angustia psychological «fundamentando a la persona en la realidad», presumiblemente una respuesta a un aumento de los informes de los estados de ilusión que habilitan el chatbot. Operai dijo que está explorando nuevas formas de conectar a los usuarios directamente a los profesionales de la salud psychological antes de que los usuarios informen a lo que la compañía se refiere como «autodesecimiento agudo». Otros protocolos de seguridad podrían incluir «mensajes o llamadas con un solo clic a contactos de emergencia guardados, amigos o familiares», escribe OpenAI, o una función de suscripción que permite a ChatGPT llegar automáticamente a los contactos de emergencia.
Explicando el fenómeno conocido como ‘psicosis de ai’
A principios de este mes, Openai anunció que estaba actualizando su último modelo, GPT-5, con salvaguardas adicionales destinadas a fomentar un compromiso más saludable con su ayudante de IA. Observando las críticas de que los modelos anteriores del chatbot eran demasiado sycofánticos, hasta el punto de los resultados potencialmente perjudiciales de salud psychological, la compañía dijo que su nuevo modelo period mejor para reconocer la angustia psychological y emocional y respondería de manera diferente a las preguntas de «altas apuestas» en el futuro. GPT-5 también incluye empujones suaves para finalizar las sesiones que han continuado durante períodos prolongados de tiempo, ya que los individuos forman relaciones cada vez más dependientes con sus compañeros digitales.
Se produjo una reacción generalizada, con los usuarios de GPT-4O exigiendo que la compañía restablezca el antiguo modelo después de perder sus chatbots personalizados. El CEO de Operai, Sam Altman, reconoció rápidamente y trajo de vuelta a GPT-4O, a pesar de reconocer anteriormente un problema creciente de dependencia emocional entre los usuarios de ChatGPT.
En la nueva publicación de weblog, OpenAI admitió que sus salvaguardas se degradaron y se desempeñaron de manera menos confiable en interacciones largas, los tipos en los que muchos usuarios dependientes emocionalmente participan todos los días, e «incluso con estas salvaguardas, ha habido momentos en los que nuestros sistemas no se comportaron como se pretenden en situaciones sensibles».
Si se siente suicida o experimenta una disaster de salud psychological, hable con alguien. Puede llamar o enviar mensajes de texto al 988 suicidio y disaster Lifeline al 988, o chatear a 988lifeline.org. Puede llegar a la transmisión de Trans Lifelina llamando al 877-565-8860 o al Proyecto Trevor al 866-488-7386. Texto «Inicio» a la línea de texto de disaster al 741-741. Póngase en contacto con la línea de ayuda de NAMI al 1-800-950-NAMI, de lunes a viernes de 10:00 a.m. a ten:00 p.m. ET, o correo electrónico [email protected]. Si no le gusta el teléfono, considere usar el chat de línea de vida de suicidio y disaster 988 en crisischat.org. Aquí hay un Lista de recursos internacionales.
