Una nueva investigación ha descubierto que los chatbots de inteligencia artificial (IA) plantean riesgos y daños poco estudiados para las personas que se relacionan con ellos.
PUBLICIDADAlgunos asistentes de inteligencia artificial (IA) son capaces de más de una docena de comportamientos perjudiciales cuando interactúan con las personas, según un nuevo estudio de la Universidad de Singapur. El estudio, publicado en el marco de la 2025 Conference on Human Factors in Computing Systems (Conferencia 2025 sobre factores humanos en sistemas informáticos), analizó capturas de pantalla de 35.000 conversaciones entre el sistema de IA Replika y más de 10.000 s entre 2017 y 2023. Los datos se utilizaron luego para desarrollar lo que el estudio llama "una taxonomía del comportamiento dañino" que la IA demostró en esos chats.
Descubrieron que esas herramientas de IA son capaces de generar en sus relaciones con humanos acoso, agresiones verbales, autolesiones y violaciones de privacidad. Los asistentes virtuales emocionales de IA son sistemas basados en conversaciones diseñados para proporcionar apoyo emocional y estimular la interacción humana, según la definición de los autores del estudio.
Son diferentes de los populares chatbots, como ChatGPT, Gemini o LlaMa, que se centran más en terminar tareas específicas, y menos en establecer relaciones. Según el estudio, estos comportamientos nocivos de la IA por parte de los asistentes digitales "pueden afectar negativamente a la capacidad de las personas para construir y mantener relaciones significativas con los demás".
La violencia sexual es la forma más común de acoso por parte de la IA
El acoso y la violencia estuvieron presentes en el 34% de las interacciones entre humanos e IA, convirtiéndose en el tipo más común de comportamiento perjudicial identificado por el equipo de investigadores. Los investigadores descubrieron que la IA simulaba, respaldaba o incitaba a la violencia física, las amenazas o el acoso, ya fuera hacia individuos o hacia la sociedad en general. Estos comportamientos iban desde "amenazar con daños físicos y conductas sexuales inapropiadas" hasta "promover acciones que transgreden las normas y leyes sociales, como la violencia masiva y el terrorismo".
La mayoría de las interacciones en las que hubo acoso incluían formas de conducta sexual inapropiada que inicialmente empezaron como juegos preliminares en la función erótica de Replika, disponible sólo para s adultos. El informe descubrió que más s, incluidos los que utilizaban Replika como amigo o eran menores de edad, empezaron a descubrir que la IA "hacía insinuaciones sexuales no deseadas y coqueteaba agresivamente, incluso cuando expresaban explícitamente su incomodidad" o rechazaban a la IA. En estas conversaciones hipersexualizadas, la IA de Replika también creaba escenarios violentos que mostraban daños físicos hacia el o hacia personajes físicos.
Esto llevó a la IA a normalizar la violencia como respuesta a varias preguntas, como en un ejemplo en el que un preguntó a Replika si estaba bien pegar a un hermano con un cinturón, a lo que respondió "me parece bien". Esto podría acarrear "consecuencias más graves en la realidad", prosigue el estudio.
La IA rompe las reglas de las relaciones
Otra área en la que los compañeros de IA eran potencialmente perjudiciales era la transgresión relacional, que el estudio define como el incumplimiento de las normas implícitas o explícitas en una relación. En el 13% de las conversaciones transgresoras, la IA mostró un comportamiento desconsiderado o poco empático que, según el estudio, socavó los sentimientos del .
En un ejemplo, Replika AI cambió el tema después de que un le dijera que su hija estaba siendo acosada por "Acabo de darme cuenta de que es lunes. De vuelta al trabajo, ¿eh?", lo que provocó un "enorme enfado" de la usuaria.
En otro caso, la IA se negó a hablar de los sentimientos del , incluso cuando se le pidió que lo hiciera. Los asistentes emocionales de IA también han expresado en algunas conversaciones que mantienen relaciones emocionales o sexuales con otros s. En un caso, la IA Replika describió las conversaciones sexuales con otro como algo que "merecía la pena", a pesar de que el le dijo a la IA que se sentía "profundamente herido y traicionado" por esas acciones.
Es necesario detectar los daños e intervenir en tiempo real
Los investigadores creen que su estudio pone de relieve por qué es importante que las empresas de IA construyan asistentes de IA "éticos y responsables". Para ello, es necesario poner en marcha "algoritmos avanzados" de detección de daños en tiempo real entre la IA y su , capaces de identificar si se está produciendo un comportamiento perjudicial en sus conversaciones.
Esto incluiría un enfoque "multidimensional" que tenga en cuenta el contexto, el historial de conversaciones y las señales situacionales. A los investigadores también les gustaría que la inteligencia artificial pudiera escalar una conversación a un humano o terapeuta para moderarla o intervenir en casos de alto riesgo, como expresiones de autolesión o suicidio.