ChatGPT se detendrá inmediatamente si los usuarios mencionan o presionan para que mencione ciertos nombres.
La gente notó que si se le preguntaba al modelo de inteligencia artificial OpenAI sobre «David Mayer», decía «No puedo producir una respuesta» y se detenía. Al menos otros cinco nombres provocan el mismo resultado.
Ars Technica dijo que la falla probablemente esté codificada por sus programadores, porque ChatGPT tendía a confabular información errónea y potencialmente difamatoria sobre personas con esos nombres.
El error, o característica, podría permitir que usuarios maliciosos ataquen el sistema, dijo: por ejemplo, si una imagen contiene un nombre prohibido en una fuente apenas visible, podría romper la IA sin que el usuario sepa por qué.
Traducido de SEMAFOR