“Pero ChatGPT dijo…”
Las respuestas de los Modelos de Lenguaje Grandes, como ChatGPT, Claude, o Gemini no son hechos.
Predicen qué palabra es más probable que aparezca a continuación en una secuencia.
Pueden generar información que suene convincente, pero esa información puede no ser exacta o confiable.
Imagínate a alguien que leyó miles de libros, pero no recuerda dónde leyó cada cosa.
¿En qué pueden ser buenos?
¿En qué pueden ser malos?
Por supuesto, podría ser que obtengas una respuesta que esté bien, o un consejo que sea bueno… ¿pero qué “libros” está “recordando” cuando da esa respuesta? Esa respuesta o consejo es una combinación frecuente de palabras, no un hecho.
No copies ni pegues algo que haya dicho un chatbot para enviárselo a alguien como si fuera una voz autorizada.
Cuando haces eso, básicamente estás diciendo: “aquí tienes un montón de palabras que con frecuencia aparecen juntas en una frase”.
A veces puede ser útil o inspirador. Pero no es una verdad, y con toda certeza no es la última palabra en ningún asunto.
Más información:
- OpenAI: Why language models hallucinate
- Oxford University: Large Language Models pose risk to science with false answers, says Oxford study
- New York Times: A.I. Is Getting More Powerful, but Its Hallucinations Are Getting Worse (Archived Version)
- MIT Media Lab: People Overtrust AI-Generated Medical Advice despite Low Accuracy
- Business Insider: Why AI chatbots hallucinate, according to OpenAI researchers
- Reuters: AI 'hallucinations' in court papers spell trouble for lawyers
- Nature: AI chatbots are sycophants — researchers say it’s harming science
- CNN: Parents of 16-year-old sue OpenAI, claiming ChatGPT advised on his suicide
- Financial Times: The ‘hallucinations’ that haunt AI: why chatbots struggle to tell the truth (Archived Version)
- The Guardian: ‘Sycophantic’ AI chatbots tell users what they want to hear, study shows
Envíale esto a alguien que te acaba de decir:
“Pero ChatGPT dijo...”
Me gustan los LLMs.
Me gusta el aprendizaje automático.
No me gusta ver a gente inteligente apagar el cerebro.
❤