“Pero ChatGPT dijo…”
Las respuestas de los Modelos de Lenguaje Grandes, como ChatGPT, Claude, o Gemini no son hechos.
Predicen qué palabra es más probable que aparezca a continuación en una secuencia.
Pueden generar información que suene convincente, pero esa información puede no ser exacta o confiable.
Imaginate a alguien que leyó miles de libros, pero no se acuerda dónde leyó cada cosa.
¿Para qué cuestiones pueden ser buenos?
¿Para qué cuestiones pueden ser malos?
Por supuesto, podría ser que obtengas una respuesta que esté bien, o un consejo que sea bueno… ¿pero qué “libros” está “recordando” cuando da esa respuesta? Esa respuesta o consejo es una combinación frecuente de palabras, no un hecho.
No copies y pegues algo que dijo un chatbot para mandárselo a alguien como si fuera una voz autorizada.
Cuando hacés eso, básicamente estás diciendo “acá tenés un montón de palabras que frecuentemente van juntas en una frase”.
A veces puede ser útil o inspirador. Pero no es una verdad, y con toda certeza no es la última palabra en ningún asunto.
Leer más:
- OpenAI: Why language models hallucinate
 - Oxford University: Large Language Models pose risk to science with false answers, says Oxford study
 - New York Times: A.I. Is Getting More Powerful, but Its Hallucinations Are Getting Worse (Archived Version)
 - MIT Media Lab: People Overtrust AI-Generated Medical Advice despite Low Accuracy
 - Business Insider: Why AI chatbots hallucinate, according to OpenAI researchers
 - Reuters: AI 'hallucinations' in court papers spell trouble for lawyers
 - Nature: AI chatbots are sycophants — researchers say it’s harming science
 - CNN: Parents of 16-year-old sue OpenAI, claiming ChatGPT advised on his suicide
 - Financial Times: The ‘hallucinations’ that haunt AI: why chatbots struggle to tell the truth (Archived Version)
 - The Guardian: ‘Sycophantic’ AI chatbots tell users what they want to hear, study shows
 
Mandale esto a alguien que te acaba de decir:
          
          “Pero ChatGPT dijo...”
        
      
          Me gustan los LLMs.
          Me gusta el Machine Learning.
          
          No me gusta ver que la gente inteligente apaga el cerebro.
          
          
            ❤