“Mas o ChatGPT disse…”
Respostas de Grandes Modelos de Linguagem como ChatGPT, Claude ou Gemini não são fatos.
Eles preveem quais palavras têm mais probabilidade de vir a seguir em uma sequência.
Eles podem produzir informações que soam convincentes, mas essas informações podem não ser precisas nem confiáveis.
Imagine alguém que leu milhares de livros, mas não lembra onde leu cada coisa.
Em que tipo de coisas essa pessoa poderia ser boa?
Em que tipo de coisas essa pessoa poderia ser ruim?
Claro, você pode obter uma resposta que esteja certa ou um conselho que seja bom… mas quais “livros” ele está “lembrando” quando dá essa resposta? Essa resposta ou conselho é uma combinação comum de palavras, não um fato.
Não copie e cole algo que um chatbot disse e mande para alguém como se aquilo tivesse autoridade.
Quando você faz isso, está basicamente dizendo: “aqui está um monte de palavras que costumam aparecer juntas em uma frase.”
Às vezes isso pode ser útil ou esclarecedor. Mas não é uma verdade, e com certeza não é a palavra final sobre um assunto.
Leitura adicional:
- OpenAI: Why language models hallucinate
- Oxford University: Large Language Models pose risk to science with false answers, says Oxford study
- New York Times: A.I. Is Getting More Powerful, but Its Hallucinations Are Getting Worse (Archived Version)
- MIT Media Lab: People Overtrust AI-Generated Medical Advice despite Low Accuracy
- Business Insider: Why AI chatbots hallucinate, according to OpenAI researchers
- Reuters: AI 'hallucinations' in court papers spell trouble for lawyers
- MIT Technology Review: How AI is introducing errors into courtrooms
- Nature: AI chatbots are sycophants — researchers say it's harming science
- CNN: Parents of 16-year-old sue OpenAI, claiming ChatGPT advised on his suicide
- Financial Times: The ‘hallucinations’ that haunt AI: why chatbots struggle to tell the truth (Archived Version)
- The Guardian: ‘Sycophantic’ AI chatbots tell users what they want to hear, study shows
- PCMag: Vibe Coding Fiasco: AI Agent Goes Rogue, Deletes Company’s Entire Database
- Stephen Wolfram: What Is ChatGPT Doing and Why Does It Work?
Mande isso para alguém que acabou de te dizer:
“Mas o ChatGPT disse...”
Eu gosto de LLMs. Eu gosto de Machine Learning.
Só não gosto de ver pessoas inteligentes desligarem o cérebro.
❤