「でもChatGPTはこう言ってて……」
ChatGPT、Claude、Geminiなどの大規模言語モデル(LLM)の応答は事実ではありません。
それらは順序に従ってどんな単語が次に来るのがもっともらしいか予測しています。
それらは説得力があるように見える情報を生成することはできますが、その情報は正確でなかったり、信頼できなかったりします。
何千冊もの本を読んだけれど、何をどの本で読んだか思い出せない人を想像してください。
その人はどんなことが得意でしょうか?
その人はどんなことが苦手でしょうか?
確かに、あなたは正しい答えや良い助言を得られる可能性がないとは言い切れません。しかし、それはどの「本」を「思い出し」て出した答えなのでしょうか? その答えや助言は単語のよくある組み合わせであって、事実ではありません。
チャットボットが言ったことをコピペして信頼できるかのように誰かに送るのはやめましょう。
それをしたとき、基本的にあなたは「ある文中に一緒によく出てくる単語はこれらです」と言っているようなものです。
時にはそれが役に立ったり本質を突いていたりしないとも限りませんが、真実ではありませんし、問題についての最終的な意見では決してありません。
参考文献:
- OpenAI: 言語モデルでハルシネーションがおきる理由
- Oxford University: Large Language Models pose risk to science with false answers, says Oxford study (英文)
- New York Times: A.I. Is Getting More Powerful, but Its Hallucinations Are Getting Worse (Archived Version) (英文)
- MIT Media Lab: People Overtrust AI-Generated Medical Advice despite Low Accuracy (英文)
- Business Insider: Why AI chatbots hallucinate, according to OpenAI researchers (英文)
- Reuters: AI 'hallucinations' in court papers spell trouble for lawyers (英文)
- MIT Technology Review: AI幻覚、法廷にも 知的労働の最高峰がなぜ騙されるのか?
- Nature: AI chatbots are sycophants — researchers say it's harming science (英文)
- CNN: 「チャットGPTが自殺を手助け」 16歳の息子を失った夫婦、オープンAIを提訴 米
- Financial Times: The 'hallucinations' that haunt AI: why chatbots struggle to tell the truth (Archived Version) (英文)
- The Guardian: 'Sycophantic' AI chatbots tell users what they want to hear, study shows (英文)
- PCMag: Vibe Coding Fiasco: AI Agent Goes Rogue, Deletes Company's Entire Database (英文)
誰かがあなたに
「でもChatGPTはこう言ってて……」
と言ったらこれを送ってください
私はLLMが好きです。私は機械学習が好きです。
私は賢い人達が頭を使わなくなるのを見るのが好きではないだけです。
❤