«Но ChatGPT сказал…»
Ответы больших языковых моделей, таких как ChatGPT, Claude или Gemini, не являются фактами.
Они предсказывают, какие слова с наибольшей вероятностью появятся следующими в последовательности.
Они могут генерировать убедительно звучащую информацию, но эта информация может быть неточной или ненадёжной.
Представьте человека, который прочитал тысячи книг, но не помнит, где что прочитал.
В чём они могут быть хороши?
В чём они могут быть плохи?
Конечно, вы можете получить правильный ответ или хороший совет… но какие «книги» он «вспоминает», давая этот ответ? Этот ответ или совет — это распространённое сочетание слов, а не факт.
Не копируйте и не вставляйте то, что сказал чат-бот, и не отправляйте это кому-то как авторитетное мнение.
Когда вы это делаете, вы по сути говорите: «вот куча слов, которые часто встречаются вместе в предложении».
Иногда это может быть полезно или проницательно. Но это не истина, и уж точно не последнее слово в каком-либо вопросе.
Дополнительная информация:
- OpenAI: Why language models hallucinate
- Oxford University: Large Language Models pose risk to science with false answers, says Oxford study
- New York Times: A.I. Is Getting More Powerful, but Its Hallucinations Are Getting Worse (Archived Version)
- MIT Media Lab: People Overtrust AI-Generated Medical Advice despite Low Accuracy
- Business Insider: Why AI chatbots hallucinate, according to OpenAI researchers
- Reuters: AI 'hallucinations' in court papers spell trouble for lawyers
- MIT Technology Review: How AI is introducing errors into courtrooms
- Nature: AI chatbots are sycophants — researchers say it's harming science
- CNN: Parents of 16-year-old sue OpenAI, claiming ChatGPT advised on his suicide
- Financial Times: The 'hallucinations' that haunt AI: why chatbots struggle to tell the truth (Archived Version)
- The Guardian: 'Sycophantic' AI chatbots tell users what they want to hear, study shows
- PCMag: Vibe Coding Fiasco: AI Agent Goes Rogue, Deletes Company's Entire Database
Отправьте это тому, кто только что сказал вам,
«Но ChatGPT сказал...»
Мне нравятся большие языковые модели. Мне нравится машинное обучение.
Мне просто не нравится смотреть, как умные люди выключают свой мозг.
❤