LLM путают смертельно ядовитые грибы со съедобными: тест на 55 видах
Mushroom hunting with LLMs: what can go wrong?
Автор проверил, насколько хорошо современные vision-language модели распознают грибы по фотографиям. Используя тестовую выборку из датасета FungiTastic (1040 фото 55 видов, включая смертельно ядовитые), он сравнил 16 моделей: от Gemini 3.6 Flash до GPT-5.6-Sol. Результаты: лучшая модель (Gemini 3.6 Flash) верно определяет вид в 64% случаев, но при этом 11% ядовитых грибов она называет съедобными. Опасные ошибки не случайны: смертельно ядовитый паутинник великолепный принимается за лисичку, а бледная поганка — за съедобную гризетт. Автор приводит примеры ошибок и предупреждает: доверять ИИ в вопросах жизни и смерти нельзя.
Смертельно ядовитый паутинник называют лисичкой — та же ошибка, что убивает грибников.
- Insanity
Доверять LLM решение, которое потенциально может быть смертельным, — неплохой тест на дарвинизм, полагаю.
К сожалению, я не думаю, что широкая публика понимает, что LLM ненадёжны. (И даже люди в технологиях могут сильно переоценивать их возможности.. по крайней мере, судя по безумным тратам на них).
- julienchastang
Ха! У меня только что был очень интересный разговор с ChatGPT о грибе, который я нашёл на своей лужайке. Я на 99% уверен, что это была съедобная вешенка, включая анализ размера, субстрата произрастания (мёртвый корень ясеня, который, как оказалось, является полезным идентификационным признаком — я много узнал о микологии за короткое время). Плюс я не использую удобрения, гербициды, пестициды, фунгициды (очевидно) на своём газоне, так что думаю, он был бы довольно вкусным. Съел ли я его? Чёрта с два. Но потом я задумался: доверился бы я человеку в правильной идентификации? На самом деле не уверен, что и ему бы доверился. Штраф за неправильную идентификацию слишком велик, будь то LLM или нет.
- WarmWash
Я довольно много использовал Gemini для поиска съедобных растений. Это определённо ситуация «доверяй, но проверяй». Он действительно хорош в том, чтобы по крайней мере направить тебя в нужное русло для проверки, а не заставлять просматривать сотни фотографий.
Так что даже если он ошибается, короткая проверка обычно показывает, почему он ошибся. У меня ещё не было ситуации, когда он ошибался катастрофически (т.е. гриб, который он назвал, выглядит совсем не так, как гриб на фото). Он также обычно предупреждает о похожих видах.
Я также часто использую его для общей идентификации растений, и там он тоже впечатляет, с гораздо меньшими рисками (я их не ем).
- zikduruqe
Есть старые грибники, и есть смелые грибники.
Старых смелых грибников не бывает.
- Legend2440
Возможно ли надёжно (>99%) идентифицировать грибы по одному изображению, любым методом?
Все наборы изображений имеют внутреннюю минимальную ошибку, обусловленную ограничением информации в данных, независимо от того, какая модель или метод используется для анализа.
Возможно, вы не сможете отличить два похожих вида грибов, просто взглянув на них.