Pilzsuche mit LLMs: Was kann schiefgehen?
Mushroom hunting with LLMs: what can go wrong?
Ein Foto vom Pilz im Wald, an den Chatbot geschickt – und schon kommt die Antwort. Aber wie zuverlässig sind Vision-LLMs wirklich, wenn es um Leben und Tod geht? Der Autor testet 16 Modelle mit über 1.000 Pilzfotos aus dem FungiTastic-Datensatz, darunter tödliche Arten wie den Grünen Knollenblätterpilz. Die Ergebnisse: Gemini 3.6 Flash erkennt 64 % der Arten korrekt, aber selbst die besten Modelle verwechseln tödliche Pilze mit essbaren – ein Fehler, der für Sammler fatal sein kann. Der Artikel analysiert die häufigsten Fehlklassifizierungen und zeigt, dass die Modelle bei gefährlichen Arten besonders riskante Verwechslungen machen.
Ein tödlicher Schleierling wird als Pfifferling bezeichnet – derselbe Fehler, der Pilzsammler das Leben kostet.
- Insanity
Einem LLM eine Entscheidung anzuvertrauen, die potenziell tödlich sein kann, ist wohl ein guter Darwin-Test. Traurigerweise glaube ich nicht, dass die breite Bevölkerung versteht, dass LLMs unzuverlässig sind. (Und sogar Leute in der Tech-Branche können ihre Fähigkeiten massiv überschätzen... zumindest gemessen an den irrsinnigen Ausgaben dafür.)
- julienchastang
Ha! Ich hatte gerade eine sehr interessante Unterhaltung mit ChatGPT über einen Pilz, den ich in meinem Vorgarten gefunden habe. Ich bin mir zu 99 % sicher, dass es ein essbarer Austernpilz war, einschließlich der Analyse von Größe, Wachstumssubstrat (tote Eschenwurzel, was sich als nützliches Identifikationsmerkmal herausstellt – ich habe in kurzer Zeit viel über Mykologie gelernt). Außerdem verwende ich keine Düngemittel, Herbizide, Pestizide oder Fungizide (offensichtlich) auf meinem Rasen, also denke ich, dass er ziemlich lecker gewesen wäre. Habe ich ihn gegessen? Auf keinen Fall. Aber dann habe ich angefangen zu überlegen: Würde ich einem Menschen vertrauen, ihn korrekt zu identifizieren? Ich bin mir tatsächlich nicht sicher, ob ich das tun würde. Die Strafe für eine Fehlidentifikation ist einfach zu groß, ob mit oder ohne LLM.
- WarmWash
Ich habe Gemini ziemlich oft für die Nahrungssuche genutzt. Es ist definitiv eine Situation von "Vertrauen, aber überprüfen". Es ist wirklich gut darin, einen zumindest in die richtige Richtung zu bringen, um zu verifizieren, anstatt Hunderte von Bildern durchkämmen zu müssen. Selbst wenn es falsch liegt, zeigt eine kurze Überprüfung normalerweise, warum es falsch lag. Ich hatte noch keine Situation, in der es katastrophal falsch lag (d.h. der Pilz, den es benannt hat, sieht dem abgebildeten Pilz überhaupt nicht ähnlich). Es warnt auch im Allgemeinen vor Doppelgängern. Ich nutze es auch viel für die allgemeine Pflanzenbestimmung, und es ist auch dort wirklich beeindruckend, mit viel geringeren Einsätzen (die esse ich nicht).
- zikduruqe
Es gibt alte Pilzsammler, und es gibt mutige Pilzsammler. Es gibt keine alten mutigen Pilzsammler.
- Legend2440
Ist es möglich, Pilze mit irgendeiner Methode zuverlässig (>99 %) anhand eines einzelnen Bildes zu identifizieren? Alle Bilddatensätze haben einen intrinsischen Mindestfehler, der aus der Informationsgrenze der Daten resultiert, unabhängig davon, welches Modell oder welche Methode man zur Analyse verwendet. Man könnte zwei ähnlich aussehende Pilzarten allein durch Hinsehen möglicherweise nicht unterscheiden.