Gemini Flash identifica setas venenosas como comestibles en el 11% de los casos
Mushroom hunting with LLMs: what can go wrong?
Un desarrollador evaluó a 16 modelos de visión por IA, incluidos GPT-5.6, Claude y Gemini, con 1.040 fotos de setas de 55 especies comestibles y mortales. Los modelos Gemini Flash acertaron el 64% de las veces, pero todos cometieron errores peligrosos: confundieron setas mortales como la oronja verde con comestibles como la amanita vaginata. El estudio revela que, aunque la IA puede ayudar a identificar setas, aún no es segura para guiar decisiones sobre salud o vida.
Una seta mortal es confundida con un rebozuelo: el mismo error que mata a los recolectores.
- Insanity
Confiar en un LLM para una decisión que potencialmente puede ser fatal es una buena prueba darwiniana, supongo.
Lamentablemente, no creo que el público en general entienda que los LLM no son fiables. (E incluso la gente de tecnología puede sobreestimar enormemente sus capacidades... al menos a juzgar por el gasto insensato que hacen en ellos).
- julienchastang
¡Ja! Acabo de tener una conversación muy interesante con ChatGPT sobre una seta que encontré en mi césped delantero. Estoy 99% seguro de que era una seta ostra comestible, lo que incluyó el análisis del tamaño, el sustrato de crecimiento (una raíz muerta de fresno, que resulta ser una característica de identificación útil—aprendí mucho sobre micología en poco tiempo). Además, no uso fertilizantes, herbicidas, pesticidas ni fungicidas (obviamente) en mi césped, así que creo que habría estado bastante sabrosa. ¿La comí? Ni hablar. Pero luego me puse a pensar: ¿confiaría en un humano para identificarla correctamente? En realidad no estoy seguro de que lo hiciera. La penalización por una identificación errónea es demasiado grande, ya sea LLM o no.
- WarmWash
He usado Gemini bastante para buscar alimentos silvestres. Definitivamente es una situación de "confía, pero verifica". Es muy bueno al menos para ponerte en el camino correcto para verificar, en lugar de tener que revisar cientos de fotos.
Así que incluso si se equivoca, una verificación corta generalmente revela por qué estaba equivocado. No he tenido una situación en la que estuviera catastróficamente equivocado (es decir, la seta que señaló no se parece en nada a la seta de la imagen). También suele advertir sobre especies similares.
También lo uso mucho para la identificación general de plantas, y es realmente impresionante también, con mucho menos en juego (no me las voy a comer).
- zikduruqe
Hay cazadores de setas viejos, y hay cazadores de setas audaces.
No hay cazadores de setas viejos y audaces.
- Legend2440
¿Es posible identificar de manera fiable (>99%) setas a partir de una sola imagen, con cualquier método?
Todos los conjuntos de datos de imágenes tienen un error mínimo intrínseco que proviene del límite de información en los datos, independientemente del modelo o método que uses para analizarlos.
Puede que no puedas distinguir dos especies de setas similares solo con mirarlas.