LLM으로 버섯 사진을 찍으면? 치명적인 오답률 실측 결과
Mushroom hunting with LLMs: what can go wrong?
숲에서 버섯 사진을 찍어 LLM에 보내면 식용 여부를 알려줄까? Quesma의 개발자가 FungiTastic 데이터셋(34만 건 관찰, 2,800종)에서 폴란드의 식용·치명적 독버섯 목록에 해당하는 55종을 골라, 16개 비전 LLM에 1,040장의 사진을 식별하게 했다. 그 결과 Gemini 3.6 Flash가 64%의 정확도로 1위를 차지했고, 가격 대비 성능이 뛰어난 GLM-5.3-Flash가 주목할 만했다. 더 심각한 문제는 오답의 패턴이다. 독버섯을 식용 버섯으로 잘못 판단하는 비율이 모델에 따라 최대 36%에 달했고, 특히 독버섯을 '살갗버섯'이나 '꾀꼬리버섯'으로 오인하는 사례가 반복적으로 나타났다. 이는 실제 채집 현장에서 치명적인 사고로 이어질 수 있는 오류다.
치명적인 독버섯이 식용 버섯으로 오인되는 경우는 무작위가 아니다. 독버섯이 꾀꼬리버섯으로 불리는 것은 채집자들을 죽이는 것과 같은 실수다.
HN 토론
71- Insanity
치명적일 수 있는 결정을 LLM에게 맡기는 것은 훌륭한 다윈상 테스트라고 생각한다. 안타깝게도 일반 대중이 LLM이 신뢰할 수 없다는 것을 이해하지 못하는 것 같다. (기술 분야 사람들조차도 그 능력을 크게 과대평가할 수 있다.. 적어도 그들에 대한 미친 지출을 보면 말이다.)
- julienchastang
하! 방금 내 앞마당에서 발견한 버섯에 대해 ChatGPT와 아주 흥미로운 대화를 나눴다. 나는 그것이 식용 느타리버섯일 확률이 99%라고 확신했는데, 여기에는 크기, 생육 기질(죽은 물푸레나무 뿌리인데, 이것이 유용한 식별 특성으로 밝혀졌다 -- 나는 짧은 시간에 균류학에 대해 많은 것을 배웠다)에 대한 분석이 포함되어 있었다. 게다가 나는 잔디에 비료, 제초제, 살충제, 살균제(당연히)를 사용하지 않으므로 꽤 맛있었을 것이라고 생각한다. 내가 먹었는가? 천만에. 하지만 그때 나는 생각했다. 인간이 그것을 정확히 식별할 수 있을까? 사실 나도 확신할 수 없다. LLM이든 아니든 잘못 식별했을 때의 대가는 너무 크다.
- WarmWash
나는 Gemini를 채집에 꽤 많이 사용해 왔다. 확실히 '신뢰하되 검증하라'는 상황이다. 수백 장의 사진을 뒤져야 하는 대신, 적어도 검증할 올바른 방향으로 안내하는 데는 정말 능숙하다. 그래서 틀렸더라도 짧은 검증으로 왜 틀렸는지 보통 드러난다. 아직까지 치명적으로 틀린 경우는 없었다(즉, 지목한 버섯이 촬영된 버섯과 전혀 닮지 않은 경우). 또한 일반적으로 유사종에 대해 경고해 주기도 한다. 나는 또한 일반적인 식물 식별에도 많이 사용하는데, 거기서도 정말 인상적이며 위험 부담은 훨씬 낮다(그것들을 먹지는 않으니까).
- zikduruqe
늙은 버섯 사냥꾼이 있고, 대담한 버섯 사냥꾼이 있다. 늙고 대담한 버섯 사냥꾼은 없다.
- Legend2440
어떤 방법으로든 단일 이미지에서 버섯을 안정적으로(>99%) 식별하는 것이 가능한가? 모든 이미지 데이터셋에는 데이터 정보의 한계에서 비롯되는 내재적 최소 오류가 있다. 어떤 모델이나 방법을 사용하여 분석하든지 간에 말이다. 비슷해 보이는 두 버섯 종을 그냥 보는 것만으로 구별하지 못할 수도 있다.