LLM에게 확신도를 물으면 안 되는 이유
Using LLM for confidence scoring is a bad idea
LLM이 내놓는 확률이나 확신도 점수는 측정값이 아니라 그럴듯한 텍스트의 연속일 뿐이다. 같은 질문에도 숫자가 달라지고, 표현만 바꿔도 값이 흔들린다. 신뢰할 수 있는 확신도는 예보관처럼 정보를 규칙으로 환산하고 실제 결과와 대조해 보정해야 하며, LLM은 답변 생성만 맡기고 확신도는 별도의 규칙으로 산출해야 한다.
“0.85”는 대화의 그럴듯한 연속일 뿐, 어떤 것에 대한 측정값이 아니다.
HN 토론
43- madrox
나는 통계학 학위를 받았는데, 그 시절을 돌이켜보면 우리는 모델을 구축하는 방법을 배우는 데 아마 10%의 시간을 썼고, 모델 출력을 올바르게 해석하는 데 90%의 시간을 썼다. 물론 내가 통계학을 배우던 시기에는 거의 전적으로 자연과학, 금융, 보험계리 분야에만 적용되었다. 머신러닝의 무법지대는 아직 시작되지 않았었다. 지금은 다르게 가르치는지 궁금하다.
우리가 n이 수천만 단위로 커지는 큰 데이터셋을 사용하기 시작했을 때, 우리는 마진이 너무 작아서 사실상 어떤 범위의 평균을 찾았다고 확신할 수 있었기 때문에 거의 신경 쓰지 않게 되었다. 하지만 그 시점에 우리는 신뢰도 점수가 실제로 무엇인지, 그리고 곱해진 알파가 얼마나 빠르게 불어날 수 있는지를 잊어버린 것 같다.
- luisfominaya
나는 입력에 약간의 변형(예: 질문을 부정하는 것)을 주면서 Polymarket의 이벤트를 예측하도록 요청하여 LLM이 얼마나 일관성이 있는지 살펴보았다.
결과는 여기서 직접 확인할 수 있다: https://noisebench.com/
- orbital-decay
물론 LLM은 내부적으로 일관된 자신만의 신뢰도에 대한 잠재 개념을 가지고 있고 그것을 완벽하게 표현할 수 있다. 다만 작성자가 질문하는 최악의 방법을 선택했을 뿐이다. LLM이든 사람이든 0-100 척도를 사용하는 것은 나쁜 생각이다. 0-100으로 평가하는 대신, 문제를 여러 차원/축으로 나누고 각각에 작고 의미 있는 열거형이나 덜 세분화된 숫자 척도(이상적으로는 이진 선택)를 부여하라. 그런 다음 결과에 가중 점수를 적용하라. 이런 방식으로 신뢰도를 의미 있게 표현하는 능력이 얼마나 좋아지는지 놀랄 것이다.
YouTube가 같은 이유로 1-5 척도를 제거했다. 사람들은 그것으로 무엇을 해야 할지 전혀 모른다.
- Ozzie_osman
우리는 기존 모델에 도메인에 맞는 신뢰도 점수를 파인튜닝할 수 있다는 것을 발견했다. 작동 방식은 기본적으로 모델이 어떤 유형의 입력을 자주 맞히고 어떤 유형을 자주 틀리는지 이해하도록 돕는 것 같다. 이는 모델이 학습할 수 있을 것이라고 기대할 만한 합리적인 일처럼 보인다.
- visarga
내 말로 하자면, 보정 세트 없이는 모델의 신뢰도를 보정할 수 없다. 신뢰도는 어떤 레이블된 데이터셋에 상대적이며, 버킷이나 구간의 집합에 기반해 설정되고, 모집단 기반이어서 단일 예측에 대해서는 확인할 수 없다. 사례별로 할당하고 모집단별로 검증하라.
Jev가 제시된 방식은 교활했다고 생각한다. "우리가 모델을 당신을 위해 보정했다"고 말하면서 과제별 보정 세트를 생략할 수는 없다. 그들은 우리의 모든 미래 과제를 알 수 없었을 것이다.