LLM이 표 형식 데이터 예측에서 실패하는 이유: 차원이 결정적이다

Why Large Language Models Fail at Tabular Prediction

대규모 언어 모델(LLM)은 다양한 작업에서 뛰어난 성능을 보이지만, 표 형식 데이터 예측에서는 고전적인 머신러닝 모델에 뒤처지는 경우가 많습니다. 이 연구는 프론티어 LLM을 단일 생성 패스로 제한하고, 다섯 가지 가설을 체계적으로 검증했습니다. 그 결과, 노이즈 처리, CSV 형식, 토큰화, 쿼리당 테스트 포인트 수는 실패 원인이 아니며, 입력 차원이 결정적인 요인임을 발견했습니다. 31개 데이터셋에 대한 실험에서 LLM은 차원이 증가할수록 정확도가 감소한 유일한 모델이었습니다. 2차원에서는 국소적 거리 기반 방법처럼 행동했지만, 고차원에서는 어떤 고전적 모델도 LLM의 예측을 재현하지 못했습니다. 이는 LLM의 능력이 차원에 따라 붕괴됨을 보여줍니다.