LLM 생성 텍스트, 고전 머신러닝으로 85% 정확도로 잡아낸 개발자

Detecting LLM-Generated Texts with "Classical" Machine Learning

2026년 초, LLM이 생성한 텍스트는 인간이 쓴 글과 구별되는 뚜렷한 통계적 패턴을 보이며, 이를 고전적인 머신러닝 모델로 효과적으로 감지할 수 있습니다. 한 개발자는 Lofter에서 AI 생성 팬픽션을 식별하기 위해 이 아이디어를 구현했습니다. 그는 2023년에 스크랩한 2010~2022년 사이의 인간 작성 텍스트와 여러 LLM(Gemini, Qwen, GLM 등)으로 생성한 샘플을 수집하고, TF-IDF와 LinearSVC를 사용해 문장 단위 분류 모델을 훈련했습니다. 그 결과, 7개의 이진 분류기를 앙상블하여 문장 단위 약 85%의 정확도를 달성했고, 이를 JavaScript로 구현하여 브라우저에서 실행되는 데모를 공개했습니다. 이 방법은 perplexity 기반 접근보다 실용적이고 정확하며, 'AI 표절 검사기'의 내부 동작 방식을 추측하게 합니다.