LLM 훈련의 비유: 빵 굽기

Baking a Model: A Metaphor for LLM Training

켄트 벡이 LLM 훈련 과정을 빵 굽기에 비유하여 설명합니다. 사전 훈련은 냉장 발효처럼 대규모로 진행되며, 사후 훈련은 반죽을 성형하고 굽는 것처럼 세부 조정을 거칩니다. 그는 모델이 단순한 숫자 덩어리이며, 훈련 과정이 전통적인 프로그래밍과 어떻게 다른지, 그리고 이 과정이 왜 대규모 베팅인지 설명합니다.