113Mパラメータの地震LLMをゼロから訓練してみた

I trained a 113M-parameter earthquake LLM from absolute scratch

地震科学のための小型GPTを、空のフォルダから会話可能なモデルまで、全LLMライフサイクルをブロックごとに解説する教育用リポジトリ。クロール、クリーニング、トークナイズ、モデル構築、訓練、推論を2枚のNVIDIA A30で実施。コーパスは地震学テキストと一般テキストを約1:2.4で混合し、113Mパラメータのモデルが1日で学習ループを完結できる。4096トークンのコンテキスト長が性能を約11%向上させること、一般テキスト混合が流暢性を大幅に改善することなど、実測データに基づく知見を提供する。