ポストトレーニングに「データ・コモンズ」は存在しない
There is no posttraining data commons
事前学習はCommon CrawlやWikipediaなど、すでに存在した膨大な文書のコモンズに支えられてきた。しかし強化学習によるポストトレーニングが消費するのは文書ではなく「タスク」であり、人間の営みに根ざしたタスクはその場限りで消えていく。唯一の例外であるソフトウェアですら、SWE-benchのタスクの大半が実行不能や報酬ハックで破棄されている。残る経済活動をタスク化するには大規模な「刻印」が必要で、それがポストトレーニング・データ産業の存在理由となっている。
事前学習は文書を消費するが、ポストトレーニングはタスクを消費する。
HNでの議論
15- dlwh
こんにちは、これを書いたのは数週間前です。まさかここで見かけるとは思っていませんでした、などなど。
質問があれば喜んで答えます。Discordはこちらです: https://marin.community/
- mrkn1
「我々はこの世のすべてのデータを持っている、ただし実際に必要なデータを除いては」ということを、とてもアカデミックに言い表したものだね。企業に何かの仕組みを尋ねると、こう返ってくる:
「ああ、プロセスがありますよ」
よかった。それはどこに文書化されている?
「スプレッドシートに」
どのスプレッドシート?
「ええと、古いスプレッドシートと、新しいスプレッドシートと、Karenが管理しているスプレッドシートがあります」
Karenはどこに?
「2021年に辞めました」
- mindwok
ポストトレーニングのデータ・コモンズと、それを取り巻くインフラは、私の意見では次に来る偉大なオープンソースプロジェクトだ。PostgresやLinuxに匹敵するような。
Stanford発のMarinプロジェクト(今はこのブログ記事の著者であるOpenathenaが運営しているはず)は本当に有望でクールだ: https://marin.community/