Stale AI - 20モデルのリリース日と学習カットオフを可視化
Show HN: How Stale Is Your AI? Release age and training cutoff for 20 models
Stale AIは、20のAIモデルについてリリースからの経過日数と学習データのカットオフ日を追跡する静的HTMLページです。モデルがどれだけ「古い」かを一目で把握でき、モデル自身が最新モデルについて誤った情報を自信満々に答える問題を解決します。各日付はベンダーの公式ドキュメントに基づいて手動で検証され、モデル名はソースへリンクしています。フレームワーク不使用で、シンプルかつ信頼性の高い情報を提供します。
モデルがモデルについて自信を持って間違えるという失敗は面白いだけでなく現実的な問題です。だから私は日付を保持し、上向きにカウントするページを作りました。動く数字はチェンジログに座っている数字よりずっと無視しにくいのです。
HNでの議論
39- gjskngnf
アメリカがベネズエラのマドゥロ大統領を捕らえた時のことだが、それに関するプロンプトを投げかけたら、モデルはそれは完全なフィクションだと言った。再確認するように言っても、まだその考えを検討しようとしなかった。私が具体的にReutersを確認するように指示して初めて、しぶしぶ認めた。ここ数ヶ月はこの問題に気づいていない。最近はモデルのカットオフはあまり問題にならないようだ。
- ctkhn
汎用的な用途にはこれは興味深いが、私がLLMをコーディングにしか使わないなら、これは全く関係あるのだろうか？モデルの公開日以降の新しいJavaバージョンのようなものでも、たとえトレーニングデータに明示的になくても、ツール呼び出しとコンテキストを通じてモデルが扱い理解できることを期待する。ちょうど、LLMが私の既存のコードやそれを変更する計画をトレーニングから焼き込まれていないのと同じように。
- jasonjmcghee
それは依然として重要だが、優れた推論、ツール使用、ウェブ検索の時代においては、以前よりもずっと小さな問題だ。
- SirMaster
これはAIについて私が気になることの一つだ。
私にとって、知能あるいは知的な存在は、自分の間違いから学び、自力で新しいことを学べるべきだ。AIに新しい事実や新しいスキルを教えるために一から始めなければならないのは、私の意見ではあまり知的とは言えない。
- ryanschaefer
人々はLLMが生み出す新しいフラットスタイルを好むのだろうか？以前に彼らが大量に生み出していたグラデーションテーマほどには気にならない。