オープンモデルは閉源モデルにどこまで迫ったか、その差はわずか4〜6カ月
Open-Source AI and Open Models Reading List
オープンモデルに関する最重要文献をまとめた読書リスト。オープンモデルの定義やリリース動機、ビジネス戦略との関係、リスク、中国ラボの台頭、蒸留をめぐる議論までを網羅する。特に、オープンとクローズドの性能差が近年縮まり、現在は約4〜6カ月にまで迫っているという指摘が核心だ。2024年以降、最先端のオープンモデルはすべて中国のラボから生まれている。
オープンとクローズドのモデルギャップは近年縮小しており、現在はおよそ4〜6カ月である。2024年以降、最先端のオープンモデルはすべて中国のラボから生まれている。
HNでの議論
30- ofrzeta
これにはJay AlammarとMaarten Grootendorstによる「Hands-on Large Language Models」も含めるべきだ。
- vtemp009
AIは権利を持つ意識的存在なのか？：ポストヒューマン集団意識の出現 | Zenodo https://zenodo.org/records/20676952/latest
今のところ2026年で一番のお気に入りの読み物
- brcmthrowaway
LLMの内部構造を学ぶのはどうだろう、2026年でもSebastian Raschkaのコンテンツがまだ最高なのか？
- Onavo
ほとんど役に立たない読書リスト。技術的なSOTAにはほとんど重点が置かれておらず、政策レベルのとりとめのない話ばかり。
そして他のコメント者が尋ねているデータの質問についてだが — できる限りすべてをスクレイピングする（ああ、私がemダッシュを使ったのに気づいた？私をPangramの言い訳チェックにかけてみる？）。Anna's archive、The Pile、様々なHuggingfaceデータセットと集約、Common Crawl。Bright Dataのようなプロキシファームに金を払って、レジデンシャルやモバイルのグレーゾーンプロキシ、VPN、CloudFlareバイパスを実行してさらにスクレイピングする。LG TVにVPN SDKが入っているとかいうフロントページのスレッドで多くのHNユーザーが怒っているのを見る。そして5分後には、彼らは自分の給料を稼ぐためにフロンティアLLMに戻る。最高レベルの偽善者どもめ。うちの中にあるこの技術はなんて悪いんだ、でも私たちは喜んでその恩恵を受ける、というわけだ。
次にデータクリーニングチームがデータを重複排除し、クリーンアップし、アノテーションを付ける（さらにAIの助けを借りるかどうかは別として）。
コーディングやgitコミット、チャットなど、教師ありファインチューニングやRLHF用の特定のRLデータセットは、ユースケースに応じて手作業でキュレーションする必要がある。
AI革命から5年経っても人々がなぜデータセットが公開されないのかまだ疑問に思っているなら、HNでのAIに関する議論のレベルはひどく低下している。公開されないのは、それがこのクソったれのインターネットのスナップショットだからだ。AIデータのスクレイピングが法的に多少執行されていない「聖域」国家がいくつかあるが、アメリカ合衆国はその一つではないので、もう聞くのはやめてくれ […]
- petcat
> オープンソースAI
オープンソースのAIモデルは存在しない、少なくとも（まだ[1]）有用なものはない。オープンウェイトはオープンソースと同じではない。「オープンウェイト」モデルは依然として不可解なバイナリブロブであり、SAASのWebアプリを通す代わりに（理論的には）自分のコンピュータで実行できるだけだ。オープンウェイトモデルのラボは、トレーニングデータに何が含まれていたかについて、高レベルのカタログや説明すら一切提供していない。
これはオープンソースではなく、二つを混同するのはやめるべきだ。