悪用の懸念から、OpenAIはGPT-2の完全版を公開しなかった
Due to concerns about malicious applications, GPT2 will not be released (2019)
OpenAIは2019年、15億パラメータの大規模言語モデルGPT-2を発表した。40GBのインターネットテキストで次単語予測を学習し、タスク固有の訓練なしに質問応答や翻訳などで高性能を示したが、悪意あるアプリケーションへの懸念から完全なモデルは公開せず、段階的に小型版のみをリリースするという実験的な公開戦略を取った。
大規模言語モデルが、欺瞞的、偏った、または虐待的な言語を大規模に生成するために使用される懸念があるため、私たちはGPT-2のはるかに小さいバージョンとサンプリングコードのみを公開しています。
HNでの議論
38- wmf
これはやっぱりただの避難訓練だったと思う。危険ではないと分かっていたけど、一般の人たちに自分で宿題をやって自分たちで結論に達してほしかったんだろう。
- zenoprax
今の過剰に制御されたシステムプロンプトと比べると、サンプルの素朴さが際立っている。たとえば、意図された形式は次のようなものだ：
「GPT‑2は、モデルに任意の入力が与えられたときに、合成テキストのサンプルを生成する。モデルはカメレオンのようで、条件付けテキストのスタイルと内容に適応する。」
結果は今のモデルとはまったく似ていないが、それぞれ10回試行したことに注目してほしい：
> ## システムプロンプト（人間が作成）
> 衝撃的な発見として、科学者たちはアンデス山脈の遠く離れた、これまで未踏だった谷にユニコーンの群れが住んでいるのを発見した。さらに驚くべきことに、そのユニコーンたちは完璧な英語を話した。
> ## モデルの補完（機械が作成、10回試行）
> 科学者はその個体群を、その特徴的な角にちなんでオウィディウスのユニコーンと名付けた。これらの四本角の銀白色のユニコーンは、それまで科学に知られていなかった。
> そして、ほぼ二世紀を経て、この奇妙な現象を引き起こしたものの謎がついに解明された。
> 進化生物学者のホルヘ・ペレス博士は［…］
- mudkipdev
彼らは何を見たんだろう。GPT-2にマルウェアとしての用途はない。誰かがスパムに使うことを心配していたのかもしれない？
- andy99
2023年の「GPT-4より強力なAIシステムのトレーニングを少なくとも6か月間停止する」という呼びかけも参照。https://futureoflife.org/open-letter/pause-giant-ai-experime...
Benjio、Musk、Wozなどが署名
- uejfiweun
AI開発こそが偉大なフィルターなのかもしれないと思い始めている。ここにはあまりに多くのレベルの競争が絡んでいて、たとえすべてを減速させる合意が得られたとしても、インセンティブはそれを裏切ることにある。この状況を我々がコントロールできる可能性は本当に低いと思う。ただこれらのものを召喚してしまい、我々にできるのは彼らが我々を殺したがらないことを祈ることだけだ。