Goalposts - AIベンチマークの達成状況をコミュニティ投票で追跡
Show HN: Vote on which of Hacker News' challenges for AI have been met
Goalpostsは、Hacker Newsで議論されるAIの課題が実際に達成されたかをコミュニティ投票で判定するプラットフォームです。AIが人間レベルの能力に到達したかを測るベンチマークは、達成されるたびに基準が移動する「ゴールポスト移動」問題を抱えています。本プロダクトは、そのような課題に対して透明性のある評価を提供し、AIの進歩を客観的に追跡することを可能にします。例えば、AIがPython環境とTensorFlowを使って自己訓練アルゴリズムを改善できるかといった具体的な課題を投票で評価。研究者や開発者がAIの現状を把握し、議論するための新しい場を提供します。
AIにPython環境とTensorFlowを与えると、自分自身を訓練するアルゴリズムを改善できる。
HNでの議論
256- hatthew
人類最後の試験というのは名称として不適切だという私のコメントが含まれていて、最後の試験がどんな形になり得るかについて、もっと良いアイデアを提案した。その一つが「未解決の数学の問題を解く」で、これはNavier-Stokesで決着がついた(その周辺の論争はともかく)。ただし、ゴールポストを明確にするという趣旨で言えば、AIは私が提案したテストのうち1/6しか通過していない。17%は合格点ではないので、私の挑戦は達成されていないと言える。
もう一つ注意すべきは、(おそらくAIが生成した)私の挑戦の要約が、私が書いた内容を正確に表しておらず、私が言ったことの半分しか挙げず、「and」ではなく「or」と書いていることだ。
- joegibbs
そこには私の予測もある。2023年に、AIがプロンプトから任意のアプリケーションを完全に構築・デプロイできるようになるまで20年かかると予測した。その予測は約18年外れていた!
- bmenrigh
これらの予測の少なくとも3分の1は、何が主張・予測されているのかを正確に判断するのに十分明確ではない。コメント全文を何度も読んだ後でも、多くのものについては、著者がどこにゴールポストを設定したのか、我々がそれを越えたかどうかを言えるほど明確に分からなかった。
- Retr0id
へえ、私のもある:https://stoppels.ch/goalposts/?c=39727943
「GPT-4が、ウェブからコピーしたものではないオリジナルの足のASCIIアートを見て、それが足だと答える。」
現在の投票は64%がはい、18%がいいえ。
たった今、Opus 5.5にASCIIアートの足を生成するよう頼んだところ、まあまあの出来だった。素晴らしくはないが、足ではある。それをChatGPT(無料枠にデフォルトで提供されているもの、どうやら5.6 Lunaらしい)に貼り付けたところ、「列車/機関車」だと答えた:https://chatgpt.com/share/6abeaa39-cc80-83ed-851f-29370db089...
下手な足を描いたOpusのせいかもしれないが、LLMは(追加のツール呼び出しなどなしでは)まだASCIIアートがかなり苦手だと言ってよいと思う。
- ben_w
私の予測の一つが完全に間違っていたのはとても嬉しい:https://news.ycombinator.com/item?id=23252711
確かに、確かに、何だって
LLMが作るものはまだ「効率的でバグのないコード」ではない:私の予測が反証されたのは、LLMが機械学習で新しいモデルを書いて訓練できる一方で、MLは根本的に、このように任意の新しいタスクを投げつけるには十分に進歩していないからだ。
- outlore
これらの質問は、何に投票しているのかが明確になるように言い換えるとよいだろう。
- ErrantX
私にとって興味深いのは、2016年には人々がこう言っていたことだ:チューリングテストに合格し、コードを書き、コーヒーを注文してくれ。
そして2024年になってもテーマは似ていて、概してより複雑か、コーディング/チューリング/行動テストについてより具体的になっている。
しかし2026年には大きな変化があり、物理的なドアを開けられる、人間の器の小ささを説得力をもってエミュレートする、新規の科学的ブレークスルーを生み出す、といったものが出てくる。
これだけでも多くのことを物語っていると思う。
- SoftTalker
質問が多すぎる。10問ほどで諦めたが、あと何問あるのか全く分からなかった。