Goalposts - AI 벤치마크 진화 추적 및 투표 플랫폼

Show HN: Vote on which of Hacker News' challenges for AI have been met

Goalposts는 Hacker News 커뮤니티가 AI의 발전을 어떻게 평가하는지 추적하는 인터랙티브 플랫폼입니다. AI가 특정 벤치마크를 달성했을 때, 사람들이 여전히 인정할 만한 기준은 무엇인지 투표할 수 있습니다. 'runaway effect'와 같은 개념을 통해 AI가 스스로 학습 알고리즘을 개선하고 하드웨어 설계까지 제안하는 미래를 탐구합니다. ChatGPT의 발전 속도를 고려할 때, 이 도구는 AI의 진정한 진보를 측정하는 데 유용한 통찰을 제공합니다.

AI가 Python 환경과 TensorFlow를 스스로 개선할 수 있는 알고리즘을 제안하는 순간, 우리는 진정한 runaway effect를 목격하게 될 것입니다.
  1. hatthew

    인류의 마지막 시험(humanity's last exam)이라는 이름이 잘못됐다는 내 댓글이 포함되어 있고, 나는 마지막 시험이 어떤 모습일 수 있는지에 대해 더 나은 아이디어들을 제안했었다. 내가 한 말 중 하나는 "미해결 수학 문제를 푸는 것"이었는데, 이는 Navier-Stokes로 확실히 달성되었다(그걸 둘러싼 논란과는 별개로). 하지만 골대를 명확히 한다는 취지에서 보면, AI는 내가 제안한 테스트 중 6분의 1밖에 통과하지 못했다. 17%는 합격 점수가 아니니, 아니라고 말하겠다. 내 도전은 충족되지 않았다.

    또 하나 주목할 점은, 내 도전에 대한 (아마 AI가 생성한) 요약이 내가 쓴 내용을 정확히 반영하지 않는다는 것이다. 내가 말한 것의 절반만 나열하고, "그리고"가 아니라 "또는"이라고 써놓았다.

  2. joegibbs

    거기 내 예측 중 하나가 있다. 나는 2023년에 AI가 프롬프트만으로 임의의 애플리케이션을 완전히 구축하고 배포하는 것이 안정적으로 가능해지기까지 20년이 걸릴 것이라고 예측했었다. 그 예측은 약 18년이나 빗나갔다!

  3. bmenrigh

    이 예측들 중 최소 3분의 1은 정확히 무엇을 주장/예측하는지 판단할 만큼 명확하지 않다. 전체 댓글을 여러 번 읽고 나서도, 많은 경우 작성자가 골대를 어디에 세웠는지 충분히 알 수 없어서 우리가 그걸 넘었는지 아닌지 말할 수가 없었다.

  4. Retr0id

    허, 내 것도 하나 있네: https://stoppels.ch/goalposts/?c=39727943

    "GPT-4가 웹에서 복사하지 않은, 발의 원본 ASCII 아트를 보고 그것이 발이라고 말한다."

    현재 투표는 64% 예, 18% 아니오다.

    방금 나는 Opus 5.5에게 ASCII 아트 발을 생성해달라고 요청했고, 그럭저럭 할 만하게 해냈다. 훌륭하진 않지만 발이긴 하다. 그런 다음 그걸 ChatGPT(무료 티어에 기본으로 제공되는 것, 아마 5.6 Luna인 듯)에 붙여넣었더니 "기차/기관차"라고 했다: https://chatgpt.com/share/6abeaa39-cc80-83ed-851f-29370db089...

    어쩌면 Opus가 발을 못 그린 잘못일 수도 있지만, LLM이 (추가적인 툴 호출 등 없이는) 여전히 ASCII 아트를 꽤 못한다고 말하는 게 공정할 것 같다.

  5. ben_w

    내 예측 중 하나가 완전히 틀려서 매우 기쁘다: https://news.ycombinator.com/item?id=23252711

    그래, 그래, 뭐

    LLM이 만드는 것은 여전히 "효율적이고 버그 없는 코드"가 아니다: 내 예측은 반증되었다. LLM이 머신러닝으로 새 모델을 작성하고 학습시킬 수는 있지만, ML은 이런 식으로 임의의 새로운 과제를 던질 만큼 근본적으로 발전하지 않았기 때문이다.

  6. orbital-decay

    그중 몇몇은 꽤 잘못된 것이었고 예/아니오/모르겠음으로 답할 수 없었다. 예를 들어, 설득력 있는 삽화를 만들어낼 수 없다는 글은 요점을 놓치고 있다: 일관성 있고 말이 되는 그림을 만들 수는 있지만, 그것들이 모두 너무 비슷하다. 새로운 입력이 필요하고, 그마저도 보장이 없다. "설득력 있다"는 것은 차원이 하나 이상이다. 출력 다양성 문제는 그 글이 올라온 2024년에도 명백하고 잘 알려져 있었고, 모두가 slop에 지쳐버린 지금은 고통스러울 정도로 명백한데, 대형 연구소도 다른 연구자들도 이걸 해결하는 데 관심이 없다. 또 다른 문제는 에이전트/코딩 학습이 엄청나게 유출된다는 것이고, 모델들은 더 일관성 있고 설득력 있게 되었음에도 2024년과 비교해서도 창의적인 부분에서 더 나빠졌다. 그래서 기술적으로는 예(그리고 그 글이 올라왔을 때도 예였지만), 실질적으로는 "상황에 따라 다르다"이며, 골대는 2024년과 정확히 같은 자리에 그대로 있다.

  7. outlore

    이 질문들은 무엇에 투표하는 것인지 명확하게 하도록 다시 표현하면 도움이 될 것 같다

  8. ErrantX

    나에게 흥미로운 점은 2016년에는 사람들이 튜링 테스트 통과, 코드 작성, 커피 주문 같은 걸 말했다는 것이다.

    그리고 2024년에도 주제는 비슷했고, 대체로 코딩/튜링/행동 테스트에 대해 더 복잡하거나 구체적이었다.

    하지만 2026년에는 엄청난 전환이 일어나서, 물리적인 문을 열 수 있다, 인간의 옹졸함을 설득력 있게 흉내 낸다, 새로운 과학적 돌파구를 만든다 같은 것들이 나온다.

    그것만으로도 많은 것을 알 수 있다고 생각한다

이 날의 다른 글

2026-10-01