Goalposts - Vote on AI benchmarks for human-level AI

Show HN: Vote on which of Hacker News' challenges for AI have been met

Goalposts ist eine interaktive Plattform, auf der die Community darüber abstimmen kann, welche der von Hacker News aufgestellten Herausforderungen für KI bereits gemeistert wurden. Die Idee: Benchmarks für menschenähnliche KI sollen nicht ständig verschoben werden. Nutzer können ihre Einschätzungen abgeben und diskutieren, ob KIs beispielsweise eigenständig Trainingsalgorithmen verbessern oder neue Hardware-Designs vorschlagen können. Die Seite bietet eine transparente Übersicht des Fortschritts und fördert den offenen Austausch über die Grenzen aktueller KI-Systeme.

Irgendwann werden wir KIs auf eine Python-Umgebung und TensorFlow ansetzen können, und sie werden die Algorithmen verbessern, mit denen wir sie trainieren.
  1. hatthew

    Mein Kommentar dazu, dass "humanity's last exam" ein Misnomer ist, wurde aufgenommen, und ich habe bessere Ideen vorgeschlagen, wie eine letzte Prüfung aussehen könnte. Eines der Dinge, die ich sagte, war "ein offenes Matheproblem lösen", was mit Navier-Stokes endgültig erledigt wurde (unabhängig von der Kontroverse darum). Aber im Sinne der Klärung der Goalposts: Die KI hat nur 1 von 6 der von mir vorgeschlagenen Tests bestanden. 17 % sind keine bestandene Note, also würde ich sagen: Nein, meine Challenge wurde nicht erfüllt.

    Noch etwas anzumerken: Die (vermutlich KI-generierte) Zusammenfassung meiner Challenge gibt nicht korrekt wieder, was ich geschrieben habe – sie listet nur die Hälfte der Dinge auf, die ich sagte, und schreibt "oder" statt "und".

  2. joegibbs

    Da ist eine von mir dabei, in der ich 2023 vorhergesagt habe, dass es 20 Jahre dauern würde, bis KI zuverlässig in der Lage sein würde, beliebige Anwendungen komplett aus einem Prompt heraus zu bauen und zu deployen. Da lag ich um etwa 18 Jahre daneben!

  3. bmenrigh

    Mindestens ein Drittel dieser Vorhersagen ist nicht klar genug, um genau zu bestimmen, was eigentlich behauptet/vorhergesagt wird. Selbst nachdem ich den vollständigen Kommentar mehrfach gelesen hatte, konnte ich bei vielen nicht erkennen, wo der Autor die Goalposts klar genug gesetzt hatte, um zu sagen, ob wir sie überschritten haben oder nicht.

  4. Retr0id

    Heh, da ist eine von mir: https://stoppels.ch/goalposts/?c=39727943

    "GPT-4 schaut sich originale ASCII-Art eines Fußes an, nicht aus dem Web kopiert, und sagt, es sei ein Fuß."

    Die Abstimmung steht aktuell bei 64 % Ja, 18 % Nein.

    Gerade eben habe ich Opus 5.5 gebeten, eine ASCII-Art eines Fußes zu generieren, und es hat das passabel hinbekommen. Es ist nicht großartig, aber es ist ein Fuß. Dann habe ich es in ChatGPT eingefügt (was auch immer sie standardmäßig dem Free-Tier servieren, scheint 5.6 Luna zu sein), und es sagte, es sei ein "Zug/eine Lokomotive": https://chatgpt.com/share/6abeaa39-cc80-83ed-851f-29370db089...

    Vielleicht ist es Opus' Schuld, weil es einen schlechten Fuß gezeichnet hat, aber ich denke, man kann fairerweise sagen, dass LLMs immer noch ziemlich schlecht in ASCII-Art sind (ohne zusätzliche Tool-Aufrufe usw.).

  5. ben_w

    Sehr erfreut, dass eine meiner Vorhersagen völlig falsch war: https://news.ycombinator.com/item?id=23252711

    Sicher, sicher, was

    LLMs machen, ist immer noch kein "effizienter fehlerfreier Code": Meine

    Vorhersage ist widerlegt, denn obwohl LLMs mit Machine Learning neue Modelle schreiben und trainieren können, ist ML grundsätzlich nicht weit genug fortgeschritten, um beliebige neue Aufgaben dieser Art darauf zu werfen.

  6. orbital-decay

    Einige davon waren ziemlich fehlgeleitet und ließen sich nicht mit Ja/Nein/Unsicher beantworten. Zum Beispiel verfehlt ein Beitrag, der sagt, es könne keine überzeugende Illustration erzeugen, den Punkt: Es kann kohärente und sinnvolle Bilder erzeugen, aber sie sind alle zu ähnlich. Man braucht neuartigen Input, und selbst dann gibt es keine Garantie. "Überzeugend" hat weit mehr als eine Dimension. Das Problem der Output-Vielfalt war 2024, als es gepostet wurde, offensichtlich und allgemein bekannt, und ist jetzt schmerzhaft offensichtlich, wo alle von Slop genug haben, und weder die großen Labore noch andere Forscher daran interessiert sind, das zu lösen. Ein weiteres Problem ist, dass das agentische/Coding-Training wie verrückt leakt, und die Modelle im kreativen Bereich sogar im Vergleich zu 2024 schlechter geworden sind, obwohl sie kohärenter und überzeugender sind. Die Antwort ist also technisch gesehen ja (und war es schon, als es gepostet wurde), aber praktisch "es kommt darauf an", und die Goalposts bleiben genau dort, wo sie 2024 waren.

  7. outlore

    Diesen Fragen würde es guttun, umformuliert zu werden, damit klar ist, worüber abgestimmt wird

  8. ErrantX

    Was für mich interessant ist: 2016 dachten die Leute so; Turing-Test bestehen, Code schreiben, mir einen Kaffee bestellen.

    Und selbst 2024 sind die Themen ähnlich, im Allgemeinen komplexer oder spezifischer in Bezug auf den Coding-/Turing-/Aktionstest.

    Aber 2026 ein riesiger Wandel, wir haben Dinge wie: kann eine physische Tür öffnen, emuliert menschliche Kleinlichkeit überzeugend, macht neuartige wissenschaftliche Durchbrüche.

    Das allein sagt einem meiner Meinung nach eine Menge

Mehr von diesem Tag

2026-10-01