Goalposts - Голосование за достижения AI в задачах Hacker News
Show HN: Vote on which of Hacker News' challenges for AI have been met
Goalposts — это платформа, где сообщество Hacker News может голосовать за то, какие задачи для AI уже решены, а какие ещё нет. Проект помогает отслеживать прогресс в области искусственного интеллекта, предлагая объективные критерии оценки. Пользователи могут предлагать свои задачи, голосовать за существующие и обсуждать результаты. Основная ценность — в создании прозрачного и динамичного бенчмарка для измерения успехов AI. Присоединяйтесь, чтобы внести свой вклад в определение будущего AI!
Мой бенчмарк — это «эффект убегания». В какой-то момент мы сможем указать AI на Python-среду и TensorFlow, и он улучшит алгоритмы, которые мы используем для его обучения.
- hatthew
Мой комментарий о том, что «последний экзамен для человечества» — это неудачное название, включён в список, и я предложил более удачные идеи о том, как мог бы выглядеть последний экзамен. Одна из вещей, которые я сказал, была «решить открытую математическую задачу», и это окончательно сделано с Navier-Stokes (независимо от споров вокруг этого). Однако, в духе уточнения планки, AI прошёл только 1/6 из предложенных мной тестов. 17% — это не проходной балл, так что я бы сказал нет, мой вызов не был принят.
Ещё стоит отметить, что (предположительно сгенерированное AI) резюме моего вызова неточно передаёт то, что я написал: в нём перечислена только половина сказанного мной и написано «или», а не «и».
- joegibbs
Там есть один из моих, где я в 2023 году предсказал, что пройдёт 20 лет, прежде чем AI сможет надёжно полностью создавать и разворачивать произвольные приложения из промпта. Я ошибся примерно на 18 лет в этом предсказании!
- bmenrigh
По крайней мере треть этих предсказаний недостаточно чёткие, чтобы точно определить, что именно утверждается/предсказывается. Даже после многократного чтения полного комментария во многих из них я не мог понять, где автор установил планку достаточно ясно, чтобы сказать, перешагнули мы её или нет.
- Retr0id
Хех, там есть один из моих: https://stoppels.ch/goalposts/?c=39727943
«GPT-4 смотрит на оригинальный ASCII-арт ступни, не скопированный из интернета, и говорит, что это ступня».
Сейчас голосование 64% да, 18% нет.
Только что я попросил Opus 5.5 сгенерировать ASCII-арт ступни, и он справился сносно. Не отлично, но это ступня. Затем я вставил это в ChatGPT (что бы они ни подавали бесплатному тарифу по умолчанию, похоже, это 5.6 Luna), и он сказал, что это «поезд/локомотив»: https://chatgpt.com/share/6abeaa39-cc80-83ed-851f-29370db089...
Может, это вина Opus, что он нарисовал плохую ступню, но, думаю, справедливо сказать, что LLM всё ещё довольно плохи в ASCII-арте (без дополнительного вызова инструментов и т.п.).
- ben_w
Очень рад, что одно из моих предсказаний оказалось полностью неверным: https://news.ycombinator.com/item?id=23252711
Да-да, конечно, что
LLM создают, всё ещё не «эффективный код без багов»: моё предсказание опровергнуто, потому что, хотя LLM могут писать и обучать новые модели с помощью машинного обучения, ML в корне недостаточно развит, чтобы бросать ему произвольные новые задачи вот так.
- orbital-decay
Некоторые из них были довольно ошибочными и на них нельзя было ответить да/нет/не уверен. Например, пост, где говорилось, что модель не может создать убедительную иллюстрацию, упускает суть: она может создавать связные и осмысленные картинки, но все они слишком похожи. Нужен новый ввод, и даже тогда нет гарантии. «Убедительный» имеет куда больше одного измерения. Проблема разнообразия результатов была очевидна и хорошо известна в 2024 году, когда это было опубликовано, и болезненно очевидна сейчас, когда все устали от slop, и ни крупные лаборатории, ни другие исследователи не заинтересованы в её решении. Другая проблема в том, что агентное/кодинговое обучение утекает просто чудовищно, и модели стали хуже в творческом плане даже по сравнению с 2024 годом, несмотря на то, что стали более связными и убедительными. Так что ответ технически да (и был да, когда это было опубликовано), но на практике «зависит от обстоятельств», и планка остаётся ровно там же, где была в 2024 году.
- outlore
Эти вопросы выиграли бы от переформулировки, чтобы было ясно, за что именно голосуют
- ErrantX
Что мне интересно, так это то, что в 2016 году люди говорили: пройди тест Тьюринга, напиши код, закажи мне кофе.
И даже в 2024 году темы похожи, в целом более сложные или конкретные в отношении теста на кодинг/Тьюринга/действия.
Но в 2026 году огромный сдвиг: у нас есть такое, как может открыть физическую дверь, убедительно имитирует человеческую мелочность, совершает новые научные прорывы.
Уже одно это, на мой взгляд, о многом говорит