GPT-6 Astra、実車のToyota Corollaを運転する能力を獲得
GPT-6 Astra has gained the ability to drive a car
DrivingBenchは、フロンティアモデルにToyota Corollaのステアリング、アクセル、ブレーキを操作させ、固定コースで評価するベンチマークだ。1つの連続チャットで最大3回試行でき、コース中心線に沿った進捗、距離、完走時間、コマンド数、トークンとコストをリーダーボードで比較。衝突までの進捗も記録し、モデルの実車運転能力を定量化する。
フロンティアモデルは実際の車を運転できるのか？我々はToyota Corollaのステアリング、アクセル、ブレーキを彼らに制御させ、固定コースで評価する。
HNでの議論
242- jyoung8607
私はLLM分野の専門家ではないが、comma.aiのopenpilotプロジェクトに外部コントリビューターとして参加していて、その制御がどう動くかはかなり詳しい。なのでその観点から見てみた。ここには2つの問いがある：
1) クラウド経由で配信されるLLMが、それらの入力データをもとに、与えられた出力アクチュエータにアクセスできるとして、このルートをどう運転するか理解できるか？ できそうだ。うん、間違いなく。
2) これは現実世界で機能するのか？ 絶対に無理だ。理由は3つ：レイテンシ、レイテンシ、そしてレイテンシ。
openpilotの運転モデルは、目標曲率と加速度を20Hzで更新する。完全にローカルな運転スタックのあらゆる部分を通るラウンドトリップ時間の1ミリ秒ごとが、十分に理解され、極めて一貫しており、厳密に最適化されている。そうでなければ、ちょっとした段差や突風にすら反応できないし、ましてや急速に展開する交通状況には対応できない。
クラウドサービスに光速のRTTを1つ加えるだけでも、意味のあるレベルで悪い。しかも、カメラ映像をエンコードしてアップロードし、LLM応答までの時計をようやくスタートさせるには、さらにずっと多くのものが必要で、その後で応答を送り返さなければならない。その頃には、車の周囲の世界はもう先に進んでいる。
Teslaや他のあらゆる自動運転メーカーが、車内に計算ハードウェアを必要とするのには理由がある。
- famouswaffles
彼らはAstraをどうやって視覚（そしてコンピュータ操作）においてこんなにぶっ飛んだものにしたんだ。あのARC 3のスコアは冗談でもまぐれでもなかったことが判明した。AstraとFableの間の（このケースでの）あの巨大な差は、ゲーム（Portal、Factorio、RimWorld）をプレイするようなベンチマーク以外のものも含め、私が見てきたあらゆる難しい視覚／空間ベンチマークに基本的に当てはまる。
SpatialBench - https://x.com/spicey_lemonade/status/2096365630190698516
ZeroBench - https://zerobench.github.io/
Robot Arms - https://openai.robocurve.org/gpt-6-astra/
- valine
自動運転車にもついにbitter lessonがやってくる。視覚スタック、3Dマップ、車線選択の文法、occupancyネットワーク、それらはおそらくすべて、カメラ映像を見て次のステアリング操作を予測する単一のGPTに取って代わられようとしている。
現時点では主にレイテンシの問題だ。モデルはローカルで動かすには大きすぎるが、Qwenのようなオープンウェイトモデルがすでに存在することを考えれば、Astraに相当するオープンウェイトで低レイテンシのものもそう遠くはないはずだ。
- skyberrys
これが私の抱える運転の問題を解決できないかと考えている。私の住む地区の入り口から指定された駐車スペースまで、車をゆっくり自動で運転してくれるシステムが欲しい。今は人間がやっていて、スピードを出しすぎたり、一時停止標識を無視したりする。すべての車が自動で駐車されるほうが安全だと思う。実現可能そうに見える。非常に制御された環境だし、車にはゆっくり走ってほしい。急いでそこにいたい人は、人間が降りて歩いて帰ればいい。
- prometheus1992
おお！ でもなぜこれがベンチマークなんだ？？ 比較すると、Teslaのモデルはおよそ10〜15Bパラメータのモデルだ（車に付いてくるハードウェアを16GB RAMで最大限活用していることからの推定）。
- 1970-01-01
ジャグリングするバナナのベンチマークを楽しみにしている。Claudeが5個しかできないのにAstraが6個できるなら、明らかに彼らのほうが優れたモデルだということだ。
- syntaxing
Qwenが最近オープンソース化した運転モデル https://huggingface.co/Qwen/Qwen-Drive-1.0-4B を試さなかったのは意外だ。
- RomanKornev
避けられない「Astraが今や自動操縦なしで飛行機を着陸させられる」という話を楽しみにしている。