AIエージェントが画面上に巨大な矢印を描いて「ここをクリック」と教えてくれる
Let your AI agents paint big arrows, boxes and text on your screen
AIエージェントは複雑なコードを書けるのに、macOSの許可ダイアログで「Allowをクリックしてください」とターミナルに表示するだけだった。bigarrowは、そんなエージェントに「指」を与える小さなSwift製CLI。画面上に巨大な矢印とテキストを描き、クリックを透過させ、フォーカスを奪わず、自動的に消える。Claude CodeやCodexのスキルとしても使え、MITライセンスで公開されている。
あなたのAIエージェントはモノレポをリファクタリングし、マイグレーションを書き、モナドを説明できるのに、あなたに1つのボタンをクリックしてほしいときには、あなたが見ていないターミナルに「ダイアログのAllowをクリックしてください」と表示するだけだ。bigarrowはそれに指を与える。
HNでの議論
151- hn8726
「画面収録かアクセシビリティが必要ですか？」の部分を読もうとしたけど、あまりに雑に書かれていて何を言いたいのか全く分からない。でも、もし権限プロンプトの上に描画できるなら、「拒否」ボタンを隠すボックスを描いたり、「承認」ボタンの文言を書き換えたりするのを何が止めるんだ？
- sicktriple
ああ、もう全部解決したと思った矢先にこれだよ。コンピュータは安くて効率的で強力だった。すでに解決済みのタスクをこなす方法をどうにか見つけたのに、今では1000倍高くつき、世界中の電力を合わせた量を必要とし、他人が貸し出しているコンピューティングに依存し、しかもどのボタンを押せばいいかロボットに教えてもらわなきゃいけない。なんて時代だ。
- tangotaylor
「矢印なので、見た目には不合理なほど時間をかけました。」
素晴らしい。これこそ私がHacker Newsを訪れるときに求めているコンテンツだ。
まさに芸術。
- alansaber
投稿者に触発されて、エージェントGUIについての退屈な考えを書き留めました。興味があればどうぞ https://news.ycombinator.com/item?id=50022688
- priyashunt
高齢者にとってはとてもとても使いやすい。iPadでこれみたいなのがあれば、お金を払ってもいいくらいだ！
- usrbinbash
で、これの目的は一体……何なんだ？
インターフェース要素への大きな矢印で、その要素には何をするか説明するラベルが付いている？
つまり……ラベルのためのラベル？
- swframe2
これを、解決が非常に難しいアプリケーションの進化の可視化に使いたい。
これは、既知の解決策がなく、エージェントが自力で解くには複雑すぎる問題のためのものだ。
今の私の問題：AlphaFoldや関連ツールは、これまで未知だった遺伝子の機能を解明できるか。
AlphaGoの解説動画にあるモンテカルロ木探索を思い浮かべてほしい。
ポリシーモデルとバリューモデルがどう機能しているかを可視化して、その欠陥を見つけられるようにしたらどうだろう。
エージェントに解決策の試みを構築させ、
次にその可視化を構築させ、
そして解決策を実行して、何をしているのかを見せてほしい。
一時停止して状態を説明し、解決策がどこでなぜ失敗するのかを正確に確認できるようにしてほしい。
- arshxyz
READMEは技術者向けに書かれている（Hacker Newsのスクリーンショット付き）が、こういうツールを見ると、電話越しに母に文書をダウンロードして印刷する方法を教えているときにどれだけ役立つかということばかり考えてしまう。