AI 에이전트가 화면에 큰 화살표를 그려 "여기 클릭"이라고 알려준다
Let your AI agents paint big arrows, boxes and text on your screen
macOS용 CLI 도구 bigarrow는 AI 에이전트가 화면 위에 큰 화살표, 상자, 텍스트를 그려 사람이 직접 눌러야 하는 버튼을 가리킬 수 있게 한다. 클릭스루 방식이라 포커스를 빼앗지 않고, 별도 권한 없이 그리며, 스스로 사라진다. Claude Code와 Codex용 스킬도 제공한다. MIT 라이선스.
AI 에이전트가 모노레포를 리팩터링하고 마이그레이션을 작성하며 모나드를 설명할 수 있지만, 버튼 하나를 클릭해야 할 때는 당신이 보지도 않는 터미널에 "대화 상자에서 허용을 클릭하세요"라고 출력할 뿐이다. bigarrow는 그 에이전트에게 손가락을 달아준다.
HN 토론
151- hn8726
"Screen Recording이나 Accessibility가 필요한가?" 부분을 읽으려고 했는데, 너무 엉망으로 쓰여 있어서 도대체 무슨 말을 하려는 건지 알 수가 없다. 그런데 만약 권한 요청 프롬프트 위에 그림을 그릴 수 있다면, "거부" 버튼을 가리는 상자를 그리고 "승인" 버튼 문구를 바꾸는 건 무엇이 막고 있는 거지?
- sicktriple
이런, 우리가 모든 걸 해결한 것처럼 보이던 바로 그때. 컴퓨터는 저렴하고 효율적이고 강력했다. 그런데 어쩌다 보니 이미 해결한 작업을 수행하는 방법을 알아냈는데, 이제는 1000배 더 비싸고, 전 세계 전력량을 합친 만큼의 전기가 필요하고, 남의 임대 컴퓨팅에 의존하며, 이제는 로봇이 무슨 버튼을 눌러야 하는지 알려줘야 한다. 살기 좋은 세상이야.
- tangotaylor
"화살표니까, 어떻게 보이는지에 말도 안 될 정도로 많은 시간을 썼다." 훌륭하다. 이게 바로 내가 Hacker News를 방문할 때 찾는 바로 그런 콘텐츠다. 진정한 예술이다.
- alansaber
OP가 영감을 줘서 에이전트 GUI에 대한 지루한 생각을 글로 써봤다. 관심 있으면 https://news.ycombinator.com/item?id=50022688
- priyashunt
노인들에게 정말 정말 유용함. iPad에서 이런 게 있으면 돈 아깝지 않게 지불할 의향 있음!
- usrbinbash
그래서 이게 요점이 ... 정확히 뭐지? 인터페이스 요소를 가리키는 큰 화살표인데 ... 그 요소에는 무슨 역할인지 설명하는 라벨이 붙어 있다고? 그러니까... 라벨을 위한 라벨?
- swframe2
해결하기 매우 어려운 애플리케이션 진화를 시각화하는 데 이걸 쓰고 싶다. 이건 알려진 해법이 없고 에이전트가 스스로 알아내기에는 너무 복잡한 문제들을 위한 것이다. 내 현재 문제: alphafold와 관련 도구들이 지금까지 알려지지 않은 유전자의 기능을 알아낼 수 있을까. alphago 설명 영상에 나오는 몬테카를로 트리 탐색을 생각해봐라. 정책과 가치 모델이 어떻게 작동하는지 보여주는 시각화가 있어서 그 결함을 발견할 수 있다면 어떨까. 나는 에이전트가 해결책 시도를 만들고, 그걸 시각화한 다음, 해결책을 실행해서 무엇을 하고 있는지 보여주길 원한다. 그리고 멈춰서 자신의 상태를 설명해서 해결책이 정확히 어디서 왜 실패하는지 내가 볼 수 있게 해주길 원한다.
- arshxyz
README는 기술적인 사람들을 대상으로 쓰여 있지만 (HN 스크린샷까지 포함해서), 이런 도구를 보면 엄마가 전화로 문서를 다운로드하고 인쇄하는 방법을 알려줄 때 얼마나 도움이 될까 하는 생각밖에 안 든다.