syq - Fast, programmable file operations across machines
Show HN: Syq – copy files between machines fast (better than rsync)
syq는 로컬 또는 원격 머신 간에 파일을 빠르게 복사, 재구성, 삭제할 수 있는 프로그래머블 파일 작업 도구입니다. rsync보다 빠른 전송 속도를 자랑하며, 중단된 전송 재개, 서버에서 노트북으로 파일 전송, 원격 명령 실행, JSON API 및 Python SDK를 통한 자동화를 지원합니다. 노트북에 SSH 서버나 인바운드 포트가 필요 없어 보안이 강화됩니다. rsync 사용자라면 기존 명령 앞에 syq만 붙여 바로 사용할 수 있습니다.
중단된 전송을 재개하고, 서버의 원격 셸에서 노트북으로 파일을 보내거나 명령을 실행하며, JSON API 또는 Python SDK로 syq를 스크립트할 수 있습니다. 노트북에 SSH 서버나 인바운드 네트워크 포트가 필요 없습니다.
HN 토론
44- hxseven
좀 더 긍정적인 댓글을 하나 남겨볼까 합니다. 저는 비슷한 영역(파일 이동)이지만 좀 더 높은 레벨에서 동작하는 도구를 만들고 있습니다. 파일 이동 부분은 현재 rsync나 rclone을 사용하고 있죠. 그래서 저에게는 이 도구가 흥미롭고 유망해 보입니다. 공유해 주셔서 감사합니다 :)
웹사이트/Github 개선을 위한 몇 가지 제안입니다:
- rsync와 어떻게 다른지 알고 싶었습니다. 비교 페이지가 있으면 도움이 될 것 같습니다.
- rclone과의 비교도 흥미로울 것 같습니다. rclone도 여러 병렬 연결을 사용하니까요.
- 좀 더 고급 사용자를 대상으로 하므로, 전송이 정확히 어떻게 동작하는지에 대한 더 고급 기술적 통찰을 제공하면 도움이 될 것 같습니다. 또한 엣지 케이스는 어떻게 처리하는지, 어떤 테스트를 하는지도요. 파일 이동과 복사는 중요한 작업이므로, 사용자들 사이에서 프로젝트에 대한 신뢰를 심어줘야 합니다.
- unsnap_biceps
> 또한 서버에 지속적인 ssh 연결을 유지해서 빠른 일회성 작업을 할 수 있는 멋진 기능도 추가했습니다
rsync는 이미 OpenSSH의 ControlMaster 지시문을 통해 이를 지원합니다. 보너스로, 이는 단일 도구뿐 아니라 해당 서버에 대한 모든 연결을 빠르게 해줍니다.
> ssh 에이전트를 포워딩하지 않고 직접 원격-원격 전송을 할 수 있는 기능(수신자 측에서 노트북의 키로 서명된 특정 요청만 실행하도록 제한된 ssh 키를 사용)
로컬 ssh 클라이언트 설정에서 에이전트 포워딩을 제어할 수 있습니다. 그리고 최신 ProxyJump를 사용하면 최종 대상까지 몇 개의 배스천 홉이 있든 에이전트를 전혀 포워딩할 필요가 없습니다.
- jttnr
페이지 열고, 헤드라인 읽고, 첫 문장 읽고, 엠대시, 페이지 닫음.
- AceJohnny2
보여주셔서 감사합니다. 다른 분들 말에 동의합니다: rsync보다 빠르다고 주장하신다면, 그 이유를 전면에 내세워 보여주셔야 합니다. rsync가 전송을 최적화하는 방법에 대한 수십 년간의 문서가 있으니, 따라가기 쉽지 않습니다.
덧붙이자면, 특정 두 머신 사이의 여러 병렬 연결이 전송을 가속화한다는 건 우리 네트워킹 환경에 대한 비판일지도 모르겠습니다. 저는 단일 TCP 연결이 회선을 포화시킬 수 있을 거라고 기대했거든요. 아니면 병렬 연결이 파일별 설정 오버헤드를 분산시키려는 걸까요?
- hikarudo
정말 멋지네요!
직접 TCP 모드는 어떻게 동작하나요?