Syq - Fast programmable file operations across machines
Show HN: Syq – copy files between machines fast (better than rsync)
Syq — это инструмент для быстрого копирования, реорганизации и удаления файлов как локально, так и между машинами. Он поддерживает возобновление прерванных передач, отправку файлов на ноутбук без необходимости SSH-сервера и запуск команд на удалённой машине. Syq предлагает JSON API и Python SDK для автоматизации, а также совместимость с привычными опциями rsync. Используйте `syq cp project --to server --into backup` для копирования или `syq rsync -av` для перехода с rsync. Инструмент решает проблемы медленных и ненадёжных передач, предоставляя программируемый и эффективный способ управления файлами.
Ваш ноутбук не нуждается в SSH-сервере или входящем сетевом порту.
- hxseven
Хочу поделиться более позитивным комментарием. Я работаю над инструментом в похожей области (перемещение данных), но на более высоком уровне. Сейчас для перемещения файлов я использую rsync или rclone. Так что для меня ваш инструмент выглядит интересным и перспективным, спасибо, что поделились :)
Несколько предложений по улучшению вашего сайта/GitHub:
- Я хотел понять, чем он отличается от rsync. Была бы полезна страница сравнения.
- Сравнение с rclone тоже было бы интересно, так как он также использует несколько параллельных соединений.
- Поскольку он ориентирован на более продвинутых пользователей, я думаю, было бы полезно предоставить более глубокие технические сведения о том, как именно работают ваши передачи. А также как обрабатываются крайние случаи, какие тесты проводятся? Перемещение и копирование файлов — критичная операция, и вам нужно внушить доверие к вашему проекту среди пользователей.
- unsnap_biceps
> Я также добавил крутые фичи, например, возможность поддерживать постоянное ssh-соединение с сервером для быстрых разовых операций
rsync уже поддерживает это через директиву ControlMaster в OpenSSH. Бонус: это ускоряет любое соединение с этим сервером, а не только для одного инструмента.
> возможность выполнять прямые передачи remote-remote без пересылки вашего ssh-агента (используя ограниченные ssh-ключи на принимающей стороне, которые выполняют только определённый запрос, подписанный ключом на вашем ноутбуке).
Вы можете управлять пересылкой агента в конфигурации локального ssh-клиента. А с современным ProxyJump вам вообще не нужно пересылать агент, независимо от количества промежуточных узлов между вами и конечной целью.
- jttnr
Открыть страницу, прочитать заголовок, прочитать первое предложение, длинное тире, закрыть страницу.
- AceJohnny2
Спасибо, что показали это. Присоединюсь к тому, что говорят другие: если вы утверждаете, что быстрее rsync, вы должны продемонстрировать это на видном месте. За десятилетия накоплена документация о том, как rsync оптимизирует передачи, так что планка высока.
Кстати, это, пожалуй, обвинение нашему сетевому ландшафту, что несколько параллельных соединений между двумя конкретными машинами ускоряют передачу. Я бы ожидал, что одно TCP-соединение сможет насытить канал. Или, возможно, параллельные соединения стремятся амортизировать накладные расходы на настройку для каждого файла?
- hikarudo
Очень круто!
Как работает режим прямого TCP?