работа с ftp&sftp

[zhendosina]

Привет! Во-первых хочу сказать спасибо за ваши труды!
Где-то в соседнем разделе натыкался, что pg_probackup умеет работать со всеми протоколами, поддерживаемыми файловыми api.
Вопрос следующий: можно ли заставить работать его под windows с sftp, или хотя бы ftp?
Получается под windows по ssh базы не забрать, то есть probackup должен работать непосредственно на сервере баз данных, а вот дальше вопрос: как 200к файлов выгружать offsite? Казалось бы очевидное решение - дать возможность разместить репозиторий пробекапа где-нибудь за пределами сети, но завести ни с ftp ни с sftp у меня не вышло без костылей, в виде rclone :(
Отсюда вытекает второй вопрос:
Не планируется ли дать возможность архивировать сами директории бекапов? Было бы удобно, синхронизировать не сотни тысяч файлов, а несколько десятков zip архивов. Если бы пробекап мог прозрачно сам обращаться к таким архивам. Спасибо!

[gsmolk]

Добрый день.
К сожалению, через sftp работать не получится, потому что нам необходимо запускать агента на удаленной машине.

Получается под windows по ssh базы не забрать, то есть probackup должен работать непосредственно на сервере баз данных, а вот дальше вопрос: как 200к файлов выгружать offsite? Казалось бы очевидное решение - дать возможность разместить репозиторий пробекапа где-нибудь за пределами сети, но завести ни с ftp ни с sftp у меня не вышло без костылей, в виде rclone :(

не рассматривали вариант с NFS ?

Не планируется ли дать возможность архивировать сами директории бекапов? Было бы удобно, синхронизировать не сотни тысяч файлов, а несколько десятков zip архивов. Если бы пробекап мог прозрачно сам обращаться к таким архивам. Спасибо!

Планируется в рамках добавления поддержки s3.

Вообще ssh можно запустить и на Windows, особенно на последних версиях, где есть wsl, но мы этот вариант пока не тестировали, соответственно, и не саппортим его пока.

[zhendosina]

Добрый день.
К сожалению, через sftp работать не получится, потому что нам необходимо запускать агента на удаленной машине.

Хм, а с фтп? Сейчас у меня виндовый сервер, и я использую rclone для синхронизации репозитория пробекапа и удаленного фтп сервера, гипотетически это работает неплохо, но хотелось бы не иметь локальных бекапов, чтобы внезапно не обнаружить, что постгре лег из-за нехватки места на диске. Учитывая что с UNC пути работают исправно, можно было бы и использовать что-то вида -B \NAS\RESOURCE\BACKUP_DIR но решение не очень хорошо для сценария, когда место хранения находится снаружи.

не рассматривали вариант с NFS ?

NFS вроде бы неплохой вариант, но как мне кажется маловато подходит для сценария отправки бекапов за пределы периметра

Планируется в рамках добавления поддержки s3.

s3 это замечательно, а упаковка каждого бекапа в отдельный архив еще замечательней 👍

Вообще ssh можно запустить и на Windows, особенно на последних версиях, где есть wsl, но мы этот вариант пока не тестировали, соответственно, и не саппортим его пока.

Тоже об этом думал уже, но что-то страшно это использовать для реальной эксплуатации.

[gsmolk]

А какой версии у Вас Windows?

[zhendosina]

А какой версии у Вас Windows?

server 2019

[gsmolk]

А бэкапная машина тоже на Server 2019?

[zhendosina]

бекапы по sftp улетают на NAS через rclone, доступный по внешнему адресу, и находящийся за периметром. :(
И да, выгружать сотни тысяч маленьких файлов наружу это прямо скажет неудобно.
Но справедливости ради оно все работает и каши не просит в таком сценарии, единственная реальная проблема - это необходимость наличия копии репозитория локально на сервере субд

[gsmolk]

А какую ф-цию выполняет rclone в данной схеме? Он запускается на виндовой машине и по sftp загружает файлы на NAS?

[zhendosina]

А какую ф-цию выполняет rclone в данной схеме? Он запускается на виндовой машине и по sftp загружает файлы на NAS?

Да

[gsmolk]

Вас бы устроило, если бы мы подключилась по ssh к NAS и лили бэкап сразу на него?

[zhendosina]

Вас бы устроило, если бы мы подключилась по ssh к NAS и лили бэкап сразу на него?

Концептуально - да. Вопрос реализации) Нативного ssh клиента у мс же нету, на сколько я знаю.
Хотя для унификации пробекапа, как мне кажется, лучше было бы все же сразу sftp поддерживать. Было бы бОльше сценариев использования.

[gsmolk]

Нативного ssh клиента у мс же нету, на сколько я знаю.

Вроде как есть:
https://blogs.windows.com/windowsdeveloper/2018/12/11/windows-server-2019-includes-openssh/

Хотя для унификации пробекапа, как мне кажется, лучше было бы все же сразу sftp поддерживать

Тут встает вопрос, может ли sftp дать нам аналогичные гарантии: эксклюзивное создание файла, fsync, атомарный rename. Надо изучить вопрос.

[zhendosina]

Вроде как есть:
https://blogs.windows.com/windowsdeveloper/2018/12/11/windows-server-2019-includes-openssh/

О похоже wsl подъехал окончательно)

Тут встает вопрос, может ли sftp дать нам аналогичные гарантии: эксклюзивное создание файла, fsync, атомарный rename. Надо изучить вопрос.

Насколько я понимаю sftp это и есть ssh, в плане транспорта

[gsmolk]

Насколько я понимаю sftp это и есть ssh, в плане транспорта

Вообще надо посмотреть, если мы сможем использовать sftp подсистему, по-прежнему полагаясь на ssh бинарь, то может даже это будет не сложно запилить, но этим имеет смысл заниматься только после #233