Общие вопросы > Программное обеспечение Linux

Экономия трафика : zsync, rsync, xdelta,

(1/4) > >>

betcher:

--- Цитата: krasnyh от 13 Май 2021, 17:17:17 ---Использование zsync для минимизации трафика при синхронизации больших файлов, например, ежедневных сборок Ubuntu

zsync man
zsyncmake man


--- Цитата: krasnyh от 10 Май 2021, 14:00:31 ---$ pacman -Ss zsync2
chaotic-aur/zsync2-git 2.0.0r174.86cfd3a-1 [установлен: 2.0.0r177.f0bc205-1]
    A file transfer program that's able to connect to rsync servers
--- Конец цитаты ---


В чем преимущество zsync2 от zsync, без понятия. В Conty именно он используется, ну и я тоже.

zsync2-git-2.0.0r177.f0bc205-2008-kr01.pfs

--- Конец цитаты ---
Одно время использовали для обновления xdelta патчи, оказалось не слишком удобно. Сейчас магос обновляется с rsync, соответственно качаются только изменения. Не для сборки, а для каждого модуля отдельно. Но ввиду того что модули сжаты и каждый раз пересобираются, даже при небольших изменениях в репозиториях перед сборкой свежего магоса, rsync качает около половины размера сборки. С zsync также?

krasnyh:
Смотреть логи здесь и здесь.

В первом примере, замена в iso только одного файла весом 332Kb:
-rw-rw-rw- 1 live live 332K апр 19 11:47 089-upd-2008-sf57.pfs
Обратить внимание на строки used 608800768 local, fetched 421888 в конце лога.

Во втором, склеена папка /base с заменой того же 089-upd-2008-sf57.pfs, с тем же весом (332Kb).
used 144510976 local, fetched 794624


Видно, что по сети скачалось чуть больше 332Kb, но не вышло за пределы 1mb. )
Исходные размеры *.iso и base.pfs из тестов дать не могу, уже удалил. Но они в пределах used * local.

krasnyh:
Возможно, во втором примере были бы другие результаты, в большую сторону, если использовать не склеивание, а установку обновленных пакетов в папку, с последующим сжатием в монолит. Этот тест был бы близок, как в MagOS.

betcher:
Замена файла в исо это не показательно. С rsync будет аналогично. Попробуйте заменить файл внутри модуля в исо. И  тогда уже смотреть какой процент от размера этого модуля качается при обновлении.

krasnyh:
Хехе, подмодуль в составе большого модуля он всяко отследит и заменит, скачав по сети байтов примерно 1 к 1. Тем более, что у этого подмодуля измененная версия.
А склеивать в монолит имеет смысл для снижения потребления RAM.


--- Цитата: krasnyh от 15 Май 2021, 14:23:11 ---Во втором, склеена папка /base с заменой того же 089-upd-2008-sf57.pfs, с тем же весом (332Kb).
--- Конец цитаты ---

--- Цитата: krasnyh от 11 Май 2021, 13:13:42 ---Провел опыт. Склеил папку /base, заменив только 089-upd*.pfs. Нормально отработало.
--- Конец цитаты ---


А ситуация, предложенная в комменте выше, это чистый MagOs.

--- Цитата: krasnyh от 15 Май 2021, 14:33:15 ---Возможно, во втором примере были бы другие результаты, в большую сторону, если использовать не склеивание, а установку обновленных пакетов в папку, с последующим сжатием в монолит. Этот тест был бы близок, как в MagOS.
--- Конец цитаты ---

Навигация

[0] Главная страница сообщений

[#] Следующая страница

Перейти к полной версии