Сайт | Скачать | Видео | Wiki

Автор Тема: DwarFS - замена squashfs ?  (Прочитано 1911 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн krasnyh

  • Ветеран
  • *****
  • Сообщений: 3825
  • Репутация: +118/-1
Re: DwarFS - замена squashfs ?
« Ответ #30 : 07 Март 2021, 08:18:44 »
dwarfs-0.4.0
Цитата
Алгоритм сегментации был полностью переписан и теперь намного чище, использует гораздо меньше памяти, значительно быстрее и обнаруживает намного больше повторяющихся сегментов. В то же время его проще настроить (просто размер одного окна вместо списка).

...степень сжатия также значительно улучшилась, в основном за счет нового алгоритма сегментации. В выпуске 0.3.1 с использованием конфигурации по умолчанию 47 ГиБ установленных Perl были сжаты до 471,6 МиБ. В выпуске 0.4.0 этот показатель упал до 426,5 МБ, что на 10% больше . Используя lzmaсжатие ( -l9), размер результирующего изображения уменьшился с 319,5 МБ до 300,9 МБ, что примерно на 5% лучше . Что еще более важно, размер несжатой файловой системы снизился с 7 ГиБ до 4 ГиБ благодаря улучшенной сегментации, что означает, что меньше при использовании файловой системы в среднем требуется распаковывать блоков.
...
https://github.com/mhx/dwarfs/releases/tag/v0.4.0


Исходный размер папки funtoo - 4.2G, сжатие с mkpfs - 728M.
mkdwarfs -i funtoo -o /tmp/funtoo.dwarfs
612.5 M
mkdwarfs -i /tmp/funtoo.dwarfs -o /tmp/funtoo.9.dwarfs -l 9 --recompress
576.2 M


Сравнивал mkpfs /mnt/sda3/funtoo и mkdwarfs -i /mnt/sda3/funtoo -o funtoo.dwarfs
Код
$ sudo du -sh /mnt/sda3/funtoo                     
4,2G /mnt/sda3/funtoo
$ du -sh funtoo.pfs
728M funtoo.pfs
$ du -sh funtoo.dwarfs
633M funtoo.dwarfs


« Последнее редактирование: 07 Март 2021, 14:58:35 от krasnyh »

Оффлайн krasnyh

  • Ветеран
  • *****
  • Сообщений: 3825
  • Репутация: +118/-1
Re: DwarFS - замена squashfs ?
« Ответ #31 : 07 Март 2021, 08:22:39 »
Одна из особенностей последних релизов - наличие в архиве бинарника, не требующего сторонних либ.

Оффлайн krasnyh

  • Ветеран
  • *****
  • Сообщений: 3825
  • Репутация: +118/-1
Re: DwarFS - замена squashfs ?
« Ответ #32 : 14 Март 2021, 00:01:38 »
Обновление dwarfs-0.4.1
Улучшения производительности и исправление ошибок.
Ссылка.

Оффлайн krasnyh

  • Ветеран
  • *****
  • Сообщений: 3825
  • Репутация: +118/-1
Re: DwarFS - замена squashfs ?
« Ответ #33 : 06 Апрель 2021, 15:21:59 »
dwarfs-0.5.1
Автор подшаманил со скоростью сканирования в версии 0.5.0, у меня на папке в 4Gb выигрыш в 20 мин общего времени, при сжатии.
« Последнее редактирование: 06 Апрель 2021, 15:24:04 от krasnyh »

Оффлайн krasnyh

  • Ветеран
  • *****
  • Сообщений: 3825
  • Репутация: +118/-1
Re: DwarFS - замена squashfs ?
« Ответ #34 : 06 Апрель 2021, 19:13:30 »
Цитата
Разработчики Arch Linux сообщили о переводе схемы упаковки пакетов с алгоритма xz (.pkg.tar.xz) на zstd (.pkg.tar.zst). Пересборка пакетов в формат zstd привела к суммарному увеличению размера пакетов на 0.8%, но обеспечило ускорение распаковки на 1300%. Как следствие, переход на zstd приведёт к заметному увеличению скорости установки пакетов.
https://www.opennet.ru/opennews/art.shtml?num=52139


Пусть эта старая новость будет обоснованием необходимости перехода с xz на zstd при упаковке модулей в PRA/DDR. Это даст на порядок большую скорость распаковки, а значит и чтения файлов. Что в итоге будет равносильно замене старого медленного HDD на быстрый SSD и вдохнет новую жизнь сборкам форума. Имхо.  :)

И для этого dwarfs подходит как никто. Дефолтный алгоритм - zstd, а размер модулей получается даже меньше, чем при сжатии с mkpfs и xz.


Сразу отвечу на возможный вопрос, почему бы не сжимать в zstd с mkpfs. Дело в размере, какой бы уровень компрессии не был выбран, mkdwarfs выдаст меньший итоговый размер модуля. Старые тесты сравнения zstd и xz.


Можно ведь сделать экспериментальный initrd и поюзать с ним какой-нибудь PRA.iso. Или что там еще нужно для полноценного функционирования системы...
« Последнее редактирование: 06 Апрель 2021, 19:28:41 от krasnyh »

Онлайн sfs

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 31034
  • Репутация: +207/-0
  • Автор темы
    • PuppyRus-A
Re: DwarFS - замена squashfs ?
« Ответ #35 : 07 Апрель 2021, 09:07:27 »
Теоретически заменить в инитрд монтирование squashfs на монтирование DwarFS не сложно
Практически на "слепом" тесте вряд ли кто заметит отличия
Погуглил - кроме нас никто не заинтересовался
У нас и так активных осталось я, вы и betcher. А впереди "мертвый" сезон
В итоге я пока не планирую. Есть более важные дела