Сайт | Скачать | Видео | Wiki

Автор Тема: DwarFS - замена squashfs ?  (Прочитано 6964 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн krasnyh

  • Ветеран
  • *****
  • Сообщений: 4995
  • Репутация: +128/-1
Re: DwarFS - замена squashfs ?
« Ответ #30 : 07 Март 2021, 08:18:44 »
dwarfs-0.4.0
Цитата
Алгоритм сегментации был полностью переписан и теперь намного чище, использует гораздо меньше памяти, значительно быстрее и обнаруживает намного больше повторяющихся сегментов. В то же время его проще настроить (просто размер одного окна вместо списка).

...степень сжатия также значительно улучшилась, в основном за счет нового алгоритма сегментации. В выпуске 0.3.1 с использованием конфигурации по умолчанию 47 ГиБ установленных Perl были сжаты до 471,6 МиБ. В выпуске 0.4.0 этот показатель упал до 426,5 МБ, что на 10% больше . Используя lzmaсжатие ( -l9), размер результирующего изображения уменьшился с 319,5 МБ до 300,9 МБ, что примерно на 5% лучше . Что еще более важно, размер несжатой файловой системы снизился с 7 ГиБ до 4 ГиБ благодаря улучшенной сегментации, что означает, что меньше при использовании файловой системы в среднем требуется распаковывать блоков.
...
https://github.com/mhx/dwarfs/releases/tag/v0.4.0


Исходный размер папки funtoo - 4.2G, сжатие с mkpfs - 728M.
mkdwarfs -i funtoo -o /tmp/funtoo.dwarfs
612.5 M
mkdwarfs -i /tmp/funtoo.dwarfs -o /tmp/funtoo.9.dwarfs -l 9 --recompress
576.2 M


Сравнивал mkpfs /mnt/sda3/funtoo и mkdwarfs -i /mnt/sda3/funtoo -o funtoo.dwarfs
Код
$ sudo du -sh /mnt/sda3/funtoo                     
4,2G /mnt/sda3/funtoo
$ du -sh funtoo.pfs
728M funtoo.pfs
$ du -sh funtoo.dwarfs
633M funtoo.dwarfs


« Последнее редактирование: 07 Март 2021, 14:58:35 от krasnyh »

Оффлайн krasnyh

  • Ветеран
  • *****
  • Сообщений: 4995
  • Репутация: +128/-1
Re: DwarFS - замена squashfs ?
« Ответ #31 : 07 Март 2021, 08:22:39 »
Одна из особенностей последних релизов - наличие в архиве бинарника, не требующего сторонних либ.

Оффлайн krasnyh

  • Ветеран
  • *****
  • Сообщений: 4995
  • Репутация: +128/-1
Re: DwarFS - замена squashfs ?
« Ответ #32 : 14 Март 2021, 00:01:38 »
Обновление dwarfs-0.4.1
Улучшения производительности и исправление ошибок.
Ссылка.

Оффлайн krasnyh

  • Ветеран
  • *****
  • Сообщений: 4995
  • Репутация: +128/-1
Re: DwarFS - замена squashfs ?
« Ответ #33 : 06 Апрель 2021, 15:21:59 »
dwarfs-0.5.1
Автор подшаманил со скоростью сканирования в версии 0.5.0, у меня на папке в 4Gb выигрыш в 20 мин общего времени, при сжатии.
« Последнее редактирование: 06 Апрель 2021, 15:24:04 от krasnyh »

Оффлайн krasnyh

  • Ветеран
  • *****
  • Сообщений: 4995
  • Репутация: +128/-1
Re: DwarFS - замена squashfs ?
« Ответ #34 : 06 Апрель 2021, 19:13:30 »
Цитата
Разработчики Arch Linux сообщили о переводе схемы упаковки пакетов с алгоритма xz (.pkg.tar.xz) на zstd (.pkg.tar.zst). Пересборка пакетов в формат zstd привела к суммарному увеличению размера пакетов на 0.8%, но обеспечило ускорение распаковки на 1300%. Как следствие, переход на zstd приведёт к заметному увеличению скорости установки пакетов.
https://www.opennet.ru/opennews/art.shtml?num=52139


Пусть эта старая новость будет обоснованием необходимости перехода с xz на zstd при упаковке модулей в PRA/DDR. Это даст на порядок большую скорость распаковки, а значит и чтения файлов. Что в итоге будет равносильно замене старого медленного HDD на быстрый SSD и вдохнет новую жизнь сборкам форума. Имхо.  :)

И для этого dwarfs подходит как никто. Дефолтный алгоритм - zstd, а размер модулей получается даже меньше, чем при сжатии с mkpfs и xz.


Сразу отвечу на возможный вопрос, почему бы не сжимать в zstd с mkpfs. Дело в размере, какой бы уровень компрессии не был выбран, mkdwarfs выдаст меньший итоговый размер модуля. Старые тесты сравнения zstd и xz.


Можно ведь сделать экспериментальный initrd и поюзать с ним какой-нибудь PRA.iso. Или что там еще нужно для полноценного функционирования системы...
« Последнее редактирование: 06 Апрель 2021, 19:28:41 от krasnyh »

Оффлайн sfs

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 33041
  • Репутация: +226/-0
  • Автор темы
    • PuppyRus-A
Re: DwarFS - замена squashfs ?
« Ответ #35 : 07 Апрель 2021, 09:07:27 »
Теоретически заменить в инитрд монтирование squashfs на монтирование DwarFS не сложно
Практически на "слепом" тесте вряд ли кто заметит отличия
Погуглил - кроме нас никто не заинтересовался
У нас и так активных осталось я, вы и betcher. А впереди "мертвый" сезон
В итоге я пока не планирую. Есть более важные дела

Оффлайн sfs

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 33041
  • Репутация: +226/-0
  • Автор темы
    • PuppyRus-A
Re: DwarFS - замена squashfs ?
« Ответ #36 : 21 Декабрь 2021, 09:58:35 »
За dwarfs будущее.
Из чего сделан этот вывод?
Погуглил - кроме нас никто не заинтересовался
Что-то изменилось?
Fuse в зависимостях напрягает. Как правило fuse=тормоз

Оффлайн DdShurick

  • Это Риччи
  • Активный участник
  • Ветеран
  • ****
  • Сообщений: 8502
  • Репутация: +185/-2
  • Старый чайник
Re: DwarFS - замена squashfs ?
« Ответ #37 : 21 Декабрь 2021, 12:47:42 »
 Скачал, посмотрел. Толстая. Один только бинарник dwarfs 8.1M, для сравнения busybox в 10 раз меньше. И это тащить в initrd?
Какое печальное будущее предстоит.....  :'(
Моноблок Lenovo IdeaCentre c200 (Intel Atom D525, Intel GMA 3150, 2 Gb RAM) Richy64
Nettop Acer Aspire Revo R3610 (Atom N330, nVidia GeForce 9400, 3 Gb RAM) Richy64

Оффлайн krasnyh

  • Ветеран
  • *****
  • Сообщений: 4995
  • Репутация: +128/-1
Re: DwarFS - замена squashfs ?
« Ответ #38 : 21 Декабрь 2021, 12:57:03 »
Толстая
статический пакет от автора, не требующий зависимостей.
В собранном пакете из aur, весит 1.7 mb.

Оффлайн DdShurick

  • Это Риччи
  • Активный участник
  • Ветеран
  • ****
  • Сообщений: 8502
  • Репутация: +185/-2
  • Старый чайник
Re: DwarFS - замена squashfs ?
« Ответ #39 : 21 Декабрь 2021, 17:08:16 »
весит 1.7 mb
Для initrd всё равно много.
Код
bash-4.4$ du -h minitrd.gz
192.0K minitrd.gz
Моноблок Lenovo IdeaCentre c200 (Intel Atom D525, Intel GMA 3150, 2 Gb RAM) Richy64
Nettop Acer Aspire Revo R3610 (Atom N330, nVidia GeForce 9400, 3 Gb RAM) Richy64

Оффлайн krasnyh

  • Ветеран
  • *****
  • Сообщений: 4995
  • Репутация: +128/-1
Re: DwarFS - замена squashfs ?
« Ответ #40 : 21 Декабрь 2021, 17:20:59 »
Для initrd всё равно много.
:) 
А для моего uird.xz, весом 31,3 mb, будет не заметно. ) Правда я его собирал как есть, не оптимизируя за счет выключения network, crypto и т.д.


p.s. В MagOS и barium вообще 52,1 mb. )
« Последнее редактирование: 21 Декабрь 2021, 17:23:44 от krasnyh »

Оффлайн sfs

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 33041
  • Репутация: +226/-0
  • Автор темы
    • PuppyRus-A
Re: DwarFS - замена squashfs ?
« Ответ #41 : 21 Декабрь 2021, 17:31:54 »
52,1 mb
Помнится slitaz был целиком (с де и т.п.) в инитрд и весил меньше :)
У lfd10 база 44мб
Интересно.... После загрузки ос какие-то куски инитрд остаются в RAM...

Оффлайн krasnyh

  • Ветеран
  • *****
  • Сообщений: 4995
  • Репутация: +128/-1
Re: DwarFS - замена squashfs ?
« Ответ #42 : 14 Июнь 2022, 17:44:25 »
Обновление dwarfs-0.6.1.

В предыдущих версиях было медленное монтирование на HDD, в силу проверки архива на ошибки (или что там). В результате была явно ощутимая разница между HDD и SSD. Сейчас поправили.
Цитата
Section index support for speeding up mount times (fixes #48).


Для понимания о чем идет речь, цитата из проекта Conty, который давно и успешно использует conty_dwarfs.sh:
Цитата
Changelog:
....
DwarFS теперь включает улучшения .... и теперь монтирует образы практически мгновенно даже на медленных HDD. Поэтому, если вы избегали использования DwarFS из-за медленного времени монтирования, вы можете попробовать его прямо сейчас.
https://github.com/Kron4ek/Conty/releases/tag/1.19.7

Оффлайн krasnyh

  • Ветеран
  • *****
  • Сообщений: 4995
  • Репутация: +128/-1
Re: DwarFS - замена squashfs ?
« Ответ #43 : 15 Сентябрь 2022, 14:36:21 »
Давно уже говорил, что проект Conty использует DwarFS наравне с SquashFS. По итогам многомесячной эксплуатации, уже нарисовались некоторые выводы:

Цитата
conty_dwarfs.shа также conty_lite_dwarfs.sh такие же, как и обычные версии, за исключением того, что они сжаты с помощью DwarFS вместо SquashFS, поэтому занимают меньше места на диске.

Помимо лучшего сжатия, DwarFS также имеет лучшее кэширование и лучшую поддержку многопоточности, и, по моему опыту, она читает сжатые файлы заметно быстрее, чем SquashFS (в частности, squashfuse). Однако преимущество squashfuse в том, что он использует меньше памяти.
https://github.com/Kron4ek/Conty/releases/tag/1.21.1

Оффлайн sfs

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 33041
  • Репутация: +226/-0
  • Автор темы
    • PuppyRus-A
Re: DwarFS - замена squashfs ?
« Ответ #44 : 16 Сентябрь 2022, 09:14:55 »
Root rights are not required - из доки conty
В итоге кому-то удалось собрать aufs или из нескольких примонтированных DwarFS ?