DwarFS - замена squashfs ?

[krasnyh]

Скорость сжатия не критична

У него железо:

Эти тесты проводились на 6-ядерном процессоре Intel (R) Xeon (R) D-1528 @ 1,90 ГГц с 64 ГиБ ОЗУ.
Исходный каталог содержал ... всего 47,65 ГиБ данных... каталог был недавно распакован из tar-архива на SSD 850 EVO 1 ТБ....

И командой time mkdwarfs -i install -o perl-install.dwarfs (-comp zstd -Xcompression-level 22) он все сжал за:
real    15m12.095s
user    116m52.351s
sys     2m36.983s

На моем компе (4ядра 4Gb ram), этой же командой я целый час сжимал 4,2G.   
https://github.com/mhx/dwarfs#with-squashfs

всего 47,65 ГиБ данных

Причем он сжал до безумных размеров:

compressed filesystem: 450 blocks/555.7 MiB written

[krasnyh]

Распаковал Монтировал и скопировал 001-prar2008-sf08.pfs в /tmp. Теперь сравнялись mkpfs и mkdwarfs, по размеру и по времени.

Наверно фишка mkdwarfs за счет оптимизации дубликатов? А в данном примере их мало:

12:56:46.116043 finding duplicate files...
12:56:46.133114 saved 6.897 MiB / 415 MiB in 2833/14289 duplicate files

upd. Если сжимать с -l 9 (9=best), то выигрыш в данном примере 10Mb

mkdwarfs --help
9      24     lzma:level=9:extreme       zstd:level=22  lzma:level=9:extreme  17,15,13,11

Ну и добавить потоки -N 4 -M 4 (для моего четырехядерника)

-N [ --num-workers ] arg (=4)         number of writer worker threads
-M [ --max-scanner-workers ] arg (=4) number of scanner worker threads

[TT]

мысль вслух: Есть ещё и посекторная дедубликация на BTRFS и OpenZFS, как следствие улучшения замечательной программы fdupes --linkhard. А сжимать можно и результирующий img-loop-устройство-файл на котором такая файловая система была применена.

[krasnyh]

Какие могут быть идеи, если точка монтирования dwarfs получается битая.

Это не то?

Version 0.2.3 - 2020-12-01

    Fix link handling. There were two bugs introduced with the new metadata format, one in file system creation and another in the fuse driver. You will have to re-create a file system created with dwarfs < 0.2.3 if it contained links. If you can absolutely not re-create the file system and the data is precious, let me know, there's actually a way to recover the missing data.

Исправить обработку ссылок. В новом формате метаданных было обнаружено две ошибки: одна при создании файловой системы, а другая - в драйвере fuse.

Version 0.2.2 - 2020-11-30

    Remove read-only masking as it prevents writable overlays
    Throw an error in mkdwarfs if unrecognized command line arguments are encountered (github #5)
   Various build fixes (github #2. #3)
    More documentation

[sfs]

Наверно фишка mkdwarfs за счет оптимизации дубликатов?

В squashfs это тоже есть (2 одинаковых файла в офном сквоше займут места как 1 )

fuse - обычно тормоз

Есть ещё и посекторная дедубликация на BTRFS и OpenZFS

Нужны цифры в сравнении с тем, что мы тут тестируем

[sfs]

https://aur.archlinux.org/packages/dwarfs/

[krasnyh]

Многопоточность включена по умолчанию mkdwarfs.md.

То что по факту медленней сжимается, чем заявлено, в сравнении с mkpfs, может скомпилирован пакет был криво. Тот что с aur, у меня с ошибками.


p.s. Если бы работала заявленная скорость сжатия, даже без изменения размера в сторону уменьшения, для меня это было бы преимуществом. На мой взгляд это дало бы толчок развитию фругала на пользовательском уровне (самостоятельные сборки). Способность быстро, за считанные минуты, сжимать в pfs/dfs большие объемы данных...

Конечно увеличение размера было бы неприемлемо. Знаю что есть параметры быстрого сжатия mkpfs, жертвуя размером.


Пока, то что я вижу, это одинаковый размер и скорость (при использовании быстрого носителя или /tmp) с mkpfs при сжатии. Но использование zstd дает более быстрое чтение из сжатого архива/модуля, в сравнении с xz. Имхо.
Если же использовать mkpfs/mksquashfs с zstd, то увеличится размер.

это одинаковый размер

При эксперименте с монтированными модулями PRA - да, при упаковке фулл (funtoo 4,2Gb) - выигрыш около 100Mb, при дефолтных mkpfs и mkdwarfs.

[sfs]

Тот что с aur, у меня с ошибками.

Не скомпилился или скомпилился , но не работает?

На мой взгляд это дало бы толчок развитию фругала на пользовательском уровне (самостоятельные сборки). Способность быстро, за считанные минуты, сжимать в pfs/dfs большие объемы данных...

Не замечал такой проблемы. Где у нас объемы... У нас "маленький и быстрый"

[krasnyh]

Не компилится.

Здесь автор обнаружил, что не так радужно как в его тестах, у кого-то все слишком медленно на небыстрых носителях.

[sfs]

выигрыш в данном примере 10Mb

Тогда не особо впечатляет. Надо ли вообще...

[TT]

Про посекторную дедупликацию слегка бредовый алгоритм мог бы быть следующим:

- дедуплицировать посекторно img-диск  с находящимися там файлами под tmpfs для copy2ram
- сжать его чем-то термоядерным (xz, dwarf, пр.)
- при инициализации системы развернуть этот (сжатый) img-образ в tmpfs (где будет посекторная дедупликация!)

Но, вроде, в соседней ветке подсказывают, что это может быть возможно тольео с uird, и zram-устройством (которое и можно форматить под brtfs/openzfs).

А выигрыш на 10 МБ это на неповторяемых данных. Автор в оригинале DwarfFS тестировал на сжатие perl-модулей. Если их много будет, то наличие самой поддержки DFS в дистре будет актуально.

[krasnyh]

Странная логика. Сначала:

$ sudo du -sh /mnt/sda3/funtoo                     
4,2G   /mnt/sda3/funtoo
$ du -sh funtoo.pfs
728M   funtoo.pfs
$ du -sh funtoo.dwarfs
633M   funtoo.dwarfs

Размер после сжатия впечатляет.

Потом:

    выигрыш в данном примере 10Mb

Тогда не особо впечатляет. Надо ли вообще..

Учитывая, что этот тест был на одном модуле, а в том же PRA-roll-20.08-7 их 35.

[krasnyh]

В этой теме Add an option for static executables (Добавить параметр для статических исполняемых файлов) автор собрал последнюю версию бинарника dwarfs-0.2.4-Linux.tar.gz без динамических библиотек.
По идее должно работать на любом линуксе (64bit). Подойдет для тестов.

[sfs]

Странная логика.

Сначала не догнал, что 100мб экономии - это 10%
Вообще если кто-то прикрутит к инитрд - интересно. Сам пока планирую заняться другими темами

[krasnyh]

Release dwarfs-0.3.0

Одна из особенностей последних релизов - наличие в архиве бинарника, не требующего сторонних либ.