Типы компресии SquashFS

[sfs]

тема для объединения Алгоритмы сжатия/распаковки.

Добавил там в шапку

rsync

Да.

Код

# ./squashtest lz4, lzo, xz, zstd --dirs google-chrome-gtk3-p-96.0.4664.110_64-sf01 
./squashtest: строка 2: /etc/initvars: Нет такого файла или каталога
writegoogle-chrome-gtk3-p-96.0.4664.110_64-sf01                      lz4           153M           0.21 sec
writegoogle-chrome-gtk3-p-96.0.4664.110_64-sf01                      lzo           121M           9.50 sec
writegoogle-chrome-gtk3-p-96.0.4664.110_64-sf01                       xz            99M          14.69 sec
writegoogle-chrome-gtk3-p-96.0.4664.110_64-sf01                     zstd           105M           7.82 sec

==========================================================
read  all                           lz4           0.56 sec
read  all                           lzo           0.67 sec
read  all                            xz           6.71 sec
read  all                          zstd           0.85 sec

write all                           lz4            .21 sec
write all                           lzo           9.50 sec
write all                            xz          14.69 sec
write all                          zstd           7.82 sec
==========================================================
size  all                        source      252.8M (100%)
size  all                           lz4     152.1M (60.1%)
size  all                           lzo     120.9M (47.8%)
size  all                            xz      98.0M (38.7%)
size  all                          zstd     104.9M (41.5%)
==========================================================
Best read  speed  -- lz4
Best write speed  -- lz4
Best compression  -- xz

чтение xz настолько медленное, что не упирается в скорость носителя, в отличие от других алгоритмов

В теории - да, но мы обсуждаем только первый запуск проги. Потом она в памяти и кэше и разницы нет
На правтике : при запуске celluloid (см. выше) разницы между 0,02 и 0,27 сек вы не заметите

[krasnyh]

В теории - да, но мы обсуждаем только первый запуск проги.

Ну так вернуть сжатие xz для браузеров в prar2110 и объяснить пользователю, что надо подождать, потом будет быстро.

Какое-то переливание из пустого в порожнее.

[sfs]

3. Особенно зффект ускорения заметен на больших файлах (бинарник chrome 180мб)

Тут однозначно zstd . А где еще подобное есть? В остальных - ловля блох

[betcher]

Нет. Основной вывод - чтение xz настолько медленное, что не упирается в скорость носителя, в отличие от других алгоритмов. Т.е. на свежем современном железе такой фругал будет сильно проигрывать "Большим Линуксам".

Если это было бы так, на моем буке лидировал бы lz4.

[krasnyh]

Лидировал в чем, в огромном размере? У него худшая степень сжатия. А по чтению lz4, lzo, zstd идут 'нос к носу', но zstd лучше жмет.

[betcher]

В скорости чтения, lz4 ближе всех остальных к вамрианту "без сжатия".

[krasnyh]

Ну так надо продемонстрировать реальную скорость этого быстрого диска. А то может он и не настолько быстр и lz4 просто упирается в него при чтении.

https://github.com/facebook/zstd#benchmarks

[sfs]

lz4 просто упирается в него при чтении.

я сегодняшние тесты на ssd INTEL_SSDSC2BW24 size: 240.1GB  (не самый свежий и бодрый) проводил. Потом перепроверил на tmpfs
Результат одинаковый, т.е. если squash на ssd - copy2ram не нужен.

[krasnyh]

Правильнее было бы всем проверять с 00-basesys.xzm, 05-kmod.xzm, 10-extsys.xzm из barium, раз уж с них начал тесты betcher. Вот это было бы очень наглядно, на разном железе от разных пользователей.

[sfs]

всем проверять

и где ваши тесты?

[krasnyh]

Воообще-то, в теме Алгоритмы сжатия/распаковки.

[sfs]

Перепроверил на 5.15.10-desktop-1.mga9
От ядра здесь скорость не зависит.
В памяти или на ssd - скорость одинаковая

Код

read  all                            xz           6.55 sec
read  all                          zstd           0.93 sec

write all                            xz          14.09 sec
write all                          zstd           7.86 sec

[sfs]

C древней флэшки - в разы медленнее

Код

read  all                            xz           7.13 sec
read  all                          zstd           4.69 sec

write all                            xz          25.37 sec
write all                          zstd          18.14 sec

Причем на xz это не так заметно. Видимо из-за того, что архив меньше, меньше надо прочитать с носителя
Т.е. на флэшку оттимально  xz+copy2ram
С винта никто не проверял по сравнениб с ram (tmpfs)?

[krasnyh]

Перепроверил на 5.15.10-desktop-1.mga9
От ядра здесь скорость не зависит.

read  all                          zstd           0.85 sec

read  all                          zstd           0.93 sec

На таких маленьких модулях все выглядит не так убедительно. Но все равно видно, что патченный zstd дает свои 15% ускорения чтения.


В тестах betcher более наглядно, там большие размеры. И даст 2 и 9 сек соответственно.


p.s. Больше выгоды патченый zstd даст при использовании zram - до 30%.

[krasnyh]

Причем на xz это не так заметно. Видимо из-за того, что архив меньше, меньше надо прочитать с носителя

Ага, универсальный алгоритм, на всех носителях читает одинаково медленно.