Сайт | Скачать | Видео | Wiki

Автор Тема: Алгоритмы сжатия/распаковки  (Прочитано 28864 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн ilfat

  • Ветеран
  • *****
  • Сообщений: 438
  • Репутация: +11/-0
Re: алгоритмы сжатия/распаковки
« Ответ #75 : 15 Март 2019, 16:23:27 »
Похоже магос переезжает на новое ядро. )
Роса! )) В репах официально давно уже 4.15, также есть репозитории с более новыми ядрами, в том числе 5.0. Так вот теперь просто в iso будет изначально 4.15, вот и все. А в МагОС ядро собирается из исходников, правда скорее всего той же Росы, но как правило версия всегда чуть новее. Сам пока не знаю почему собирают сами, может своими настройками. А так можно и Росовское использовать, aufs есть.
МагОС еще в декабре, если не в ноябре, хотели на 4.15 перевести, но из-за плохого свопинга решили не торопиться.

Оффлайн krasnyh

  • Ветеран
  • *****
  • Сообщений: 5319
  • Репутация: +139/-1
  • Автор темы
Re: алгоритмы сжатия/распаковки
« Ответ #76 : 24 Август 2019, 13:17:55 »
Squashfs-tools слегка обновился на днях, может появились какие полезные функции.
README-4.4: Update for Squashfs-tools 4.4 release

Оффлайн sfs

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 33965
  • Репутация: +231/-0
    • PuppyRus-A
Re: алгоритмы сжатия/распаковки
« Ответ #77 : 24 Сентябрь 2019, 09:52:20 »
в осеннем выпуске Ubuntu будет совершён переход на применение алгоритма LZ4 для сжатия ядра Linux и начального загрузочного образа initramfs
Цитата
проведено тестирование скорости загрузки ядра при использовании алгоритмов BZIP2, GZIP, LZ4, LZMA, LZMO и XZ. BZIP2, LZMA и XZ были сразу отброшены из-за медленной распаковки. Из оставшихся наименьший размер образа оказался при использовании GZIP, но LZ4 распаковывал данные в семь раз быстрее GZIP, отставая по размеру на 25%. LZMO отставал от GZIP по степени сжатия на 16%, но по скорости распаковки был быстрее всего в 1.25 раза.
А мы что-то потужились выше в этой теме, но ни к чему не пришли
Остаемся на xz ...
Никто больше не тестировал?

Оффлайн krasnyh

  • Ветеран
  • *****
  • Сообщений: 5319
  • Репутация: +139/-1
  • Автор темы
Re: алгоритмы сжатия/распаковки
« Ответ #78 : 05 Январь 2020, 17:53:31 »
Arch Linux перешёл на использование алгоритма zstd для сжатия пакетов
Пересборка пакетов в формат zstd привела к суммарному увеличению размера пакетов на 0.8%, но обеспечило ускорение распаковки на 1300%.

Разместил новость в этой теме, может когда-то и на нашем форуме придет понимание, что не надо 'фетишировать' маленький размер сборки, любой ценой, теряя производительность и удобства по дороге к этой цели.
И вся эта тема, с тестами, прямо 'вопиет' об этом.

Еще http://forum.puppyrus.org/index.php?topic=22266.msg163573#msg163573.

Оффлайн sfs

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 33965
  • Репутация: +231/-0
    • PuppyRus-A
Re: алгоритмы сжатия/распаковки
« Ответ #79 : 17 Январь 2020, 12:02:38 »
Arch Linux перешёл на использование алгоритма zstd для сжатия пакетов
Под это надо править конфиги mc и некоторые скрипты и обновить libarchive
Уже начал. Желающие помогать есть (выкладывать промежуточное, чтобы вместе быстрее получилось)?

Оффлайн sfs

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 33965
  • Репутация: +231/-0
    • PuppyRus-A
Re: алгоритмы сжатия/распаковки
« Ответ #80 : 20 Январь 2020, 13:43:54 »
Под это надо править конфиги mc и некоторые скрипты и обновить libarchive
089-z-zst-sf01.pfs - положить в /base
поправил, обновил. Дополнительно обновил gcc-libs до версии, как в  деб10
Прошу проверить и обновлю 001

Оффлайн sfs

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 33965
  • Репутация: +231/-0
    • PuppyRus-A
Re: алгоритмы сжатия/распаковки
« Ответ #81 : 24 Январь 2020, 11:00:17 »
Прошу проверить и обновлю 001
Не дождался обратной связи. Включил в 089 089-pra-upd-1801-sf86.pfs

089-upd-1912-sf15.pfs - добавил исправленные скрипты.  libarchive здесь и так новый
« Последнее редактирование: 24 Январь 2020, 11:05:40 от sfs »

Оффлайн sfs

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 33965
  • Репутация: +231/-0
    • PuppyRus-A
Re: алгоритмы сжатия/распаковки
« Ответ #82 : 07 Февраль 2020, 09:17:17 »
у вас есть разработки использующие zstd? Наверное есть и в сотый раз отвечаете... Как там сжатие максимальное, если с вашим инструментарием поженить вместо xz? Вроде и скорость заявлена, и компрессия... Слабо шарю, просьба щеки не надувать, терминами не грузить :)
На средне бодром железе я не ощутил разницы по скорости
Размер минимальный у xz. Его и юзаю
На слабом железе , возможно, разница будет. К определенном выводам не пришли
Пережмите и расскажите впечатления

Оффлайн dZ0TFR

  • Постоялец
  • ***
  • Сообщений: 179
  • Репутация: +3/-0
Re: алгоритмы сжатия/распаковки
« Ответ #83 : 12 Февраль 2020, 09:13:45 »
Вот тестик очередной zstd vs. xz не мой, но по моей просьбе  :) Создатель дериватива Aporteus из дружественной японии  :) продемонстрировал скорость загрузки: https://forum.porteus.org/viewtopic.php?p=75910#p75910
Насколько я понял, пока выбор: либо размер модуля, либо скорость загрузки.

Если разработчики zstd в новых версиях увеличат компрессии до равной xz, то думаю можно перелазить. А пока подожду...

Оффлайн sfs

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 33965
  • Репутация: +231/-0
    • PuppyRus-A
Re: алгоритмы сжатия/распаковки
« Ответ #84 : 12 Февраль 2020, 09:19:29 »
продемонстрировал скорость загрузки
Насколько я понял на результаты Blowfish никак не повлияло
С systemd быстрее загрузилось на 5 сек
Мой выбор по прежнему - меньший размер, т.е. xz

Оффлайн dZ0TFR

  • Постоялец
  • ***
  • Сообщений: 179
  • Репутация: +3/-0
Re: алгоритмы сжатия/распаковки
« Ответ #85 : 12 Февраль 2020, 09:21:28 »
sfs, согласен

Оффлайн krasnyh

  • Ветеран
  • *****
  • Сообщений: 5319
  • Репутация: +139/-1
  • Автор темы
Re: алгоритмы сжатия/распаковки
« Ответ #86 : 07 Июль 2021, 20:51:38 »
Arch Linux перешёл на использование алгоритма zstd для сжатия пакетов
Пересборка пакетов в формат zstd привела к суммарному увеличению размера пакетов на 0.8%, но обеспечило ускорение распаковки на 1300%.
Вот и до юбунты докатилось эхо перемен. С опозданием, но все же. )
Ubuntu 21.10 переходит на использование алгоритма zstd для сжатия deb-пакетов


Оффлайн sfs

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 33965
  • Репутация: +231/-0
    • PuppyRus-A
Re: алгоритмы сжатия/распаковки
« Ответ #87 : 08 Июль 2021, 10:56:41 »
Вот и до юбунты докатилось эхо перемен. С опозданием, но все же. )
Сегодня в Арче - завтра везде
так же как с systemd и симлинками /lib /sbin (привет Дяде Шурику - очень топил за sbin)  ;)

Оффлайн DdShurick

  • Это Риччи
  • Активный участник
  • Ветеран
  • ****
  • Сообщений: 8635
  • Репутация: +187/-2
  • Старый чайник
Re: алгоритмы сжатия/распаковки
« Ответ #88 : 08 Июль 2021, 11:24:58 »
Сегодня в Арче - завтра везде
Это плохо, загонят в ловушку. Lennart Poettering - быдлокодер, но его лоббируют :( .
привет Дяде Шурику
Сам приветливый :)
Моноблок Lenovo IdeaCentre c200 (Intel Atom D525, Intel GMA 3150, 2 Gb RAM) Richy64
Nettop Acer Aspire Revo R3610 (Atom N330, nVidia GeForce 9400, 3 Gb RAM) Richy64

Оффлайн krasnyh

  • Ветеран
  • *****
  • Сообщений: 5319
  • Репутация: +139/-1
  • Автор темы
Re: алгоритмы сжатия/распаковки
« Ответ #89 : 11 Сентябрь 2021, 20:48:24 »
Это к вопросу оптимизированных ядер и отличия от дефолтных. С миру по нитке - тут подкрутили, там подтянули и глядишь, домашний комп задышал поживее. :). А то пользуемся и не знаем, какая 'бомба' под капотом, одна из ...

Патченный ZSTD v1.4.10 из pf-kernel.
Цитата
Я провел тесты, чтобы сравнить текущий zstd в ядре с zstd-1.4.6.
  Я нашел:
 * Сжатие BtrFS zstd на уровнях 1 и 3 на 5% быстрее
 * BtrFS zstd распаковка + чтение на 15% быстрее
 * Распаковка SquashFS zstd + чтение на 15% быстрее
 * Сжатие F2FS zstd + запись на уровне 3 на 8% быстрее
 * F2FS zstd распаковка + чтение на 20% быстрее
 * Декомпрессия ZRAM + чтение на 30% быстрее
 * Распаковка ядра zstd на 35% быстрее
 * Initramfs zstd распаковка + сборка на 5% быстрее
https://lore.kernel.org/lkml/20210430013157.747152-1-nickrterrell@gmail.com/