Сайт | Скачать | Видео | Wiki

Автор Тема: mkpfs сжатие  (Прочитано 1557 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн sfs

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 19373
  • Репутация: +147/-0
    • PuppyRus-A
Re: mkpfs сжатие
« Ответ #30 : 11 Февраль 2017, 19:28:50 »
Почитал.
lz4 порвал всех по скорости, но примонтировать его (mont -o loop)
В пра монтируется. Если в др. системах тоже - согласен -g сделать lz4
Реально быстро
Про остальное - ловля блох по производительности, которая будет зависеть от железа и т.п.
А маленький  размер модуля - реально плюс

Оффлайн betcher

  • Модератор
  • Ветеран
  • ****
  • Сообщений: 1058
  • Репутация: +7/-0
    • chat.magos-linux.ru
Re: mkpfs сжатие
« Ответ #31 : 11 Февраль 2017, 19:34:39 »
В пра монтируется. Если в др. системах тоже - согласен -g сделать lz4
Реально быстро
Дефолт из конфига, а lz4 и gzip ключами. Так?
 
magos-linux.ru - форум
chat.magos-linux.ru - беседка (чат)

Оффлайн sfs

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 19373
  • Репутация: +147/-0
    • PuppyRus-A
Re: mkpfs сжатие
« Ответ #32 : 11 Февраль 2017, 19:46:24 »
Дефолт из конфига,
Это обязательно. Иначе по любому будут недовольные
а lz4 и gzip ключами.
Можно и еще ключ запилить, но меня бы и просто замена компресии по -g на lz4 устроила бы
Ну или тоже конфигом. Так даже проще
Меня устроит переменная в начале libpfs - т.е. по той же схеме

Оффлайн betcher

  • Модератор
  • Ветеран
  • ****
  • Сообщений: 1058
  • Репутация: +7/-0
    • chat.magos-linux.ru
Re: mkpfs сжатие
« Ответ #33 : 11 Февраль 2017, 20:06:42 »
Ок. Но торопиться пока не буду. Пусть в голове все устаканится :)
magos-linux.ru - форум
chat.magos-linux.ru - беседка (чат)

Оффлайн betcher

  • Модератор
  • Ветеран
  • ****
  • Сообщений: 1058
  • Репутация: +7/-0
    • chat.magos-linux.ru
Re: mkpfs сжатие
« Ответ #34 : 12 Февраль 2017, 09:23:07 »
Запилил простенький тестер
http://www.magos-linux.ru/index.php?option=com_agora&task=topic&id=1050&p=1&Itemid=55#p18244
Правда пока под uird только, в сборке uird+PRA по идее запустится. Пробуйте если интересно.
magos-linux.ru - форум
chat.magos-linux.ru - беседка (чат)

Оффлайн sfs

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 19373
  • Репутация: +147/-0
    • PuppyRus-A
Re: mkpfs сжатие
« Ответ #35 : 12 Февраль 2017, 10:18:17 »
Маленький - xz
Быстрый -lz4
Остальные посередине. Какие еще результаты Вы планируете получить и как применить?

Оффлайн betcher

  • Модератор
  • Ветеран
  • ****
  • Сообщений: 1058
  • Репутация: +7/-0
    • chat.magos-linux.ru
Re: mkpfs сжатие
« Ответ #36 : 12 Февраль 2017, 10:26:03 »
Как оказалось очень зависит от носителя и машины. У меня с винта с небольшим отрывом от lz4 победил lzo на выборке 20.  Планирую добавить в тест  aufs и выборочное копировпние. А не все подряд. Ну а дадьше статистика. Но уже сейчас совершенно однлзначно, что для слабых машин xz не подходит, а для быстрых наоборот выгоднее xz.
Это все не касается впрямую pfs-utils.Хочу выработать рекомендации для наших юзеров, либо инструмент, который подскажет есть ли смысл перепаковать систему для конкретного железа.
« Последнее редактирование: 12 Февраль 2017, 10:33:00 от betcher »
magos-linux.ru - форум
chat.magos-linux.ru - беседка (чат)

Оффлайн sfs

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 19373
  • Репутация: +147/-0
    • PuppyRus-A
Re: mkpfs сжатие
« Ответ #37 : 12 Февраль 2017, 10:57:15 »
Как оказалось очень зависит от носителя и машины
Размер-то от железа не может зависеть. А скорость - на уровне "небольшого отрыва" и "погрешности эксперимента"
Хочу выработать рекомендации для наших юзеров, либо инструмент, который подскажет есть ли смысл перепаковать систему для конкретного железа.
Вот это очень интересно, но сложно будет протестировать. Или синтетические тесты или на глаз
Думаю xz ощутимо не подойдет только компам, которые не тянут браузер. Надо ли такими заморачиваться...
Тем более в МагОС с КДЕ по дефолту

Оффлайн sfs

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 19373
  • Репутация: +147/-0
    • PuppyRus-A
Re: mkpfs сжатие
« Ответ #38 : 13 Февраль 2017, 09:59:16 »
Проверил lz4.pfs в ПРА - подключаются
Запилил на гите в libpfs переменную  compression-fast=lz4. Обрабатывается в mkpfs -g и pfs-extract -g
Так нормально? В вики что-то поправить?

Оффлайн betcher

  • Модератор
  • Ветеран
  • ****
  • Сообщений: 1058
  • Репутация: +7/-0
    • chat.magos-linux.ru
Re: mkpfs сжатие
« Ответ #39 : 13 Февраль 2017, 14:04:53 »
compression-fast=lz4.
Сделайте тогда и вторую переменную compression-std для основного алгоритма. Потом решу как это в магос подтянуть.
magos-linux.ru - форум
chat.magos-linux.ru - беседка (чат)

Оффлайн neobht

  • Ветеран
  • *****
  • Сообщений: 970
  • Репутация: +14/-0
Re: mkpfs сжатие
« Ответ #40 : 13 Февраль 2017, 14:34:34 »
Надо делать параметр эквивалентный mksquashfs и просто подставлять его.

Оффлайн betcher

  • Модератор
  • Ветеран
  • ****
  • Сообщений: 1058
  • Репутация: +7/-0
    • chat.magos-linux.ru
Re: mkpfs сжатие
« Ответ #41 : 13 Февраль 2017, 14:57:14 »
Надо делать параметр эквивалентный mksquashfs и просто подставлять его.
Ну тогда чтоб не ломать привычки паппиюзеров
mkpfs dir  (из copmpression-std)
mkpfs -g dir  (из copmpression-fast)
mkpfs dir  -comp xz -Xbcj x86 После разбора параметров двигаем shift до слова -comp, все что после передаем mksquashfs вместо $compression-std, пойдет?
magos-linux.ru - форум
chat.magos-linux.ru - беседка (чат)

Онлайн Ильфат

  • Пользователь
  • **
  • Сообщений: 35
  • Репутация: +1/-0
Re: mkpfs сжатие
« Ответ #42 : 13 Февраль 2017, 15:00:00 »
Добрый день! Если интересно мнение со стороны, то лично мне как пользователю особой разницы нет какой алгоритм будет по умолчанию, я все равно упакую в свой, оставьте только возможность. Почему бы не сделать ключ к компресии -с "алгоритм", либо -comp, чтоб было как в mksquasfs, чтоб путаницы не было + универсальность. Для меня возня с конфигом сложнее чем просто указать нужный ключ, который в свою очередь можно быстренько подглядеть в --help. И далее сугубо личное мнение: почему для lz4 был выбран ключ -g, если я правильно понимаю наследие от gzip, лично у меня вообще никак с lz4 не ассоциируется, только с gzip :)

Онлайн Ильфат

  • Пользователь
  • **
  • Сообщений: 35
  • Репутация: +1/-0
Re: mkpfs сжатие
« Ответ #43 : 13 Февраль 2017, 15:11:36 »
Ну тогда чтоб не ломать привычки паппиюзеров
Теперь понятно почему выбран ключ -g для быстрого сжатия. Вопрос снимаю :) Сразу не заметил..
А вообще для fast компрессии может и  lz4 -Xhc подойти, учитывая некритичное увеличение времени сжатия по сравнению с lz4 и заметно меньший выходной размер, что для флэшек весьма актуально. lz4 для роли fast compress конечно больше подходит, просто потому что он самый быстрый, но и lz4 -Zhc по сравнению с вашим умолчательным xz -Xbcj x86 просто ракета ;)
« Последнее редактирование: 13 Февраль 2017, 16:11:54 от ilfat »

Оффлайн DdShurick

  • Активный участник
  • Ветеран
  • ****
  • Сообщений: 5226
  • Репутация: +135/-0
  • Старый чайник
Re: mkpfs сжатие
« Ответ #44 : 13 Февраль 2017, 16:49:01 »
Для меня возня с конфигом сложнее чем просто указать нужный ключ
Вот. И получается, что проще всего сделать всё в консоли (если знаешь как).
lz4 -Zhc по сравнению с вашим умолчательным xz -Xbcj x86 просто ракета
Будьте внимательнее: lz4 -Xhc.
Перепаковал palemoon в lz4 -Xhc, не ракета, но первый запуск ускоряет заметно, приблизительно в полтора раза. При этом размер:
palemoon-27.1.0-lz4.xzm 51.3M
palemoon-27.1.0.xzm  38.4M
« Последнее редактирование: 13 Февраль 2017, 17:10:35 от DdShurick »
Моноблок Lenovo IdeaCentre c200
Netbook Acer 722 c6ckk (AMD C-50 Ontario, Radeon HD 6250)
Nettop Asus Eee Box PC B202 (atom N270, intel GMA 950)