Сайт | Скачать | Видео | Wiki

Автор Тема: Алгоритмы сжатия/распаковки  (Прочитано 28886 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн ilfat

  • Ветеран
  • *****
  • Сообщений: 438
  • Репутация: +11/-0
Re: алгоритмы сжатия/распаковки
« Ответ #45 : 22 Февраль 2019, 23:29:07 »
 У меня какой-то нонсенс. Xz бьет zstd по всем параметрам. Конечно старенький HDD, но все же.
А проц какой?

Оффлайн krasnyh

  • Ветеран
  • *****
  • Сообщений: 5319
  • Репутация: +139/-1
  • Автор темы
Re: алгоритмы сжатия/распаковки
« Ответ #46 : 22 Февраль 2019, 23:31:15 »
А проц какой?
Код
% inxi -Cxx 
CPU:       Quad core Intel Xeon E5450 (-MT-MCP-) arch: Penryn rev.10 cache: 6144 KB
           flags: (lm nx sse sse2 sse3 sse4_1 ssse3 vmx) bmips: 23999
           clock speeds: min/max: 1998/2997 MHz 1: 1997 MHz 2: 1999 MHz 3: 2764 MHz
           4: 2511 MHz

Оффлайн ilfat

  • Ветеран
  • *****
  • Сообщений: 438
  • Репутация: +11/-0
Re: алгоритмы сжатия/распаковки
« Ответ #47 : 22 Февраль 2019, 23:32:44 »
krasnyh, это вы весь вывод показали? А где у вас остальные данные? Мне кажется скрипт просто не отработал.

Оффлайн krasnyh

  • Ветеран
  • *****
  • Сообщений: 5319
  • Репутация: +139/-1
  • Автор темы
Re: алгоритмы сжатия/распаковки
« Ответ #48 : 22 Февраль 2019, 23:35:01 »
Вставил полностью выше.

Оффлайн knn

  • Ветеран
  • *****
  • Сообщений: 2538
  • Репутация: +33/-0
Re: алгоритмы сжатия/распаковки
« Ответ #49 : 22 Февраль 2019, 23:36:25 »
спойлеры, кошмар Хромых. Ниче не вижу.
- вроде там кнопка "копировать" есть

p.s. ...в принципе можно и файлы прикреплять
« Последнее редактирование: 22 Февраль 2019, 23:39:11 от knn »
Gr4D, Grub2; HP Mini 210 VT - Intel Atom N470  @ 1.83GHz, Intel GMA3150, RAM=2 ГБ ;
Sams-n110: N270 - 1,6 ГГц, Intel GMA 950, RAM=2 ГБ.

Оффлайн ilfat

  • Ветеран
  • *****
  • Сообщений: 438
  • Репутация: +11/-0
Re: алгоритмы сжатия/распаковки
« Ответ #50 : 22 Февраль 2019, 23:45:41 »
вроде там кнопка "копировать" есть
Выход))
Вставил полностью выше.
Для объективности надо всё-таки на бОльших размерах тестировать. Но похоже всё-таки проц у вас хороший, 4 ядра делают свое дело. А винт похоже не подстать ему))

Оффлайн knn

  • Ветеран
  • *****
  • Сообщений: 2538
  • Репутация: +33/-0
Re: алгоритмы сжатия/распаковки
« Ответ #51 : 22 Февраль 2019, 23:54:30 »
Все алгоритмы 0.07. Что-то тут не то. Либо слишком маленькая папка, либо ещё что-то.
- не знаю что, но :
Код
live@pc:~$ sudo squashtest lzo, gzip, xz, lz4 --dirs /mnt/bundles/linux-firmware-20180119_any.pfs
write/mnt/bundles/linux-firmware-20180119_any.pfs                      lzo           138M          28.23 sec
write/mnt/bundles/linux-firmware-20180119_any.pfs                     gzip           129M          16.79 sec
write/mnt/bundles/linux-firmware-20180119_any.pfs                       xz           114M          53.06 sec
write/mnt/bundles/linux-firmware-20180119_any.pfs                      lz4           157M           1.48 sec

==========================================================
read  all                           lzo           0.07 sec
read  all                          gzip           0.06 sec
read  all                            xz           0.06 sec
read  all                           lz4           0.06 sec

write all                           lzo          28.23 sec
write all                          gzip          16.79 sec
write all                            xz          53.06 sec
write all                           lz4           1.48 sec
==========================================================
Best read  speed  -- gzip
Best write speed  -- lz4
Best compression  -- xz
==========================================================
(опять 0,07)
comp=rv510-в-подписи
  Спать буду.
Gr4D, Grub2; HP Mini 210 VT - Intel Atom N470  @ 1.83GHz, Intel GMA3150, RAM=2 ГБ ;
Sams-n110: N270 - 1,6 ГГц, Intel GMA 950, RAM=2 ГБ.

Оффлайн krasnyh

  • Ветеран
  • *****
  • Сообщений: 5319
  • Репутация: +139/-1
  • Автор темы
Re: алгоритмы сжатия/распаковки
« Ответ #52 : 23 Февраль 2019, 00:47:42 »
У меня какой-то нонсенс. Xz бьет zstd по всем параметрам.
Zstd теряет время при сжатии /var, там архивы .files, которые он пытается пережать.
Код
live@prar-1811 /var/cache/pkgfile % sudo du -sh /var && ls -l
368M /var
итого 361154
-rw-r--r-- 1 root root   1960100 дек  1 06:55 2a-any.files
-rw-r--r-- 1 root root  95839148 дек  1 06:55 archlinuxcn.files
-rw-r--r-- 1 root root 177552372 дек  1 06:55 community.files
-rw-r--r-- 1 root root   6935588 дек  1 06:55 core.files
-rw-r--r-- 1 root root  75427276 дек  1 06:55 extra.files
-rw-r--r-- 1 root root   5102892 дек  1 06:55 herecura.files
-rw-r--r-- 1 root root   7002332 дек  1 06:55 pra6407extra.files

Оффлайн krasnyh

  • Ветеран
  • *****
  • Сообщений: 5319
  • Репутация: +139/-1
  • Автор темы
Re: алгоритмы сжатия/распаковки
« Ответ #53 : 23 Февраль 2019, 01:08:08 »
 Если уменьшить у zstd степень сжатия до 18, то становится видно за что его ценят.
Лог добавил для сравнения сюда http://forum.puppyrus.org/index.php?topic=21412.msg154249#msg154249

Оффлайн ilfat

  • Ветеран
  • *****
  • Сообщений: 438
  • Репутация: +11/-0
Re: алгоритмы сжатия/распаковки
« Ответ #54 : 23 Февраль 2019, 02:18:12 »
(опять 0,07)
Вы запускаете в хомяке, а хомяк у вас в ОЗУ, возможно с этим как-то связано. Тест проверяет связку проц+носитель. В зависимости от соотношения скорости носителя и мощности проца у всех результат разный.
Да нет у нашего пользователя такого железа чтоб xz выигрывал
Ошибался)

Оффлайн betcher

  • Ветеран
  • *****
  • Сообщений: 3019
  • Репутация: +35/-0
    • MagOS linux
Re: алгоритмы сжатия/распаковки
« Ответ #55 : 23 Февраль 2019, 06:29:34 »
/etc/initvars не нужен, там лежит SYSMNT, который нужен для того чтоб дефолтные папки задать.
А вот без bc не обойтись, на нем вся математика, теперь вот еще проценты просят :) Могу еще питоном посчитать например :))
Вы запускаете в хомяке, а хомяк у вас в ОЗУ, возможно с этим как-то связано.
Стопудово. Можно сказать что в таком варианте сравниваете чисто распаковку процем без учета чтения с диска. Если всегда copy2ram то по идее вам именно эти цифры и нужны.
Папки для тестов надо подбирать так чтоб там было много файлов разного размера и поминимуму пожатых.
Результаты в любом случае примерные, по этому если выигрыш не превышает 20% думаю не стоит тут же бросаться пережимать свои модули (это, кстати, проще сделать mkpfs'ом, он модули на входе понимает наравне с папками. А сжатие можно задать сразу в /etc/pfs.cfg чтоб всегда как надо жал.
З.Ы. /etc/initvars, как мне помнится, по нашим с вами стандартам в системе быть должон!!!
« Последнее редактирование: 23 Февраль 2019, 06:31:25 от betcher »

Оффлайн knn

  • Ветеран
  • *****
  • Сообщений: 2538
  • Репутация: +33/-0
Re: алгоритмы сжатия/распаковки
« Ответ #56 : 23 Февраль 2019, 08:01:05 »
без bc не обойтись
используется ли bc  в мат-тесте от phoronix-test-suite ?/ или в каких еще вычислениях/программах?( наверное если он там нужен , то наверное подтягивается "установкой пакетами")
Gr4D, Grub2; HP Mini 210 VT - Intel Atom N470  @ 1.83GHz, Intel GMA3150, RAM=2 ГБ ;
Sams-n110: N270 - 1,6 ГГц, Intel GMA 950, RAM=2 ГБ.

Оффлайн betcher

  • Ветеран
  • *****
  • Сообщений: 3019
  • Репутация: +35/-0
    • MagOS linux
Re: алгоритмы сжатия/распаковки
« Ответ #57 : 23 Февраль 2019, 08:17:40 »
bc - консольный калькулятор. В баше же математика - г. Во всех языках программирования есть своя математика.

Оффлайн knn

  • Ветеран
  • *****
  • Сообщений: 2538
  • Репутация: +33/-0
Re: алгоритмы сжатия/распаковки
« Ответ #58 : 23 Февраль 2019, 08:25:21 »
в вопрсе подразумевал скорее - что-то вроде "частоты неинтерактивного использования bc , в скриптах оболочек, в т.числе и  программами" ( :) только что "подковался терминами").
« Последнее редактирование: 23 Февраль 2019, 08:27:19 от knn »
Gr4D, Grub2; HP Mini 210 VT - Intel Atom N470  @ 1.83GHz, Intel GMA3150, RAM=2 ГБ ;
Sams-n110: N270 - 1,6 ГГц, Intel GMA 950, RAM=2 ГБ.

Оффлайн betcher

  • Ветеран
  • *****
  • Сообщений: 3019
  • Репутация: +35/-0
    • MagOS linux
Re: алгоритмы сжатия/распаковки
« Ответ #59 : 23 Февраль 2019, 08:39:23 »
Это вопрос предпочтений. Конкретно этот скрипт думаю можно переписать и без bc. Придется самому следить за точкой или все делать в байтах и секундах.
Добавил в скрипт сравнение размеров, лежит там же.