Сайт | Скачать | Видео | Wiki

Автор Тема: Алгоритмы сжатия/распаковки  (Прочитано 28893 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн ilfat

  • Ветеран
  • *****
  • Сообщений: 438
  • Репутация: +11/-0
Re: алгоритмы сжатия/распаковки
« Ответ #30 : 22 Февраль 2019, 22:30:23 »
Музыка то ладно, а вот браузер бы лучше закрыть, чтоб ОЗУ не отжирал, а то если своп задействуется, то результат будет искаженным.

Оффлайн knn

  • Ветеран
  • *****
  • Сообщений: 2538
  • Репутация: +33/-0
Re: алгоритмы сжатия/распаковки
« Ответ #31 : 22 Февраль 2019, 22:34:10 »
запускать скрипт нужно так, чтоб текущая папка была на нужном носителе, и там должно быть достаточно места для модулей сделанных из указанных папок с каждым из указанных алгоритмов.
? т.е. если в основном пользуюсь copy2ram-с-сохраненкой.pfs(без ченжес) - то вышевыложенная строка/команда - нормально?
? а если , например frugal без copy2ram -то проверять нужно на каталогах размещенных ~ в /mnt/home ?

p.s.  до этого проверял на открытом браузере
Gr4D, Grub2; HP Mini 210 VT - Intel Atom N470  @ 1.83GHz, Intel GMA3150, RAM=2 ГБ ;
Sams-n110: N270 - 1,6 ГГц, Intel GMA 950, RAM=2 ГБ.

Оффлайн ilfat

  • Ветеран
  • *****
  • Сообщений: 438
  • Репутация: +11/-0
Re: алгоритмы сжатия/распаковки
« Ответ #32 : 22 Февраль 2019, 22:40:53 »
copy2ram-с-сохраненкой.pfs(без ченжес) - то вышевыложенная строка/команда - нормально?
Если ОЗУ достаточно, то нормально.
а если , например frugal без copy2ram -то проверять нужно на каталогах размещенных ~ в /mnt/home ?
На любых каталогах можно проверять, в том числе на бандлах, это куда ваши pfs модули смонтированы. У нас /memory/bundles. Самое главное нужно запускать скрипт с тестируемого носителя. То есть сначала cd /mnt/sda1, потом сквоштест.

Оффлайн ilfat

  • Ветеран
  • *****
  • Сообщений: 438
  • Репутация: +11/-0
Re: алгоритмы сжатия/распаковки
« Ответ #33 : 22 Февраль 2019, 22:44:43 »
Вот еще тестик. Тут уже столкнул лбами xz и zstd:
Код
sudo squashtest xz -b 512K, zstd -b 512K --dirs /memory/bundles/43*
write     /memory/bundles/43-x-multimedia.xzm               xz -b 512K           214M         193.82 sec
write     /memory/bundles/43-x-multimedia.xzm             zstd -b 512K           252M          66.81 sec

==========================================================
read  all                    xz -b 512K          60.02 sec
read  all                  zstd -b 512K          11.38 sec

write all                    xz -b 512K         193.82 sec
write all                  zstd -b 512K          66.81 sec
==========================================================
Best read  speed  -- zstd -b 512K
Best write speed  -- zstd -b 512K
Best compression  -- xz -b 512K
==========================================================
Тяжелый xz все-таки.

Оффлайн knn

  • Ветеран
  • *****
  • Сообщений: 2538
  • Репутация: +33/-0
Re: алгоритмы сжатия/распаковки
« Ответ #34 : 22 Февраль 2019, 22:47:06 »
запускать скрипт с тестируемого носителя.
пока запускал до этого: скопировал скрипт в /usr/local/bin (условия загрузки/рабоы системы как и "см. выше" )- результат (на закрытом браузере :)):
Код
live@pc:~$ sudo squashtest lzo, gzip, xz, lz4 --dirs /opt /var
write                                    /opt                      lzo            16M           7.36 sec
write                                    /opt                     gzip            14M           5.37 sec
write                                    /opt                       xz            12M           9.22 sec
write                                    /opt                      lz4            19M           0.60 sec

write                                    /var                      lzo           460K           0.85 sec
write                                    /var                     gzip           360K           0.72 sec
write                                    /var                       xz           300K           1.32 sec
write                                    /var                      lz4           596K           0.52 sec

==========================================================
read  all                           lzo           0.07 sec
read  all                          gzip           0.06 sec
read  all                            xz           0.06 sec
read  all                           lz4           0.07 sec

write all                           lzo/usr/local/bin/squashtest: строка 87: bc: команда не найдена
                sec
write all                          gzip/usr/local/bin/squashtest: строка 87: bc: команда не найдена
                sec
write all                            xz/usr/local/bin/squashtest: строка 87: bc: команда не найдена
                sec
write all                           lz4/usr/local/bin/squashtest: строка 87: bc: команда не найдена
                sec
==========================================================
Best read  speed  -- gzip
Best write speed  -- lz4
Best compression  -- xz
==========================================================
- что-то не то:
Код
write all                           lz4/usr/local/bin/squashtest: строка 87: bc: команда не найдена
                sec
« Последнее редактирование: 22 Февраль 2019, 22:51:06 от knn »
Gr4D, Grub2; HP Mini 210 VT - Intel Atom N470  @ 1.83GHz, Intel GMA3150, RAM=2 ГБ ;
Sams-n110: N270 - 1,6 ГГц, Intel GMA 950, RAM=2 ГБ.

Оффлайн ilfat

  • Ветеран
  • *****
  • Сообщений: 438
  • Репутация: +11/-0
Re: алгоритмы сжатия/распаковки
« Ответ #35 : 22 Февраль 2019, 22:55:19 »
[ Читать далее ]
Ох уж эти ваши спойлеры, кошмар Хромых. Ниче не вижу.
- что-то не то:
Цена легкости ПРА )) Установите bc. Пакманом.

Сравнил степени сжатия zstd, стандартный 15 и максимальный 22, на размер все-таки влияет, а вот скорость распаковки почти одинаковая:
Код
sudo squashtest zstd -b 512K, zstd -Xcompression-level 22 -b 512K --dirs /memory/bundles/43*
write     /memory/bundles/43-x-multimedia.xzm             zstd -b 512K           252M          66.89 sec
write     /memory/bundles/43-x-multimedia.xzmzstd -Xcompression-level 22 -b 512K           238M         169.57 sec

==========================================================
read  all                  zstd -b 512K          11.88 sec
read  allzstd -Xcompression-level 22 -b 512K          12.43 sec

write all                  zstd -b 512K          66.89 sec
write allzstd -Xcompression-level 22 -b 512K         169.57 sec
==========================================================
Best read  speed  -- zstd -b 512K
Best write speed  -- zstd -b 512K
Best compression  -- zstd -Xcompression-level 22 -b 512K
==========================================================

Оффлайн knn

  • Ветеран
  • *****
  • Сообщений: 2538
  • Репутация: +33/-0
Re: алгоритмы сжатия/распаковки
« Ответ #36 : 22 Февраль 2019, 22:57:40 »
Ох уж эти ваши спойлеры, кошмар Хромых.
- опасаюсь, что Администрация наругает  :police:
Gr4D, Grub2; HP Mini 210 VT - Intel Atom N470  @ 1.83GHz, Intel GMA3150, RAM=2 ГБ ;
Sams-n110: N270 - 1,6 ГГц, Intel GMA 950, RAM=2 ГБ.

Оффлайн ilfat

  • Ветеран
  • *****
  • Сообщений: 438
  • Репутация: +11/-0
Re: алгоритмы сжатия/распаковки
« Ответ #37 : 22 Февраль 2019, 23:03:07 »
Нужно больше тестов с разных железок, чтоб общая картина нарисовалась.
Надеюсь betcher еще запилит размеры в процентах, чтоб весь вывод не выкладывать, а только общий итог по всему тесту. Да и в процентах наглядно было бы.

Оффлайн ilfat

  • Ветеран
  • *****
  • Сообщений: 438
  • Репутация: +11/-0
Re: алгоритмы сжатия/распаковки
« Ответ #38 : 22 Февраль 2019, 23:05:08 »
опасаюсь, что Администрация наругает
А чего ругать то, код так и так ограничивается. Кто виноват, что Хром кривой  :D

Оффлайн knn

  • Ветеран
  • *****
  • Сообщений: 2538
  • Репутация: +33/-0
Re: алгоритмы сжатия/распаковки
« Ответ #39 : 22 Февраль 2019, 23:06:20 »
Установите bc. Пакманом.
подключил bc-1.07.1-2_6408-1.pfs (48К) - заработало:
Код
live@pc:~$ sudo squashtest lzo, gzip, xz, lz4 --dirs /opt /var
write                                    /opt                      lzo            16M           5.95 sec
write                                    /opt                     gzip            14M           4.41 sec
write                                    /opt                       xz            12M           9.03 sec
write                                    /opt                      lz4            19M           0.59 sec

write                                    /var                      lzo           8,5M           1.66 sec
write                                    /var                     gzip           8,4M           0.87 sec
write                                    /var                       xz           8,3M           2.86 sec
write                                    /var                      lz4           8,6M           0.54 sec

==========================================================
read  all                           lzo           0.07 sec
read  all                          gzip           0.07 sec
read  all                            xz           0.07 sec
read  all                           lz4           0.06 sec

write all                           lzo           7.61 sec
write all                          gzip           5.28 sec
write all                            xz          11.89 sec
write all                           lz4           1.13 sec
==========================================================
Best read  speed  -- lz4
Best write speed  -- lz4
Best compression  -- xz
==========================================================
Gr4D, Grub2; HP Mini 210 VT - Intel Atom N470  @ 1.83GHz, Intel GMA3150, RAM=2 ГБ ;
Sams-n110: N270 - 1,6 ГГц, Intel GMA 950, RAM=2 ГБ.

Оффлайн knn

  • Ветеран
  • *****
  • Сообщений: 2538
  • Репутация: +33/-0
Re: алгоритмы сжатия/распаковки
« Ответ #40 : 22 Февраль 2019, 23:12:53 »
Хром кривой
дошло про Хром.
(непользуюсь им, хотя - недавно пришлось - паленум(и вроде Qupzilla-qt4 тоже) "не вывозил" восстановление учетной записи "одного сервиса")
Gr4D, Grub2; HP Mini 210 VT - Intel Atom N470  @ 1.83GHz, Intel GMA3150, RAM=2 ГБ ;
Sams-n110: N270 - 1,6 ГГц, Intel GMA 950, RAM=2 ГБ.

Оффлайн knn

  • Ветеран
  • *****
  • Сообщений: 2538
  • Репутация: +33/-0
Re: алгоритмы сжатия/распаковки
« Ответ #41 : 22 Февраль 2019, 23:16:38 »
заработало
и вроде /home/live/squashtest.log появился(или раньше не видел)
Gr4D, Grub2; HP Mini 210 VT - Intel Atom N470  @ 1.83GHz, Intel GMA3150, RAM=2 ГБ ;
Sams-n110: N270 - 1,6 ГГц, Intel GMA 950, RAM=2 ГБ.

Оффлайн ilfat

  • Ветеран
  • *****
  • Сообщений: 438
  • Репутация: +11/-0
Re: алгоритмы сжатия/распаковки
« Ответ #42 : 22 Февраль 2019, 23:20:51 »
заработало
Все алгоритмы 0.07. Что-то тут не то. Либо слишком маленькая папка, либо ещё что-то.

Оффлайн krasnyh

  • Ветеран
  • *****
  • Сообщений: 5319
  • Репутация: +139/-1
  • Автор темы
Re: алгоритмы сжатия/распаковки
« Ответ #43 : 22 Февраль 2019, 23:25:02 »
 У меня какой-то нонсенс. Xz бьет zstd по всем параметрам. Конечно старенький HDD, но все же.
zstd -Xcompression-level 22
Код
% sudo ./squashtest xz -Xbcj x86 -b 512k,zstd -Xcompression-level 22 -b 512k --dirs /opt /var
./squashtest: строка 2: /etc/initvars: Нет такого файла или каталога
write                                    /opt     xz -Xbcj x86 -b 512k            53M          35.09 sec
write                                    /opt    zstd -Xcompression-level 22 -b 512k            58M          20.81 sec

write                                    /var     xz -Xbcj x86 -b 512k            30M          47.37 sec
write                                    /var     zstd -Xcompression-level 22 -b 512k            30M          78.40 sec

==========================================================
read  all          xz -Xbcj x86 -b 512k           0.15 sec
read  all         zstd -Xcompression-level 22 -b 512k           0.16 sec

write all          xz -Xbcj x86 -b 512k          82.46 sec
write all          zstd -Xcompression-level 22 -b 512k          99.21 sec
==========================================================
Best read  speed  -- xz -Xbcj x86 -b 512k
Best write speed  -- xz -Xbcj x86 -b 512k
Best compression  -- xz -Xbcj x86 -b 512k
==========================================================
sudo ./squashtest xz -Xbcj x86 -b 512k,zstd -Xcompression-level 22 -b 512k     686,19s user 17,92s system 350% cpu 3:21,03 total
Параметры для теста брал те, которые проверял sfs http://forum.puppyrus.org/index.php?topic=21412.msg154208#msg154208

upd. zstd -Xcompression-level 18
Код
% sudo ./squashtest xz -Xbcj x86 -b 512k,zstd -Xcompression-level 18 -b 512k --dirs /opt /var
./squashtest: строка 2: /etc/initvars: Нет такого файла или каталога
write                                    /opt     xz -Xbcj x86 -b 512k            53M          34.17 sec
write                                    /optzstd -Xcompression-level 18 -b 512k            58M          16.19 sec

write                                    /var     xz -Xbcj x86 -b 512k            30M          47.34 sec
write                                    /varzstd -Xcompression-level 18 -b 512k            32M          29.50 sec

==========================================================
read  all          xz -Xbcj x86 -b 512k           0.21 sec
read  allzstd -Xcompression-level 18 -b 512k           0.14 sec

write all          xz -Xbcj x86 -b 512k          81.51 sec
write allzstd -Xcompression-level 18 -b 512k          45.69 sec
==========================================================
Best read  speed  -- zstd -Xcompression-level 18 -b 512k
Best write speed  -- zstd -Xcompression-level 18 -b 512k
Best compression  -- xz -Xbcj x86 -b 512k
==========================================================
sudo ./squashtest xz -Xbcj x86 -b 512k,zstd -Xcompression-level 18 -b 512k     471,18s user 15,69s system 338% cpu 2:23,75 total
upd2. Еще небольшой тест. Из которого видно, что скорость чтения у xz и zstd на моем железе примерно одинаковые.
Код
% sudo du -sh /mnt/live/memory/images/001-prar1811-kr1.pfs
613M /mnt/live/memory/images/001-prar1811-kr1.pfs
Код
% sudo ./squashtest xz -Xbcj x86 -b 512k,zstd -Xcompression-level 18 -b 512k --dirs /mnt/live/memory/images/001-prar1811-kr1.pfs
./squashtest: строка 2: /etc/initvars: Нет такого файла или каталога
write/mnt/live/memory/images/001-prar1811-kr1.pfs     xz -Xbcj x86 -b 512k           131M         120.36 sec
write/mnt/live/memory/images/001-prar1811-kr1.pfszstd -Xcompression-level 18 -b 512k           147M          49.01 sec

==========================================================
read  all          xz -Xbcj x86 -b 512k           0.21 sec
read  allzstd -Xcompression-level 18 -b 512k           0.20 sec

write all          xz -Xbcj x86 -b 512k         120.36 sec
write allzstd -Xcompression-level 18 -b 512k          49.01 sec
==========================================================
Best read  speed  -- zstd -Xcompression-level 18 -b 512k
Best write speed  -- zstd -Xcompression-level 18 -b 512k
Best compression  -- xz -Xbcj x86 -b 512k
==========================================================
sudo ./squashtest xz -Xbcj x86 -b 512k,zstd -Xcompression-level 18 -b 512k    648,75s user 26,42s system 343% cpu 3:16,51 total
« Последнее редактирование: 23 Февраль 2019, 01:25:42 от krasnyh »

Оффлайн knn

  • Ветеран
  • *****
  • Сообщений: 2538
  • Репутация: +33/-0
Re: алгоритмы сжатия/распаковки
« Ответ #44 : 22 Февраль 2019, 23:28:19 »
Все алгоритмы 0.07. Что-то тут не то. Либо слишком маленькая папка, либо ещё что-то.
/opt=31M, var=11M; 
copy2ram-с-сохраненкой.pfs(без ченжес)
(пра6408-1-de-ice-dsktp+rox  [gtk2, наверное НЕ-sistemd])
« Последнее редактирование: 22 Февраль 2019, 23:40:31 от knn »
Gr4D, Grub2; HP Mini 210 VT - Intel Atom N470  @ 1.83GHz, Intel GMA3150, RAM=2 ГБ ;
Sams-n110: N270 - 1,6 ГГц, Intel GMA 950, RAM=2 ГБ.