Сайт | Скачать | Видео | Wiki

Автор Тема: PF ядро. CONFIG_DAMON_RECLAIM=y  (Прочитано 1902 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн krasnyh

  • Ветеран
  • *****
  • Сообщений: 5319
  • Репутация: +139/-1
  • Автор темы
PF ядро. CONFIG_DAMON_RECLAIM=y
« : 04 Январь 2022, 16:31:43 »
https://www.kernel.org/doc/html/latest/admin-guide/mm/damon/reclaim.html

DAMON
Цитата
для упреждающего вытеснения невостребованных областей памяти, улучшение обработки перегрузок при большом объёме операций записи
Проверить включение : pgrep -a kdamond
Вкл  : sudoi echo Y >/sys/module/damon_reclaim/parameters/enabled
Выкл: sudoi echo N >/sys/module/damon_reclaim/parameters/enabled
Увеличения ресурсоемкости не отметил , т.е. выкл смысла нет. По умолчанию вкл
Скомпилил
3. Добавлен DAMON-based Proactive Reclamation


У меня есть, а в новых ядрах?
Код
live@roll2110 ~ % uname -r
5.15.0-pf4
live@roll2110 ~ % zgrep 'CONFIG_DAMON_RECLAIM' /proc/config.gz
CONFIG_DAMON_RECLAIM=y
Цитата
Оценка
==========

Короче говоря, DAMON_RECLAIM в ядре Linux v5.13 с устройством подкачки ZRAM и
временной квотой 50 мс / с обеспечивает экономию памяти 40,34% при накладных расходах всего 3,38%.
https://lkml.org/lkml/2021/7/20/429

Пример настроек
« Последнее редактирование: 11 Январь 2022, 17:00:44 от sfs »

Оффлайн sfs

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 33965
  • Репутация: +231/-0
    • PuppyRus-A
Re: PF ядро. CONFIG_DAMON_RECLAIM=y
« Ответ #1 : 04 Январь 2022, 17:55:17 »
в новых ядрах?
есть
DAMON-based reclaim has been introduced (фреймворк, который лучше управляет оперативной памятью и снижает её потребление)

Оценка
Ваша? Или откуда? Получено с этими
Пример настроек
настройками ? zram=150% или % не влияет?

Оффлайн krasnyh

  • Ветеран
  • *****
  • Сообщений: 5319
  • Репутация: +139/-1
  • Автор темы
Re: PF ядро. CONFIG_DAMON_RECLAIM=y
« Ответ #2 : 04 Январь 2022, 18:06:59 »
1. Это цитата, переведенная с en.
2. Пока сам не понимаю, что это и как. Включил в menu.lst damon_reclaim.enabled=1, с дефолтными настройками.

Оффлайн sfs

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 33965
  • Репутация: +231/-0
    • PuppyRus-A
Re: PF ядро. CONFIG_DAMON_RECLAIM=y
« Ответ #3 : 04 Январь 2022, 18:24:15 »
https://www.kernel.org/doc/html/latest/admin-guide/mm/damon/reclaim.html#example про zram  и 40,34 нет
Цитата
Ниже пример выполнения пример команд делают damon_reclaim, чтобы найти регионы памяти, которые не доступа к 30 секундам или более и страницам.Отрадителивание ограничено только до 1 Гибра в секунду, чтобы избежать DAMON_reclaim потребляет слишком много времени процессора для операции подкачки.Он также просит damon_reclaim ничего не делать, если бы ни свободный уровень памяти системы более 50%, но начните реальные работы, если оно становится ниже 40%.Если damon_reclaim не допускается прогрессом, и, следовательно, частота свободной памяти становится ниже 20%, она спрашивает Damon_reclaim больше ничего не делать, чтобы мы могли отбросить на основе страницы гранулярности страницы LRU.
https://br.atsit.in/ru/?p=106978 ? Тут не очень понятно 
Цитата
40,34. % экономии памяти
Какой?... Вряд ли всей или использованной...
Цитата
Это упреждающее восстановление страниц памяти может помочь при небольшой нехватке памяти
в menu.lst damon_reclaim.enabled=1
а это откуда?

Оффлайн krasnyh

  • Ветеран
  • *****
  • Сообщений: 5319
  • Репутация: +139/-1
  • Автор темы

Оффлайн sfs

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 33965
  • Репутация: +231/-0
    • PuppyRus-A
Re: PF ядро. CONFIG_DAMON_RECLAIM=y
« Ответ #5 : 04 Январь 2022, 18:46:00 »
в menu.lst damon_reclaim.enabled=1
а это откуда?
Удалось получить какае-то свои результаты?

Оффлайн krasnyh

  • Ветеран
  • *****
  • Сообщений: 5319
  • Репутация: +139/-1
  • Автор темы
Re: PF ядро. CONFIG_DAMON_RECLAIM=y
« Ответ #6 : 04 Январь 2022, 18:49:13 »
а это откуда?
Из головы. )


Какие результаты, на что смотреть то? :)

Оффлайн krasnyh

  • Ветеран
  • *****
  • Сообщений: 5319
  • Репутация: +139/-1
  • Автор темы
Re: PF ядро. CONFIG_DAMON_RECLAIM=y
« Ответ #7 : 04 Январь 2022, 19:00:50 »
Включил в menu.lst damon_reclaim.enabled=1, с дефолтными настройками.
Цитата
$ cd /sys/module/damon_reclaim/parameters/                       
$ sudo grep -R .                     
wmarks_high:500
monitor_region_end:3748200447
quota_ms:10
min_nr_regions:10
enabled:Y
aggr_interval:100000
monitor_region_start:1048576
sample_interval:5000
quota_reset_interval_ms:1000
wmarks_interval:5000000
quota_sz:134217728
min_age:120000000
wmarks_mid:400
kdamond_pid:105
max_nr_regions:1000
wmarks_low:200

Оффлайн krasnyh

  • Ветеран
  • *****
  • Сообщений: 5319
  • Репутация: +139/-1
  • Автор темы

Оффлайн krasnyh

  • Ветеран
  • *****
  • Сообщений: 5319
  • Репутация: +139/-1
  • Автор темы
Re: PF ядро. CONFIG_DAMON_RECLAIM=y
« Ответ #9 : 04 Январь 2022, 20:31:50 »
В принципе, эта цитата хороша как более-менее понятное описание (анонс) механизма. Можно ее в шапку темы перенести.
Цитата
Реализована подсистема DAMON (Data Access MONitor), позволяющая отслеживать активность, связанную с доступом к данным в оперативной памяти, в привязке к выбранному процессу, работающему в пространстве пользователя. Подсистема позволяет проанализировать к каким именно областям памяти обращался процесс за всё время своей работы, а какие области памяти остались невостребованными. Из особенностей DAMON отмечается низкая нагрузка на CPU, небольшое расходование памяти, высокая точность и предсказуемые постоянные накладные расходы, не зависящие от размера. Подсистема может использоваться как ядром для оптимизации управления памятью, так и утилитами в пространстве пользователя для понимания того, что именно делает процесс и оптимизации использования памяти, например, высвобождения лишней памяти системе.
https://www.opennet.ru/opennews/art.shtml?num=56079
« Последнее редактирование: 04 Январь 2022, 20:33:23 от krasnyh »

Оффлайн sfs

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 33965
  • Репутация: +231/-0
    • PuppyRus-A
Re: PF ядро. CONFIG_DAMON_RECLAIM=y
« Ответ #10 : 04 Январь 2022, 20:55:47 »
в menu.lst damon_reclaim.enabled=1,
Да. Так запускается (Y появляется)
https://sjp38.github.io/post/damon/
https://github.com/awslabs/damo
Как-то очень научно . Мало понял

А вот тут
Где требуется упреждающая рекурация?
kswapd
гостевой VMS...
Короче , как я понял тема больше про виртуалки
Вы поняли по другому?

Оффлайн sfs

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 33965
  • Репутация: +231/-0
    • PuppyRus-A
Re: PF ядро. CONFIG_DAMON_RECLAIM=y
« Ответ #11 : 04 Январь 2022, 20:59:01 »
эта цитата хороша как более-менее понятное описание
По сути общие слова
оптимизации использования памяти, например, высвобождения лишней памяти системе.
В итоге что можно посоветовать юзерам?
Включайте - что-то  с паиятью станет лучше  :D

Оффлайн krasnyh

  • Ветеран
  • *****
  • Сообщений: 5319
  • Репутация: +139/-1
  • Автор темы
Re: PF ядро. CONFIG_DAMON_RECLAIM=y
« Ответ #12 : 04 Январь 2022, 22:03:57 »
Это всего лишь одно из многих улучшений работы с памятью в linux. Сейчас оно воспринимается как 'чудинка', а в будущем будет включено по умолчанию, имхо.
Включено наравне с:
- mgLRU, который все же допилят и включат в ядро. Сейчас же мы используем его альтернативу - le9.
- Folios, который обещают уже с 5.16
...


p.s. Считается, что именно Windows впереди планеты всей по оптимизации работы с памятью. Но вот и линукс потихоньку вступает в борьбу.


UPD. Еще недавно это утверждение было истинным и мы могли обсуждать такое явление как thrashing.
Цитата
В Windows 10 есть сжатие памяти, и в целом работа с памятью сделана значительно лучше, чем в Linux. Компьютерами с 1 GB RAM можно пользоваться с Windows 10, но не с Linux.
Лор
Сейчас же, с le9, это уже не проблема и даже с 1G ram линукс чувствует себя уверенней.
« Последнее редактирование: 04 Январь 2022, 22:31:21 от krasnyh »

Оффлайн sfs

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 33965
  • Репутация: +231/-0
    • PuppyRus-A
Re: PF ядро. CONFIG_DAMON_RECLAIM=y
« Ответ #13 : 05 Январь 2022, 09:21:30 »
Компьютерами с 1 GB RAM можно пользоваться с Windows 10, но не с Linux.
Ответил здесь
Это всего лишь одно из многих улучшений работы с памятью в linux. Сейчас оно воспринимается как 'чудинка', а в будущем будет включено по умолчанию, имхо.
К сожалению, как видно и из этой темы, нам раньше  "включено по умолчанию" в это лезть и не надо. Не тот уровень  :'(
Пока из новых фич как-то освоить и протестировать смогли только uksm и le9. И то от юзеров отзывов нет

В итоге по этой теме - добавляю в исо в конфиг с zram damon_reclaim.enabled=1
Как минимум хуже не будет?

А глобально - планирую из компиляции ядра у нам сделать раздел. Инфы уже много. Будеи потихоньку разбираться с параметрами. Как минимум uksm и le9 уже окупили трудозатраты на разбирательство с ядром
Я продвинулся за эту неделю в компиляции ядра  .
С моим новым PKGBUILD настроить и скомпилить сможет любой желающий (любой конфиг с любыми патчами и фичами по монолиту и оптимизации размер\производительность).

Ну и надо продолжать юзать pf - там автор прошаренный. Собирает весь свежак. Вот бы его к нам на форум заманить (он русскоязычный), но , думаю ему с нами интересно не будет
Надо будет отдельной темой разобраться в каком варианте компилить далее ядра и в какой дистр какое...

Оффлайн krasnyh

  • Ветеран
  • *****
  • Сообщений: 5319
  • Репутация: +139/-1
  • Автор темы
Re: PF ядро. CONFIG_DAMON_RECLAIM=y
« Ответ #14 : 06 Январь 2022, 21:48:19 »
Крайние два изменения damon, попали уже в 5.15-pf6, который пока не опубликован.