Форум проекта PuppyRus Linux

Разработки проекта PuppyRus => Программирование и компиляция => Компиляция ядра Linux => Тема начата: Pro от 28 Октябрь 2014, 13:57:09

Название: OverlayFS - современный аналог AUFS
Отправлено: Pro от 28 Октябрь 2014, 13:57:09
три варианта горячего подключения (https://forum.puppyrus.org/index.php?topic=16200.msg176932#msg176932)
Горячее подключение (https://forum.puppyrus.org/index.php?topic=16200.msg176823#msg176823)
sfsload_1.0.9.squashfs (https://file.puppyrus.org/users/roll/sfsload_1.0.9.squashfs), тоже временно.
здесь реализован метод со ссылками как в tinycore.
Цитата: krasnyh от Вчера в 15:19:20
    (на основе метода tinycore загрузки SFS с использованием символических ссылок)

собственно http://www.opennet.ru/opennews/art.shtml?num=40947

ждем ядро 3.18 чтоли?
Название: Re:OverlayFS - скоро на экранах
Отправлено: sfs от 28 Октябрь 2014, 14:32:59
Монтирование (http://forum.puppyrus.org/index.php?topic=16200.msg141326#msg141326)

Arch Linux. mkinitcpio-overlayfs.hook (http://forum.puppyrus.org/index.php?topic=20486.msg140986#msg140986)

Так же ждали ускорения squash в ядре. В итоге пришлось отказаться
Насколько я понял - никакого нового функционала - стандартизация и оптимизация кода
Не факт что это в pf будет... И от него отказываться...
Наверняка синтаксис изменят - все скрипты переписывать и отлаживать...
Хотелось бы улучшений, но у меня больше пессимизма
Название: Re:OverlayFS - скоро на экранах
Отправлено: Pro от 28 Октябрь 2014, 14:42:25
это не в pf а в само ядро ставят т.е. никаких патчей не потребуется.

стабилизация как мне кажется бедет только к 3.20 ядру
Название: Re:OverlayFS - скоро на экранах
Отправлено: sfs от 28 Октябрь 2014, 15:25:11
Так я и спрашиваю - если в pf не будет OverlayFS - насколько это стоит того чтобы слиться с pf...
Название: Re:OverlayFS - скоро на экранах
Отправлено: Pro от 28 Октябрь 2014, 16:42:46
Так я и спрашиваю - если в pf не будет OverlayFS - насколько это стоит того чтобы слиться с pf...
ниче не понял.
Название: Re:OverlayFS - скоро на экранах
Отправлено: sfs от 28 Октябрь 2014, 17:05:04
Размышляю
Будет ли OverlayFS в pf патчах ядра которое мы используем
Если не будет - чем жертвовать OverlayFS или pf
Пробовать надо...
Название: Re:OverlayFS - скоро на экранах
Отправлено: Pro от 28 Октябрь 2014, 17:24:21
OverlayFS не будет в патчах ядра т.к. оно УЖЕ будет изначально в исходных "ванильных" кодах ядра.
еще раз - OverlayFS не патчем включается в ядро, а уже в ядре находится будет
Название: Re:OverlayFS - скоро на экранах
Отправлено: sfs от 08 Декабрь 2014, 15:49:27
уже (http://www.opennet.ru/opennews/art.shtml?num=41210) Linux-pf еще нет
Название: Re:OverlayFS - скоро на экранах
Отправлено: paulus от 29 Декабрь 2014, 12:23:42
ждем ядро 3.18 чтоли?
Ждемсъ pra03 с ядром 3.18 и OverlayFS без pf  ;)

p.s. Cубъективно, но на 3.18 и свободными дровами (amd) вроде все быстрее, легче крутится... на ubuntu.
Название: Re:OverlayFS - скоро на экранах
Отправлено: sfs от 29 Декабрь 2014, 14:02:33
AUFS - это на чем сейчас все построено. Не думаю что переход будут легким и плюсы этого пока не ясны. Вряд ли раньше pra04
Название: Re:OverlayFS - скоро на экранах
Отправлено: neobht от 29 Декабрь 2014, 16:04:16
На overlayfs нет множественных бранчей.

Можно будет написать враппер: aufs->overlayfs. Тогда не надо переписывать будет.

Из плюсов - overlayfs поверх overlayfs.
Из минусов - производительность на базе fuse как ни крути будет медленнее.

Я скорее всего overlayfs буду изучать. Если вдруг напишу врапер, то вам сообщу.
Название: Re:OverlayFS - скоро на экранах
Отправлено: sfs от 29 Декабрь 2014, 16:07:56
плюсов - overlayfs поверх overlayfs.
Это как 2 aufs наложить или как?
Плюсы пока малопонятны, а минусы не радуют
Любая инфа интересна
Название: Re:OverlayFS - скоро на экранах
Отправлено: neobht от 29 Декабрь 2014, 16:10:45
это когда в виде бранча может быть сама файловая система.

Поскольку в overlayfs всего два бранча: rw и ro, то множество бранчей ro можно реализовать только рекурсивно поверх самой себя.
Правда пока у меня только теория. Еще не щупал саму систему.
Название: Re:OverlayFS - скоро на экранах
Отправлено: neobht от 04 Январь 2015, 19:00:07
Поэкспериментировал с overlayfs.

К сожалению, она не пригодна для монтирования множества бранчей в одну объединенную систему.
Максимум по умолчанию можно объединить 3 бранча. Глубина 2 установлена по умолчанию.

поэтому получается только дважды смонтировать.

Ждем дальнейшего развития.
Название: Re:OverlayFS - скоро на экранах
Отправлено: sfs от 04 Январь 2015, 23:30:37
Для чего он тогда вообще нужен...
Название: Re:OverlayFS - скоро на экранах
Отправлено: neobht от 05 Январь 2015, 06:39:19
Для обычных livecd или кучи контейнеров для виртуализации - вполне природная вещица.
Один бранч RO и один - RW.
Название: Re:OverlayFS - скоро на экранах
Отправлено: sfs от 06 Январь 2015, 16:18:38
А зачем это виртуализации?
Название: Re:OverlayFS - скоро на экранах
Отправлено: neobht от 06 Январь 2015, 16:52:50
Виртуализации на уровне контейнеров openvz,lxc.

Создается одна иерархия установки (например хостинг)
Потом монтируется в RO+RW(для конкретной установки)

В итоге получаем кучу подобных структур, но каждая представляет собой индивидуальную систему, где изменения лежат в RW бранче.
Название: Re:OverlayFS - скоро на экранах
Отправлено: sfs от 07 Январь 2015, 11:43:37
Чем OverlayFS  хуже AUFS уже понятно, а лучше то чем? Или "все еще будет"
Название: Re:OverlayFS - скоро на экранах
Отправлено: neobht от 07 Январь 2015, 11:49:09
Ничем не лучше, кроме включения в основное ядро.

И вряд ли будет лучше.
Единственная замечательная фича - это возможность в качестве бранча саму себя пусть и глубиной по умолчанию пока только 2 уровня. В aufs пока это только в планах уже длительное время.
Название: Re:OverlayFS - скоро на экранах
Отправлено: sfs от 07 Январь 2015, 11:56:53
возможность в качестве бранча саму себя
Недогнал. Можно подробнее...
Название: Re:OverlayFS - скоро на экранах
Отправлено: neobht от 07 Январь 2015, 12:23:39
mount -t overlayfs -o lowerdir=/dir1,upperdir=/dir2 overlayfs /my-overlayfs

mount -t overlayfs -o lowerdir=/my-overlayfs,upperdir=/dir3 overlayfs /my-overlayfs-overlayfs


В aufs нельзя в качестве бранчей использовать aufs. По крайней мере те версии с которыми мне доводилось работать.
Название: Re:OverlayFS - скоро на экранах
Отправлено: sfs от 07 Январь 2015, 12:32:52
Т.е.
Код
верх
/dir3
/dir2
/dir1
низ
И dir - именно директории, а не squashfs?
Название: Re:OverlayFS - скоро на экранах
Отправлено: neobht от 07 Январь 2015, 12:41:22
Бранчи - это всегда директории. И в overlayfs и в aufs.

dir1,dir2,dir3,my-overlayfs,my-overlayfs-overlayfs - все это директории
dir1,dir2,dir3 - обычныее
my-* - с примонтированной каскадно-блочной системой.
Название: Re:OverlayFS - скоро на экранах
Отправлено: sfs от 07 Январь 2015, 13:03:19
т.е. в aufs нельзя /dir2 на /dir1 наслоить, а в OverlayFS можно и выше проверенный пример?
Название: Re:OverlayFS - скоро на экранах
Отправлено: neobht от 07 Январь 2015, 13:06:32
то есть в aufs нельзя наслоить на наслоение.

Попробую на другом примере.

вот так нельзя сделать:
union=dir1+dir2   наслоение на aufs
union_union=union+dir3 - наслоение aufs поверх наслоения aufs.
Название: Re:OverlayFS - скоро на экранах
Отправлено: paulus от 19 Январь 2015, 13:08:17
Для чего он тогда вообще нужен...
CoreOS отказывается от файловой системы Btrfs в пользу ext4 и OverlayFS (http://www.nixp.ru/news/13104.html)
Название: Re:OverlayFS - скоро на экранах
Отправлено: neobht от 23 Февраль 2015, 18:59:03
В ядро 4.0 в overlayfs добавлена поддержка множества бранчей RO. Еще чуток и будет близка к aufs.
Название: Re:OverlayFS - скоро на экранах
Отправлено: for_wov от 23 Февраль 2015, 22:15:40
Чем это "грозит" пользователю/администратору/разработчику?
Название: Re:OverlayFS - скоро на экранах
Отправлено: neobht от 24 Февраль 2015, 02:24:22
Да, ничем не грозит. Просто может немного упростится - ядро не нужно патчить будет.
Название: Re: OverlayFS - скоро на экранах
Отправлено: sfs от 28 Февраль 2017, 17:49:03
Pro - в твоих -pf ядрах overlayfs есть?
что-то на ядре 441-pfs
Код
#mkdir 1 && mount -t overlayfs overlayfs 1
unknown filesystem
Название: Re: OverlayFS - скоро на экранах
Отправлено: neobht от 28 Февраль 2017, 18:43:21
Pro - в твоих -pf ядрах overlayfs есть?
что-то на ядре 441-pfs
Код
#mkdir 1 && mount -t overlayfs overlayfs 1
unknown filesystem

Код
#mkdir 1 && mount -t overlay overlay 1
Название: Re: OverlayFS - скоро на экранах
Отправлено: Pro от 01 Март 2017, 08:39:00
Pro - в твоих -pf ядрах overlayfs есть?
выключено т.к. aufs есть
Название: Re: OverlayFS - скоро на экранах
Отправлено: neobht от 01 Март 2017, 15:13:00
Pro - в твоих -pf ядрах overlayfs есть?
выключено т.к. aufs есть
Зачем выключать то, что полезно и не мешает?
Название: Re: OverlayFS - скоро на экранах
Отправлено: sfs от 01 Март 2017, 15:21:15
Пока пользу извлекать не научились  ;)
Название: Re: OverlayFS - скоро на экранах
Отправлено: Pro от 01 Март 2017, 15:27:28
Pro - в твоих -pf ядрах overlayfs есть?
выключено т.к. aufs есть
Зачем выключать то, что полезно и не мешает?
Оно было выключено по дефолту,  специально не отключал.
Название: Re: OverlayFS - скоро на экранах
Отправлено: sfs от 14 Июнь 2017, 17:13:59
Выложено ядро 4.11.4-pf4 для х32 и х64
Включена поддержка overlayfs монолитно в ядро.
Another re-write of the "init" script - using OverlayFs (http://murga-linux.com/puppy/viewtopic.php?t=110636)
Название: Re: OverlayFS - скоро на экранах
Отправлено: ilfat от 05 Август 2017, 10:55:49
В ядро 4.0 в overlayfs добавлена поддержка множества бранчей RO
А чего еще не хватает для фругала? Неужели производительность будет на уровне Fuse?
Название: Re: OverlayFS - скоро на экранах
Отправлено: DdShurick от 05 Август 2017, 12:10:37
А чего еще не хватает для фругала?
Не получится горячее подключение модулей.
Название: Re: OverlayFS - скоро на экранах
Отправлено: sfs от 25 Декабрь 2017, 17:17:59
переходом на overlayfs.
Не получится горячее подключение модулей.
Т.е. горячее получилось?
Archiso сктати тоже на overlayfs

Название: Re: OverlayFS - скоро на экранах
Отправлено: ilfat от 25 Декабрь 2017, 17:32:24
Каждый слой сколько ОЗУ отъедает интересно. В aufs модули пожатые в lz4 -Xhc где-то по 6 мб каждый, а в xz где-то по 4. В Магос по умолчанию 34 модуля, плюс своих у меня было около 15, так вот на 50-ти модульной и 3-х модульной системах разница составила 304 мб по показателям htop. Да и доступ к ФС хоть немного да быстрее на маломодульных конфигурациях.
Название: Re: OverlayFS - скоро на экранах
Отправлено: sfs от 18 Февраль 2018, 09:31:28
На мурге довели до релиза http://murga-linux.com/puppy/viewtopic.php?t=110636
Я в пока так и не определился - нужен нам overlayfs или нет...
Название: Re: OverlayFS - скоро на экранах
Отправлено: DdShurick от 18 Февраль 2018, 11:29:17
нужен нам overlayfs или нет...
Для пользователя безразлично, для разработчика неудобно, перейти не проблема, небольшая правка init.
Название: Re: OverlayFS - скоро на экранах
Отправлено: sfs от 18 Февраль 2018, 11:37:44
Если плюсов нет - смысл?
Название: Re: OverlayFS - скоро на экранах
Отправлено: paulus от 18 Февраль 2018, 13:04:53
Если плюсов нет
Патчи для ядра не надо ждать? Чем для разработчиков неудобно? #ликбез
Название: Re: OverlayFS - скоро на экранах
Отправлено: sfs от 18 Февраль 2018, 13:08:36
Патчи для ядра не надо ждать?
Вроде в базовой поставке идет (в отличие от aufs) и Pro уже мололитно вкомпилил
Чем для разработчиков неудобно?
Тем, что надо разбираться с нуля, а мотивации не найдено
Название: Re: OverlayFS - скоро на экранах
Отправлено: paulus от 18 Февраль 2018, 14:58:18
Цитата: sfs
Вроде в базовой поставке идет (в отличие от aufs) и Pro уже монолитно вкомпилил
Так я за aufs и говорил, вроде. Вкомпилен OverlayFS. Насколько он готов к использованию в пра? Минусы, кроме трудностей еще есть?
Цитата: sfs
Тем, что надо разбираться с нуля, а мотивации не найдено
Ты же любишь трудности и инновации, а мы потестим ;) А в дальнейшем можно было бы от патчей aufs избавиться, может еще какие плюсы найдутся (не зря же его разрабатывают)...
Название: Re: OverlayFS - скоро на экранах
Отправлено: sfs от 18 Февраль 2018, 16:04:05
Ты же любишь трудности
бесполезные нет
Название: Re: OverlayFS - скоро на экранах
Отправлено: DdShurick от 18 Февраль 2018, 18:05:07
Чем для разработчиков неудобно?
mount -o remount,append нет, а с ним и горячего подключения каталога.
Тем, что надо разбираться с нуля
Не тем, а Вам, я уже разобрался, всего-то строку монтирования в init подправить. Или Вам разжевать и в рот положить?
Название: Re: OverlayFS - скоро на экранах
Отправлено: Pro от 19 Февраль 2018, 01:54:54
Или Вам разжевать и в рот положить?
почему бы и да.
Название: Re: OverlayFS - скоро на экранах
Отправлено: sfs от 19 Февраль 2018, 09:15:01
разжевать и в рот положить?
Не помешает. Разобрался сам - расскажи всем  ;) Можно сразу статьей в вики

mount -o remount,append нет, а с ним и горячего подключения каталога.
Без горячего подключения теряется половина замысла
Название: Re: OverlayFS - скоро на экранах
Отправлено: DdShurick от 19 Февраль 2018, 10:49:52
почему бы и да.
Код
init_32: 247: mount -t aufs -o udba=reval,diropq=w,dirs=/changes=rw:${UMNTMAIN}${UMNTXZM}/base=ro${ZLAYER}${UMNTRO} unionfs /pup_new
Код
init_32_ovfs: 246: mount -t overlay overlay -o lowerdir=/save:/base${ZLAYER}${UMNTRO},upperdir=/changes/upper,workdir=/changes/work /pup_new
При этом overlayfs: ZLAYER=':/kernel', aufs: ZLAYER=':/kernel=ro'
overlayfs: UMNTRO="${UMNTRO}:/${ONEEXTRA}", aufs: UMNTRO="${UMNTRO}:/${ONEEXTRA}=ro"
UMNTMAIN и UMNTXZM в init_32_ovfs отсутствуют.
Как видите, изменения минимальны.
Название: Re: OverlayFS - скоро на экранах
Отправлено: sfs от 16 Ноябрь 2018, 19:56:53
https://github.com/kmxz/overlayfs-tools
https://unix.stackexchange.com/questions/393930/merge-changes-to-upper-filesystem-to-lower-filesystem-in-linux-overlay-overlayf

https://unix.stackexchange.com/questions/420646/mount-root-as-overlayfs

https://aur.archlinux.org/packages/?O=0&K=overlayfs

Через fstab https://www.domoticz.com/wiki/Setting_up_overlayFS_on_Raspberry_Pi
Название: Re: OverlayFS - скоро на экранах
Отправлено: DdShurick от 17 Ноябрь 2018, 09:48:32
 И что ты этим хочешь показать? Что умный? Я год назад сделал, вот и думай...
Название: Re: OverlayFS - скоро на экранах
Отправлено: sfs от 19 Ноябрь 2018, 10:18:26
что ты этим хочешь показать? Что умный?
Не равняйте всех по себе  ;)
mount -o remount,append нет, а с ним и горячего подключения каталога.
Искал нет ли решения этой проблемы
Похоже, нет
Выложенное изучал аоверхностно. Помогайте...
Название: Re: OverlayFS - скоро на экранах
Отправлено: paulus от 21 Ноябрь 2018, 00:06:33
Искал нет ли решения этой проблемы
А у разработчика OverlayFS на это планы-то хоть есть? Просто любопытно...
Название: Re: OverlayFS - скоро на экранах
Отправлено: sfs от 21 Ноябрь 2018, 09:28:58
у разработчика OverlayFS на это планы-то хоть есть?
Вряд ли. Горячим подключением балуемся только мы и porteus. Magos - не уверен
Похоже ofs под systemd-nspawn и т.п. точат - т.е. вирдуализация и безопасность
Еще , вроде кол-во слоев ограничено
Название: Re: OverlayFS - скоро на экранах
Отправлено: krasnyh от 20 Ноябрь 2020, 01:19:50
Почитал тему. Как я понял, основные плюсы overlay - поддержка ядрами, минусы - невозможность 'горячего подключения'.

Вопрос, как должна в терминале выглядеть строка монтирования/размонтирования модуля, например DEVX.pfs, для overlay, на 'горячую'. Для PRA-roll-20.08-6; uird; overlay (скрин).

Пытался глянуть пример монтирования в pfsload, но там эти ваши $переменные... Глаза сломать можно. :)


Вроде говорилось, что overlay не умеет "mount -o remount", если я правильно понял. Ссылка в тему или нет Read-only Root-FS with overlayfs for Raspian / Raspberry Pi OS (https://github.com/josepsanzcamp/root-ro).
Еще есть такой инструмент squashmount (https://github.com/vaeth/squashmount).
Название: Re: OverlayFS - скоро на экранах
Отправлено: DdShurick от 20 Ноябрь 2020, 08:39:56
Пытался глянуть пример монтирования в pfsload, но там эти ваши $переменные... Глаза сломать можно. :)
Строка монтирования из initrd_ovfs (Richy32):
Код
mount -t overlay overlay -o lowerdir=/save:/base${ZLAYER}${UMNTRO},upperdir=/changes/upper,workdir=/changes/work /pup_new
Здесь ZLAYER=':/kernel', UMNTRO=':/module1:/module2.....'
Название: Re: OverlayFS - скоро на экранах
Отправлено: sfs от 20 Ноябрь 2020, 09:47:49
как должна в терминале выглядеть строка монтирования/размонтирования модуля,
https://wiki.puppyrus.org/soft/arch-initrd#mkinitcpio-overlayfs_mkinitcpio-lf-overlayfs_mkinitcpio-lf-aufs
арчвики (https://wiki.archlinux.org/index.php/Overlay_filesystem_(%D0%A0%D1%83%D1%81%D1%81%D0%BA%D0%B8%D0%B9)
Read-only Root-FS with overlayfs for Raspian / Raspberry Pi OS.
Еще есть такой инструмент squashmount.
Если я правильно понял - это обвязки вокруг тех же фич AUFS и overlayfs - как и в наших инитрд

С какой целью интересуетесь overlayfs ?
Из плюсов - только наличие по дефолту во всех ядрах и вроде, меньшая ресурсоемкость
https://dker.ru/docs/docker-engine/user-guide/docker-storage-drivers/overlayfs-storage-in-practice/
Цитата
OveraySFS - это современная объединяющая файловая система, которая похожа на AUFS.  По сравнению с AUFS, Overayfs:
     имеет более простой дизайн
     Был в магистроинском ядре Linux с версии 3.18
     потенциально быстрее

Если бы решить с горячим монтированием - хоть как-то интересно для фругала
Возможно можно так : переписать chroot2pfs на overlayfs и запускать модуль софта в своем контейнере из той же 001-base и пр. (сколько можно слоев в overlayfs не знаю)Что-то подобное мутит Б. Кулер в своих новых дистрах
Получится типа усеченного докера, т.е. какие-то усложнения для юзера , которому нужен только браузер и медиаплеер
Здесь все варианты из чего можно мутить слоеную ФС (https://docs.docker.com/storage/storagedriver/overlayfs-driver/)
Название: Re: OverlayFS - скоро на экранах
Отправлено: sfs от 14 Февраль 2021, 17:58:07
Что-то с ауфс все хуже и хуже становится
Тоже так думаю. Нужно если не переходить на оверлей, то готовиться к этому. Планирую попработать над поддержкой в uird. И возможно в pfs-utils тоже.
А что еще можно сделать в плане OverlayFS?  Многослойный OverlayFS в uird и так есть
Горячего подключения пока не просматривается
Разве что запускать каждый модуль приложения в своем OverlayFS chroot (chroot2pfs)...
Или вообще без OverlayFS и aufs - как в TinuCore : монтируем squash и делаем симлинки в корень всех файлов
Есть еще идеи?
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: betcher от 14 Февраль 2021, 18:04:22
Как минимум все проверить. А то с пол года назад вдруг оказалось, что работает только чистый режим. Это правда починили уже.
В первую очередь uird.mode=toxzm.
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: sfs от 14 Февраль 2021, 18:12:24
починили уже
uird-r593.2d9591d-8-any.pkg.tar.xz
уже чиненый ?
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: betcher от 14 Февраль 2021, 18:18:40
Так не соображу. Надо коммиты отслеживать. В свежем точно все ноормально с этим.
Можно легко проверить. В исправленной версии при загрузке с оверлеем /memory/changes это ссылка.
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: betcher от 14 Февраль 2021, 18:20:35
Проблема проявлялась когда uird.mode=changes uird.changes=папка uird.union=overlay
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: sfs от 14 Февраль 2021, 18:20:43
В свежем
09 Февраль 2021, 14:36:05
свежий?
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: betcher от 14 Февраль 2021, 18:26:05
Конечно!!!
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: sfs от 31 Март 2021, 17:35:24
В systemd 248 (https://www.linux.org.ru/news/linux-general/16240160) появилась
Цитата
новая утилита systemd-sysext для управления «системными расширениями» - файлами образов, дополняющими содержимое /usr/ или /opt/ с помощью OverlayFS: см. https://www.freedesktop.org/software/systemd/man/systemd-sysext.html
Может как-то пригодится нам для FRUGAL... или chroot2pfs
Название: Re: Ядро и зависимые программы
Отправлено: krasnyh от 17 Апрель 2021, 22:17:35
Это https://forum.porteus.org/viewtopic.php?f=75&t=9216 ?
Горячее подключение/отключение с overlayfs доведено до рабочего состояния. Проверил с Porteus-XFCE4.12-v5.0rc2-k5.11-rc5-x86_64.iso (https://forum.porteus.org/go.php?https://www.mediafire.com/file/l9r0fga2favdk4x/Porteus-XFCE4.12-v5.0rc2-k5.11-rc5-x86_64.iso).

Способ тестирования:
- Загрузить в вирте данное iso с noload=004, используя TAB для записи в командную строку. Тем самым игнорируем 004-seamonkey-2.53.6.en-US.linux-x86_64.xzm. (Скрин1)
- Далее, в терминале
cd /mnt/sr0/porteus/modules
seamonkey --version
activate 004-seamonkey-2.53.6.en-US.linux-x86_64.xzm
seamonkey --version
deactivate 004-seamonkey-2.53.6.en-US.linux-x86_64.xzm
seamonkey --version

(Скрин2)


p.s. Используем команду seamonkey --version для проверки подключения модуля, не запуская его в графическом режиме.
Для подтверждения операции activate/deactivate пароль toor.
Можно выбрать режим загрузки системы Text Mode, тем самым проведя все проверки в консоли.
Дефолтные пароли Porteus:
root password: toor
guest password:guest


Кстати, проверил с загрузкой в Text Mode. Модуль подключился, но отключаться отказывался, мотивируя это тем, что неактивирован. Тогда повторно запустил команду activate - "Module is already activated. Deactivate? Answer y/n". И все благополучно разрешилось.


Важно:
Учитывать, что не все возможности aufs можно повторить с overlay. В частности, невозможно отключить модули, загруженые с системой.
Цитата
1.2. Activated XZMs during booting can not be deactivated.

Название: Re: OverlayFS - современный аналог AUFS
Отправлено: sfs от 18 Апрель 2021, 07:51:25
Горячее подключение/отключение с overlayfs доведено до рабочего состояния
спасибо+
Хорошо бы выдрать эти скрипты и протестировать в LF
А потом разобрать их и добавить функционал в пфс
Дядя Шурик - подключайтесь. Вы отец нашего aufs. Пора усыновлять ofs  :)
невозможно отключить модули, загруженые с системой.
Можно на стадии инитрд грузить только базу - остальное подключать уже горячим методом
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: betcher от 18 Апрель 2021, 12:19:13
Под капот заглядывали? Как это работает?
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: DdShurick от 19 Апрель 2021, 12:18:16
Дядя Шурик - подключайтесь.
Не могу, глаза болят. Пять минут за компьютером и глаза слезятся. С телевизором аналогично, только смотреть надо минут 15 -20.
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: betcher от 21 Апрель 2021, 10:54:14
Горячее подключение/отключение с overlayfs доведено до рабочего состояния
Никаких чудес. Своя реализация pfsextract -i. Лучше нашей в том, что при отключении модуля восстановятся прежние состояния файлов. А вот как у него с пустыми папками дела обстоят - не понял.
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: sfs от 21 Апрель 2021, 11:31:13
pfsextract -i
т.е. тупо модуль распаковывают в корень? Даже не монтирование+симлинки
при отключении модуля восстановятся прежние состояния файлов
Т.е. просто удаляется скопированное?
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: betcher от 21 Апрель 2021, 11:39:10
Т.е. просто удаляется скопированное?
При подключении файлы из бандла копируются в корень по одному, если такой файл(папка) уже существует, то старый переименовывают, добавляя префикс перед именем. В тонкости не вдавался ибо совсем не то чего хотелось (((
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: betcher от 21 Апрель 2021, 11:42:26
т.е. тупо модуль распаковывают в корень? Даже не монтирование+симлинки
Бандл то создают. А дальше cp mv и т.д ))
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: betcher от 21 Апрель 2021, 12:59:37
Тогда - лажа. Проще самим написать
Ну может не лажа. Просто обманутые ожидания ))
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: krasnyh от 21 Апрель 2021, 14:37:12
да и https://forum.puppylinux.com/viewtopic.php?p=10594#p10594
DebianDog-Sid-full-20201125-overlay_amd64-UEFI.iso (https://github.com/DebianDog/Sid/releases/download/v0.1/DebianDog-Sid-full-20201125-overlay_amd64-UEFI.iso)
Горячее подключение организовано через chroot двумя способами, а-ля tinycore или chroot.

В iso только два модуля, поэтому надо что-то доустанавливать для тестов.
Цитата
$ lh *.squashfs
-rw-r--r-- 1 root root 363M ноя 25 16:53 01-filesystem.squashfs
-rw-r--r-- 1 root root  46M ноя 24 01:21 k-5.9.0-3-amd64.squashfs

Я собирал mc через AptToSfs. Далее "ПКМ - Load Module (in chroot)" в pcmanfm по mc.squashfs.


Положил временно https://file.puppyrus.org/users/roll/mc.squashfs на сервер (после использования можно удалять). Положить в iso в /optional и пересоздать образ. Это для простоты и удобства последующих тестов.
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: krasnyh от 21 Апрель 2021, 15:19:20
Еще от этого же автора (fredx181):
Re: Загрузка SFS "на лету" [экспериментальная]  (https://forum.puppylinux.com/viewtopic.php?p=11354#p11354)

Цитата
Вдохновленный идеями/обсуждениями @rufwoof и @wanderer (на основе метода tinycore загрузки SFS с использованием символических ссылок):
https://forum.puppylinux.com/viewtopic.php?p=10778#p10778


upd. Пытаюсь по ссылке выше распаковать loadmodule.gz и rmbrokenlinks.sh.gz, а это простые скрипты, переименованные в *.gz.

upd2. https://github.com/doglinux/sidog/raw/master/amd64/sfsload_1.0.8_all.deb
Комментарий темы https://forum.puppylinux.com/viewtopic.php?p=14419#p14419

Обновляется, sfsload_1.0.9_all.deb (https://github.com/doglinux/sidog/raw/master/amd64/sfsload_1.0.9_all.deb)

Простенькое loadmodulegui (скрин).
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: sfs от 21 Апрель 2021, 16:31:42
метода tinycore загрузки SFS с использованием символических ссылок):
Это лучше чем распаковка - места в сохраненке (если она в памяти - критично) ест меньше
Но пока aufs жив - надо ли...
это простые скрипты, переименованные в *.gz.
У них всегда такой прикол был
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: krasnyh от 21 Апрель 2021, 16:40:15
Но пока aufs жив - надо ли...
Надо. Классический пример, в iso уже давно используется 000-kernel-5.11.0-pf2-1-pra_64, хотя уже вышел патч pf-7. Т.е. с ядрами aufs организованно все постольку-поскольку.
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: krasnyh от 21 Апрель 2021, 16:43:43
Тем более у автора организована сборка субархитектур (https://gitlab.com/post-factum/pf-kernel/-/wikis/README#but-i-want-binary-builds):

    generic
    AMD Zen 2
    Intel Core 2
    Intel Silvermont
    Intel Skylake


Сколько то процентов производительности может даст, почему нет.
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: sfs от 21 Апрель 2021, 16:43:47
Надо.
Компилите. PKGBUILD я выкладывал вместе со своим ядром
Если соберетесь это делать - сначала напишите на форуме. Надо конфиг обсудить
А смысл гнаться за номером pf ?
с ядрами aufs организованно все постольку-поскольку
aufs работает - что еще надо?
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: krasnyh от 21 Апрель 2021, 16:44:50
Компилите
Хорошая альтернатива готовым ядрам. :)
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: sfs от 21 Апрель 2021, 16:46:26
Про готовые я недавно правил тему (https://forum.puppyrus.org/index.php?topic=16675.msg100386#msg100386)
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: krasnyh от 21 Апрель 2021, 16:54:30
Добавил выше (https://forum.puppyrus.org/index.php?topic=16200.msg176909#msg176909) ссылку на sfsload_1.0.8_all.deb от fredx181, где правленные loadmodule и rmbrokenlinks.sh под overlay.
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: yxma от 21 Апрель 2021, 17:32:21
у меня aufs написано в трее, некликабельно. Рядом график, желтым показывает трафик сети (как я думаю), а дальше еще 2. Один зеленый с голубым, другой синий или белый - непонятно. Тот, то зелено-голубой постоянно заполнен примерно на 80%
Что они означают? подсказки не появляются. Система прар2008
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: krasnyh от 21 Апрель 2021, 18:38:21
Положил временно https://file.puppyrus.org/users/roll/mc.squashfs
Туда же положил sfsload_1.0.9.squashfs (https://file.puppyrus.org/users/roll/sfsload_1.0.9.squashfs), тоже временно.
здесь реализован метод со ссылками как в tinycore.
Цитата: krasnyh от Вчера в 15:19:20
    (на основе метода tinycore загрузки SFS с использованием символических ссылок)
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: krasnyh от 21 Апрель 2021, 19:13:38
пересоздать iso привычным способом с iso-make-hybrid.sh
Вспомнил как это делается, пересобрал iso. Надо было докинуть наши папки boot и EFI, взамен дефолтных.
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: krasnyh от 21 Апрель 2021, 19:28:34
Скрин.

Модуль sfsload_1.0.9.squashfs положил в /live, mc.squashfs в /live/optional. Причем mc все равно почему-то подключился, перезагрузился с noload=mc.
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: krasnyh от 22 Апрель 2021, 12:27:30
Скрин
Чтобы не было непонимания, здесь реализован метод со ссылками как в tinycore.
(на основе метода tinycore загрузки SFS с использованием символических ссылок)
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: sfs от 22 Апрель 2021, 13:58:36
Добавил в шапку
Интересно, в перспективе в OverlayFS все-таки сделают горячее подключение....
Т.е. ждать или изучать tinycore вариант...
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: betcher от 22 Апрель 2021, 17:59:03
А если в коде проверки типа
if  test -L  file ; then
   some code
elif test -f file ; then
   other code
fi
А у нас все файлы  - ссылки. Опасненько.
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: krasnyh от 22 Апрель 2021, 18:05:41
Вам не угодишь. )

Предоставил три варианта горячего подключения:
1. Распаковка а-ля tinycore, ссылка (https://forum.puppyrus.org/index.php?topic=16200.msg176823#msg176823)
2. Запуск в chroot, ссылка (https://forum.puppyrus.org/index.php?topic=16200.msg176906#msg176906)
3. Через ссылки, а-ля tinycore. Ссыль (https://forum.puppyrus.org/index.php?topic=16200.msg176909#msg176909).
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: sfs от 23 Апрель 2021, 09:13:47
Вам не угодишь. )
Пока aufs жив, а в ofs нет гор. подключения - наверное - нет. Рано
В инитрд rootofs и uird  поддержка ofs есть . Для теста ядер без ауфс. надо ли глубже...
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: krasnyh от 23 Апрель 2021, 23:37:48
Никаких чудес. Своя реализация pfsextract -i.
При подключении файлы из бандла копируются в корень по одному
Нет, специально перепроверил. Не копируется, а даются симлинки из бандла. На примере с seamonkey это /mnt/live/memory/images/004-seamonkey*. Т.е. тоже а-ля tinycore.

Скрин.
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: betcher от 24 Апрель 2021, 04:36:35
Никаких чудес. Своя реализация pfsextract -i.
При подключении файлы из бандла копируются в корень по одному
Нет, специально перепроверил. Не копируется, а даются симлинки из бандла. На примере с seamonkey это /mnt/live/memory/images/004-seamonkey*. Т.е. тоже а-ля tinycore.

Скрин.
Гм. Я только скрипты пролистал. Сорри, если ввел в заблуждение.
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: sfs от 24 Апрель 2021, 09:17:47
Предоставил три варианта горячего подключения:
1. Распаковка, ссылка
Для фругала не вариант
2. Запуск в chroot, ссылка
Наш chroot2pfs модет, но так наверное более ресурсоемко и не всякий софт вообще запустится
Из запущенной в чрут проги будет не сохранить за пределы чрута
Можно пробовать, но проблемы будут
3. Через ссылки, а-ля tinycore.
Единственный вариант. Надо только чистильщик написать
Поэтому вывод (https://forum.puppyrus.org/index.php?topic=16200.msg176937#msg176937)
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: krasnyh от 24 Апрель 2021, 10:51:37
Для фругала не вариант
После перепроверок оказалось там нет такого варианта. Т.е. в обоих iso, debian.iso и porteus.iso, одинаковый метод реализации горячего подключения (tinycore). Может только различие в исполнении скриптов, плюс в дебиан еще есть chroot через контекстное меню.
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: sfs от 24 Апрель 2021, 10:57:23
После перепроверок оказалось там нет такого варианта
Значит они думают так же как я :)
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: DdShurick от 24 Апрель 2021, 16:16:30
Поэтому вывод
Моё мнение: по каким причинам не берут AUFS в ядро, это их дрязги. Но OverlayFS обречена быть хуже, так как все "прямые" решения уже реализованы в AUFS, а "обходные" всегда будут хуже и сложнее.
Выкинуть и забыть.
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: krasnyh от 24 Апрель 2021, 16:41:39
И да, и нет.

Плюсы aufs известны и возможности тоже. В чем же плюсы overlay? Это:
- во-первых, ничем не ограниченная линейка ядер
- во-вторых, все ли возможности aufs мы используем? Чаще надо на один раз подключить DEVX при компиляции или второй браузер, для проверки работы какого-то сайта, или еще какую прогу для посмотреть и отключить.
Для таких вот незатейливых пользовательских нужд, overlay прекрасно подходит и прекрасно справляется (с костылями конечно :)). А с собственными aufs ядрами с некоторых пор у нас напряженка. Во всяком случае не на любой вкус.
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: DdShurick от 24 Апрель 2021, 16:46:41
А с собственными aufs ядрами с некоторых пор у нас напряженка.
Известно почему, но почему-то тишина...
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: sfs от 24 Апрель 2021, 17:19:32
OverlayFS обречена быть хуже, так как все "прямые" решения уже реализованы в AUFS
https://www.opennet.ru/opennews/art.shtml?num=40947
с собственными aufs ядрами с некоторых пор у нас напряженка
В чем напряженка?
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: krasnyh от 24 Апрель 2021, 17:41:21
В чем напряженка?
С тем, что собирает их непрофессионал и собирает так, что отсутствует (https://forum.puppyrus.org/index.php?topic=21774.msg176535#msg176535) часть функций, заявленных автором патчсета. :) Это ни в коем случае не упрек, но что есть то есть.
 
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: krasnyh от 24 Апрель 2021, 18:08:21
Так что, если есть возможность частично сбросить эту 'неподъемную' необходимость (речь о компиляции/aufs), путем введения в оборот overlay-ядер, надо ее использовать. ) Имхо. 

Всего лишь адаптировать уже готовые скрипты горячего подключения под сборки форума. Потестируем, время рассудит и покажет насколько это удобно и востребованно.

Еще раз, надо исходить из реальности, у нас нет проффи-сборщика, штампующего ядра на любой вкус и цвет.
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: sfs от 24 Апрель 2021, 18:23:53
собирает их непрофессионал
У нас все любители
отсутствует часть функций
я там по ссылке ответил
адаптировать уже готовые скрипты горячего подключения под сборки форума
Адаптируйте. Что мешает? Я пока не планирую. Почему - см. выше
нас нет проффи-сборщика, штампующего ядра на любой вкус и цвет.
Кого и чем не устраивает мое последнее пф ядро?
То что выше по ссылке - по мне - мелочи
Следующий раз буду компилить - учту. Торопиться с этим смысла не вижу. Есть темы интереснее
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: betcher от 26 Апрель 2021, 08:41:22
Еще вопрос по ссылочной модели. А если у нас в модуле, к примеру, конфиг? Подключаем модуль ссылками, получается, что этот конфиг ссылка на файл в бандле, то есть - RO. Так что-ли? Вручную конечно я этот конфиг найду как сохранить, а если он правится программно? Программа же не в  курсе что там с сылками понамуд(р)или.
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: sfs от 26 Апрель 2021, 09:29:32
Получается etc home из модуля надо   копировать . Не проблема. Но как видите "чем дальше в лес тем злее партизаны"
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: ingvaro от 07 Август 2021, 11:03:46
Делаю две сбоки для Магеи и Lubuntu - https://forum.mageia.org.ru/viewtopic.php?pid=15958#p15958
В сущности это форк от MagOS-Linux - http://magos-linux.ru/
И в ядре 5.11.0-25-generic от Lubuntu  AUFS уже отсутствует и видимо не за горами когда Магея откажется рт AUFS
Решил не ждать когда грянет гром а потихоньку переходить на Overlay.
Все нужные мне утилиты я перевел на Overlay. и остались PFS-утилиты.  Попробовал добавить в PFS Overlay..
И вот что получилось
Добавил Overlay в  mkpfs, pfs  Работает теперь  AUFS и Overlay
Скачать  -  PFS-OVL.xzm - https://cloud.mail.ru/public/yAGs/uShczCfGZ
Устанавливается после магос-модуля. Я устанавливал в папку modules

AUFS

У автора монтируется пустой AUFS и потом заполняется командой
Спойлер
mount -o remount,add:1:"$NEWLAYER"=ro+wh "$AUFSMNT
[свернуть]
Честно говоря не понял идеи. А если в модулях будут тени и  как они будут  нигелироваться с файлами ?
Скорее всего в выходном образе будут и файл и тень т к AUFS отстранена от руководства.
Вот как предлагает МагОС перезапуск запущенной AUFS
Спойлер
mount -o remount,prepend:$MOD_LINE=rw,mod:$MOD_PREV=rr aufs $ROOTFS
[свернуть]
Монтирование сделал по аналогии с TOXZM т к тут уже знакомые мне и отработанные варианты и прекрасно работает с тенями. а этот мне еще тестировать надо.

OverlayFS

Все опции монтирования в Overlay в этом варианте работают
В первом варианте при опции  metacopy=on монтирование заканчивалось сбоем.
А UIRD с этой опцией систему не загрузил в Overlay
В папки `upper$N и lower$N` в папке сборки  монтируется tmpfs

Спойлер
mount -t tmpfs tmpfs $WORKMNT/upper$N
mount -t tmpfs tmpfs "lower$N"
[свернуть]

В исходном варианте у автора эти папки монтировались img-модулем отформатированном в Ext4
Но tmpfs вроде нормально подходит.
Тени в конечном образе пропадают и пробовал работу Overlay изменяя опции, в надежде что
нужная тень появится. Но чуда не произошло.
Пробовал
Спойлер
mount  -o bind "$NEWLAYER" "$AUFSMNT"
[свернуть]
На одном монтируемом образе можно получить модуль с нужной тенью. Но Overlay, при этом затирается. Если монтируемых образов много то виден только последний.
Но в TOXZM уже есть два варианта решения проблемы. Может они помогут ?

А так Overlay, мне понравился.
Версии измененных mkpfs и pfs изменил на
`VERSION 4.2.1`

Что бы сразу было видно что  что скрипты правленные

Изменения
1)  П/прогу mkaufs  разделил на две п/прги - mk_unionfs  и mount_unionfs
2)  П/прога mklist из pfs по умолчанию выключена. Для включения задать опцию --mklist
     В AUFS,  если образы сборки только для чтения, то и сама сборка получается только для чтения. и нельзя создать pfs.files в выходном образе.
Ну а OverlayFS образ всегда получается как **rw**  И можно его уже править
3)  Добавил опцию debug. Это пакетирование образа приостанавливается и можно посмотреть сборку и править по необходимости.
Для продолжения работы надо в ранее появившемся интерактивном окне кликнуть **Yes**
4) Не работала у меня стр 164 в mkpfs
Спойлер
n="$(mk_unionfs || exitmsg "mk_unionfs error" 2)
[свернуть]
Переменные n и nn задал в mk_unionfs
5) Нет в Overlay  файла - /sys/fs/overlay/si_ и определение SYSMNT работает плохо
  Задал SYSMNT пока так
Спойлер
SYSMNT='/memory'
[свернуть]

PS

Обновил в chroot образ Lubuntu, используя свой mkpfs.
И весь мой chroot2xzm уместился в простенький скрипт !!!
 В AUFS образ получился только для чтения и такой режим обновления системы не получился.
Пожалуй это очень жирный плюс для OverlayFS
Подробнее - https://forum.magos-linux.ru/t/overlayfs-na-pfs-utilitah/177/6
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: sfs от 08 Август 2021, 09:47:08
Приветствую! Давненько Вас не было у нас
Делаю  Lubuntu
Тоже недавно занимался deb. Но я копал в сторону : как с apt сделать полноценно модульный дистр. Т.е. подключаем по горячему модули и база апт не ломается. Получил положительные результаты (https://forum.puppyrus.org/index.php?topic=23370.msg176730#msg176730)

AUFS уже отсутствует и видимо не за горами когда Магея откажется рт AUFS
Занимался поиском  (https://forum.puppyrus.org/index.php?topic=16675.0). В Росе более менее свежее ядро с ауфс
Вывод : надо компилить (https://forum.puppyrus.org/index.php?topic=21774.0) самим. Скомпилил (http://mirror.yandex.ru/puppyrus/puppyrus-a64/kernel/new/5.12.0-pf6-lf/). Тем более появились полезный фишки : le9 (https://forum.puppyrus.org/index.php?topic=23160.0) и ntfs3 (https://forum.puppyrus.org/index.php?topic=23512.0)
Предлагаю подключиться к теме (https://forum.puppyrus.org/index.php?topic=21774.0) компилции ядра и перейти на общее ядро.

Добавил Overlay в  mkpfs, pfs
Полезный функционал. А то инитрд с оверлеем есть ,а pfs-util в нем не работают.
Надо бы в гит добавить
Я правильно понял - с оверлеем по прежнему не получится горячее подключение как с ауфс?
Если так - пока ауфс жив - оверлей не актуален

mount -o remount,add:1:"$NEWLAYER"=ro+wh "$AUFSMNT
Честно говоря не понял идеи. А если в модулях будут тени и  как они будут  нигелироваться с файлами ?
Тени наложатся в указанный при монтировании слой. Если верхний - можно таким образом удалить какой-нибудь файл в нижних слоях
Что не так?

prepend:$MOD_LINE  mod:$MOD_PREV=rr - поясните эти параметры, чтобы не вчитываться в доки
rw - разве squashfs не безвариантно ro? Или это уже вместе с сохраненкой в дир (файл, tmpfs)

Обновил в chroot образ Lubuntu, используя свой mkpfs.
Т.е. squash+tmpfs объединяем в overlatfs, обновляем через ПМ и пересоздаем в итоговый squash?
Делаю подобное обычной распаковкой + chroot.sh (мой скрипт ). Надо ли усложнять? В вашем варианте можно разве что немного места на винте съэкономить
Или появились чудесные методы модификации squashfs без перепаковки?

Почему распространяете дистры в img, а не в гибридном исо (так ведь будет 2 в 1)? Или img можно рак-то прикрутить к виртуалке?
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: ingvaro от 08 Август 2021, 19:57:59
Полезный функционал. А то инитрд с оверлеем есть ,а pfs-util в нем не работают.
Надо бы в гит добавить

Да вроде рано тут  вопросы есть
1)
Нет в Overlay  файла - /sys/fs/overlay/si_ и определение SYSMNT работает плохо
  Задал SYSMNT пока так

SYSMNT='/memory'
[свернуть]

Закоментировал стр 46.47.160
Предлагаю не восстанавливать авто-поиск SYSMNT а сделать диалоговый выбор папки работы.
На слабом компе Overlay может не запуститься
У меня пакетная сборка Магеи так она требует 16 Гб памяти. А у меня на нетбуке только 8 Гб. Домашний комп - 2 Гб
Обычно запускаю пакетную сборку Магеи на диске. Согласны так сделаю

2)
В папки `upper$N и lower$N` в папке сборки  монтируется tmpfs

mount -t tmpfs tmpfs $WORKMNT/upper$N
mount -t tmpfs tmpfs "lower$N"

Попробовал убрать монтирование  tmpfs для папок `upper$N и lower$N` и все работает .
Проверил даже запустив mkpfs на флэшке в BtrFS. Все работает.
Можно просто закоментировать эти строки и пока оставить. Мало ли что ?
Вот исходная пост - https://askubuntu.ru/questions/220624/kak-mne-ispolzovat-overlayfs
 
Т.е. squash+tmpfs объединяем в overlatfs, обновляем через ПМ и пересоздаем в итоговый squash?

-  Я запустил mkpfs c опчией debug. Это просто пауза перед паковкой в виде дилогового окна с выбором продолжить работу или прервать ее
-    Удалил все из папок  /dev и /run из образа сборки Overlay
-  Смонтировал в образ Overlay /dev /sys  /proc  /run  скриптом

Спойлер
#!/bin/bash
TERMINAL=qterminal
NN='/memory/WORKFS/overlay1'
for tm in {proc,sys}; do
   mount -o bind /$tm "$NN"/$tm
done
$TERMINAL -e chroot $NN
[свернуть]

Удивительно но тут   папки /dev /sys  /proc /run нормально смонтировались в образ Overlay
Выходит что при каких то условиях горячее подключение в Overlay есть
-  В появившемся окне терминала обновиться  Выход командой exit
- Отмонтировал папки /dev /sys  /proc /run  и нажал в диалоговом окне debug кнопку Yes
- Обновил Lubuntu без монтирования  tmpfs для папок `upper$N и lower$N`
  Так что не нужно монтирование  tmpfs для папок `upper$N и lower$N
 

Вот как предлагает МагОС перезапуск запущенной AUFS
Спойлер
mount -o remount,prepend:$MOD_LINE=rw,mod:$MOD_PREV=rr aufs $ROOTFS

Прокоментировать не могу. Стоит у меня эта строчка в моем chroot2xzm. А его я делал по образу старого скрипта urpmi2xzm от МагОС
Проверю и если что отпишусь. Может старая инфа но строчка у меня работает.

Я правильно понял - с оверлеем по прежнему не получится горячее подключение как с ауфс?
Если так - пока ауфс жив - оверлей не актуален

Для моей сборки это не критично. В системных модулях теней нет.
Системные изменения пишет TOXZM и там есть режим Overlay+WH
А  чищу я модуль сохранения коррекцией фильтра ненужных файлов   и выключением системы
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: ingvaro от 08 Август 2021, 21:58:39
Почему распространяете дистры в img, а не в гибридном исо (так ведь будет 2 в 1)? Или img можно рак-то прикрутить к виртуалке?

Просто не разобрался как загрузить в образ ISO   MBR для grub2
А сейчас у меня чистый EFI-нетбук и bios загрузка отсутствует.
Основной загрузчик - rEFInd. Он сам находит все запуски для Windows и для Linux.
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: krasnyh от 08 Август 2021, 22:31:57
Hybrid bootable Grub2 iso (EFI and MBR) (https://forum.puppyrus.org/index.php?topic=22102.0)
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: krasnyh от 08 Август 2021, 22:44:08
У MagOS есть возможность ознакомиться со сборкой, 'крутанув' ее виртуалке, благодаря наличию *.iso. С MagOSM-Mageia8_2021-07-31.img такой номер не пройдет, невозможно 'посмотреть' этот *.img в вирте. Получается напрасно я его скачал для ознакомления. )
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: ingvaro от 09 Август 2021, 06:55:51
Извините но образ то не ISO а ~.img
Не знаю я как сделать образ загрузочным.
И сильно от МагОС не отличается. У меня свой chroot2xzm и меню на grub2.
И меню в конфигураторе можно настраивать. Ну и писалка системных изменений TOXZM
В МагОС TOXZM еще в тестировании а я ее уже протестировал.  TOXZM и только  TOXZM. Все лишнее убрал
Спасибо за ссылку попробую разобраться
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: sfs от 09 Август 2021, 09:34:24
У меня пакетная сборка Магеи так она требует 16 Гб памяти
Вы собираете в памяти? или откуда такие требования?

Попробовал убрать монтирование  tmpfs для папок `upper$N и lower$N` и все работает .
Т.е. собран overlayfs пирог из squashfs (RO) модулей, в него сделан чрут и куда-то получается писать? Куда? Ничего не путаете?

при каких то условиях горячее подключение в Overlay есть
Можете выложить демо скрипт?

Для моей сборки это не критично.
Т.е. у вас гибрид фругала с фулом. Горячее подключение \откл модулей не предусмотрено и модулей софта нет.
Прорабатывал это в теме pra-roll. Вывод - при желании постоянных обновлений  через ПМ оптимально поставить замороженный фул и размораживать его только для обновлений. Тут оверлея вполне достаточно, Менеджер модулей не нужен.  Это не тот фругал, который у нас любят

Просто не разобрался как загрузить в образ ISO   MBR для grub2
iso-make-hybrid.sh во всех моих исо . Даже есть конвертер g4d->g2
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: ingvaro от 09 Август 2021, 17:16:27
Вы собираете в памяти? или откуда такие требования?

    Я собираю на диске т к памяти (8 Гб) не хватит
Все скачанные пакеты сохраняются и тут же модули собираются. Отсюда и набегает. Ну где то 13 Гб как минимум надо иметь на диске свободного места
На все трачу 55 мин и из них 50% это пакетирование. Можно бысрее пакетировать но тогда модули будут больше.
Если что не так то на повторной сборке не надо тратить время на скачивание а это бысрее где то в два раза.

      Не могу разобраться со сборками на puppyrus.. Хотелось бы запустить и посмотреть как все работает.  Но что то их очень много.
Какую сборку лучше всего скачивать для ознакомления с pfs-утилитами?

.е. собран overlayfs пирог из squashfs (RO) модулей, в него сделан чрут и куда-то получается писать? Куда? Ничего не путаете?

Не путаю. Монтирование  tmpfs для папок `upper$N и lower$N` было убрано.
Overlay запускается в среде системного Overlay. Может в этом дело?  Загрузчик у меня UIRD и его автор neobht и может он что подскажет ?
Ну повторю эксперимент на чистой системе если это так важно. Может что то сохранилось в модуле сохранения сис-изменений
Хотя папка /memory у меня не сохраняется в модуле записи сис-изменений.

    при каких то условиях горячее подключение в Overlay есть
Можете выложить демо скрипт?

Здесь подробно описал - https://forum.magos-linux.ru/t/overlayfs-na-pfs-utilitah/177/6
Пробовал я горее монтирование в pfs  командой :
Спойлер
mount  -o bind "$NEWLAYER" "$AUFSMNT"
                   или
mount  --bind "$NEWLAYER" "$AUFSMNT"
[свернуть]

Первый модуль монтируется и затирает Overlay. Если модулей много, то виден последний.
Но почему тогда папки  /dev /sys /proc /run смонтировались ?
И Overlay не затерся и все отмонтировалось нормально !!!

Занимался поиском . В Росе более менее свежее ядро с ауфс
Вывод : надо компилить самим. Скомпилил. Тем более появились полезный фишки : le9 и ntfs3
Предлагаю подключиться к теме компилции ядра и перейти на общее ядро.

Можно брать ядро от Магеи. AUFS есть и Overlay. Запускает Lubuntu и в MagOS-Linux (Rosa)
В тестировании уже - kernel-desktop-5.13.8-1.mga8
Причем MagOS-Linux (Rosa) не запускается нормально на моем нетбуке с родными драйверами.
Пробовал собрать ядро - https://forum.mageia.org.ru/viewtopic.php?pid=34031#p34031
Но в самой Магее не хватает пакетов для сборки ядра. В Lubuntu они есть
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: krasnyh от 09 Август 2021, 19:23:46
Какую сборку лучше всего скачивать
Наверно лучший выбор prar21.03-21.07-x86_64.iso (https://forum.puppyrus.org/index.php?topic=19901.msg176418#msg176418). Во всяком случае, у меня именно эта сборка. Использую только как фругал, хотя sfs постоянно спрашивает: "почему не фулл?" )

Вики (https://wiki.puppyrus.org/distr#puppyrus-a_roll_pra-roll_x86_64)


upd. Да, надо учитывать, что все сборки sfs это мультиDE. Поэтому, при старте системы, выбрать - xfce, ovs (Openbox+Vala-panel_Spacefm), lxqt, mate. Если не трогать меню, то запустится дефолтный xfce.

Загрузчик по умолчанию grub4dos. Можно ознакомиться со сборкой в вирте. Если же нужен запуск с реального железа, то удобней с флешки:
1. монтируем iso и копируем содержимое на готовую флешку (fat32, ext4...)
2. делаем загрузочной из под линукс
cd /boot/grub4dos/install/linux/ext4
bootlace.com /dev/sdb

Все, система готова.

Если UEFI, то ставить загрузчик не надо, достаточно первой позиции и fat32.
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: sfs от 10 Август 2021, 09:19:45
Можно брать ядро от Магеи. AUFS есть и Overlay. Запускает Lubuntu и в MagOS-Linux (Rosa)
В тестировании уже - kernel-desktop-5.13.8-1.mga8
Да. Есть даже ntfs3. le9 нет. Куча патчей использовано. Для дров есть dkms-ы. Спасибо +
Вроде ранее смотрел магею. Ауфс там недавно добавили?
В Магее Вы какой-то официальный человек или любитель? Чем зацепила Магея?
в самой Магее не хватает пакетов для сборки ядра
Ядро без разницы где компилить. На мой взгляд :  компиляция = арч.
Еще раз настоятельно рекомендую перейти на единое ядро. Вся инфа здесь (https://forum.puppyrus.org/index.php?topic=21774.msg177928#msg177928). Ну или хотябы протестируйте мое ядро : uksmd le9 ntfs3. Оно монолитное. Т.е. с fat ntfs ext загрузится без пересборки инитрд

Какую сборку лучше всего скачивать для ознакомления с pfs-утилитами?
pfs больше зависит от своей версии, чем от дистриба.
Если хотите посмотреть настоящий модульный фругал , маленький и быстрый - lfd10
Полуфул : prar2103 или lfds (этот с минимумом самопала и эксклюзивными фичами для apt )
Про выбор (https://wiki.puppyrus.org/distr#%D0%B2%D1%8B%D0%B1%D0%BE%D1%80_%D0%B4%D0%B8%D1%81%D1%82%D1%80%D0%B8%D0%B1%D1%83%D1%82%D0%B8%D0%B2%D0%B0)
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: ingvaro от 10 Август 2021, 12:36:08
В Магее Вы какой-то официальный человек или любитель? Чем зацепила Магея?

На работе я инженер-электронщик и раньше как не работает например видеокарта все указывали пальцем на меня и говорили что это по аппаратной части.
Дело усложнялось что редко находились два одинаковых системника.  И нужен был дистр на флэшке, для проверки компов.
Перебирал линуксы и Магея лучше всех запустилась на всех компах. А сейчас просто привык.
В Магее я простой любитель. Раза два удавалось написать удачный отзыв о проблеме  который помог в ее решении.
Но обычно пока я собираюсь писать Магея сама с проблемой разбирается. Языковой барьер.





Название: Re: OverlayFS - современный аналог AUFS
Отправлено: sfs от 11 Август 2021, 17:05:14
Как-то Вам надо стыковаться с betcher и проталкивать эти доработки в гит. Чем раньше это начать чем вероятнее на выходе не получится форк. Или Вы и хотите сделать форк?
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: ingvaro от 12 Август 2021, 08:55:20
Как-то Вам надо стыковаться с betcher и проталкивать эти доработки в гит.

На форуме МагОС есть ссылка,  но пока молчат - https://forum.magos-linux.ru/t/overlayfs-na-pfs-utilitah/177/5
Они молчат и я молчу. Так вот и создаются форки
Я вообще то не дотягиваю по функционалу к МагОС, т к у меня нет возможности загрузки старых версий на initrd
В свое время шаманил с бубном с  initrd от Магеи и все как то плохо и криво.
Попробовал загрузиться с UIRD так он сразу заработал.
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: sfs от 12 Август 2021, 09:59:33
Они молчат и я молчу. Так вот и создаются форки
Мой initrd-rootaufs2 не появился бы если бы они мне вовремя  ответили как подобное сделать в юирд
В итоге в prar 3 initrd
В юирд по началу было плохо с примерами использования и докой. Сейчас с участием    betcher в прар рабочие примеры для фругал и конфиги для фул с пояснениями. Если решите продолжать свой труд - надо начинать с этого. Потом можно добавить в прар четвертый инитрд . Без рабочего примера описывать улучшения бесполезно. В код никто не полезет, а как проверить не сообразят.
Ну а начать надо с описания что это даст по сравнению с имеющимися вариантами
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: ingvaro от 12 Август 2021, 11:24:29
Ну а начать надо с описания что это даст по сравнению с имеющимися вариантами

Хорошо бы отдельной темой сделать. Например -  "Overlay для  mkpfs"
Это что бы дополнять только 1 страницу  и не описывать все в каждое сообщение.
Через какое то время на 1 странице будет уже полная инструкция.
Ну а betcher рано или поздно объявится. Может отпуск у него и поехал отдыхать.
Тем более что вариант монтирования от TOXZM я немного упростил. Но иначе AUFS не запускался.
Осталось доделать Overlay.
В TOXZM в режиме Overlay+WH тени копируются в образ сборки.
Попробовал повторить и тени не копируются у меня не только в образ сборки но вообще никуда нельзя скопировать.
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: sfs от 12 Август 2021, 16:24:53
Хорошо бы отдельной темой сделать. Например -  "Overlay для  mkpfs"
Ну так сделайте. Перенесите в шапку полезное из этой темы или могу с вашего первого в этой теме сообщения разделить тему
betcher рано или поздно объявится
Последняя активность:Сегодня в 09:38:23
Возможно сильно занят
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: sfs от 04 Ноябрь 2021, 10:01:19
В ядре 5.15 (http://citforum.ru/news/43179/)
Цитата
В OverlayFS реализована корректная обработка флагов монтирования "immutable", "append-only", "sync" и "noatime".
нам с горячим монтированием это не поможет?
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: krasnyh от 12 Декабрь 2021, 21:16:25
Скачать  -  PFS-OVL.xzm - https://cloud.mail.ru/public/yAGs/uShczCfGZ
Так как я уже несколько дней использую родное бинарное ядро pf (без aufs), то обратил внимание, что pfs-utils дают сбой даже при простой упаковке папок в модуль. Можно уйти в каменный век и использовать исходные mksquashfs/unsquashfs, но это не наш метод.

Скачал PFSOV.pfs по ссылке, распаковал пока в rootcopy, перезагрузился и вуаля, все работает. Правда пришлось еще создать (https://forum.magos-linux.ru/t/overlayfs-na-pfs-utilitah/177) toxzm/filtres/pfs-filtr.

Насчет наличия горячего подключения пока не смотрел, есть ли оно, и если есть, работает ли.


p.s. И да, у меня uird, если это имеет значение.
Ядро пока в качестве теста, а там посмотрю...

Использую гуи из контекстного меню "Упаковка PFS-пакета".
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: sfs от 13 Декабрь 2021, 09:48:08
у меня uird
Хорошо бы и на наших инитрд проверить. По идее должно работать
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: krasnyh от 02 Июнь 2022, 17:49:42
Новость, OverlayFS Adding Support For IDMAPPED Layers For Various Benefits (https://www.phoronix.com/scan.php?page=news_item&px=OverlayFS-IDMAPPED-Layers)

Какая польза для нашего фругала, не знаю, но видно что OverlayFS не заброшен, худо-бедно развивается.
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: krasnyh от 28 Август 2023, 16:09:30
- Дисковая подсистема, ввод/вывод и файловые системы

    Файловая система Overlayfs переведена на использование нового API для монтирования (https://lwn.net/Articles/759499/). Внесены изменения, необходимые для организации работы файловой системы Composefs (https://www.opennet.ru/opennews/art.shtml?num=59460) в виде надстройки над ФС OverlayFS и EROFS, вместо сопровождения обособленной реализации. В ядре 6.5 для Composefs добавлена поддержка слоёв "data-only" (https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/commit/?id=37ebf056d6cf), используемых только для данных (отдельно от метаданных). В следующей версии ядра планируется добавить в OverlayFS поддержку сохранения хэшей fs-verity в расширенном атрибуте (xattr) overlay.metacopy, что завершит интеграцию в ядро всех возможностей, необходимых проекту Composefs.
Релиз ядра Linux 6.5 (https://www.opennet.ru/opennews/art.shtml?num=59670)


Все еще не заброшен. )
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: krasnyh от 28 Август 2023, 16:15:44
Еще что придумали, не в тему, но все же:

Добавлена возможность монтирования другой ФС слоем ниже в существующую точку монтирования, что может применяться для организации бесшовного обновления совместно используемого раздела /usr в контейнерах, без оставления временного окна, в котором раздел находится в отмонтированном состоянии.
Например, к точке монтирования /mnt (mount -t ext4 /dev/sda /mnt) можно примонтировать другой раздел (mount --beneath -t xfs /dev/sdb /mnt), который не будет использоваться пока старый раздел остаётся примонтирован. Если затем выполнить команду отмонтирования (umount /mnt), то старый раздел будет отмонтирован, а новый сразу займёт его место без задержки между отмонтированием старого и примонтированием нового раздела.
Название: Re: OverlayFS - современный аналог AUFS
Отправлено: krasnyh от 08 Январь 2024, 18:36:41
В OverlayFS предложены (https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/commit/?id=24e16e385f2272b1a9df51337a5c32d28a29c7ad) опции монтирования "lowerdir+" и "datadir+". Добавлена (https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/commit/?id=bb7055a7349904623fe489b4461e12803da18ce6) поддержка вложенного монтирования OverlayFS с xattrs.
 Релиз ядра Linux 6.7 (https://www.opennet.ru/opennews/art.shtml?num=60398)

-----------------------------------------------------------------------------------------

Вот стоило какой-то шишке* в мире ПО, заинтересоваться чем-то косвенно связанным с overlayfs, как разработка 'поперла'. Что ни новость о выпуске ядра, обязательно фигурирует и overlayfs.

*Александр Ларсон, сотрудник Red Hat, разработавший Flatpack, предложил реализацию файловой системы Composefs.