но это не помогло - программа вылетает при попытке смонтировать видео (в терминале пишет "Убито")
Как вариант, смонтировать коротенькое видео, которому не требуется много памяти. Поможет локализовать проблему, в нехватке памяти ли дело, если все равно будет убито.
Другой вариант, добавить больше виртуальной памяти, включив zram=300% для видео, где всегда вылетает. Возможно и правда openshot требует много ram.
upd. В принципе, htop позволяет в режиме реального времени отслеживать расход памяти. Выставить для окна режим "всегда наверху".