У нас длительное время занимает по большей части определение оборудования, в частности автоматический выбор проприетарных драйверов, ну остальное - это просто большое количество сервисов, которые по умолчанию запускаются - рейды, сетевые и прочее.
Тут середину сложно найти - как лучше. Если все отключить - то тогда надо включать, если все включить - то будет долго. Самое оптимальное, на мой вгляд - это определение самого значимого - видео, сеть и т.д., остальное - опционально.
А вы похоже, что даже ldconfig не применяете, когда модули подключаете? Это критичное место. Если так, то тут у вас ошибка будет почти наверняка при построении идеи - максимальной модульности.