А что если в файле в котором списки реп указывать не удаленную ftp и http паку, а сразу список?
То есть:
http://mirror.yandex.ru/puppyrus/pra1912/repolist.lst (или даже gz)
А в нем список с полными путями, котрые можно сразу скармливать wget, не от корня репы, а от протокола:
http://mirror.yandex.ru//pra1912/browser/firefox-1359-bla-bla.pfshttp://mirror.yandex.ru//pra1912/programmin/DEVX-bla-bla.pfsУбиваем сразу кучу зайцев. Во первых быстрее, во вторых ничего не нужно парсить ссылки же прямые. Втретьих проще использовать свои репы так как не требуется получения списка файлов в папке, а только получение конкретного файла. То есть достаточно любого ресурса, который отдает прямые ссылки. Если вместо wget использовать aria2 подойдет даже битторент с магнет-ссылкой
. Четвертое модули совершенно не обязаны лежать там же где список, более того они не обязаны вообще лежать на одном сервере и могут иметь даже разные протоколы (ftp,http). И пятое очень просто отследить из getpfs изменение репы.
Есть и минус, как без этого, нужно будет эти списки создавать всякий раз как вносится изменение в репу. Для основной яндекс репы можно и автоматизировать, для своих реп видимо руками.
Сюда не укладываются только локальные модули, надо подумать как впилить.