PHP-Spider Features :

• supports two traversal algorithms: breadth-first and depth-first
• supports crawl depth limiting, queue size limiting and max downloads limiting
• supports adding custom URI discovery logic, based on XPath, CSS selectors, or plain old PHP
• comes with a useful set of URI filters, such as Domain limiting
• supports custom URI filters, both prefetch (URI) and postfetch (Resource content)
• supports custom request handling logic
• comes with a useful set of persistence handlers (memory, file. Redis soon to follow)
• supports custom persistence handlers
• collects statistics about the crawl for reporting
• dispatches useful events, allowing developers to add even more custom behavior
• supports a politeness policy
• will soon come with many default discoverers: RSS, Atom, RDF, etc.
• will soon support multiple queueing mechanisms (file, memcache, redis)
• will eventually support distributed spidering with a central queue

Voici une commande utile :

wget -r -k -E -np <a href="http://tar.get/wanted/directory/">http://tar.get/wanted/directory/</a>

Donc la cible est http://tar.get/wanted/directory/. Les options :

-r pour parcourir tous les liens du sites.
-k conversion des liens en liens locaux.
-E conversion php vers HTML, pour relire aisément avec Firefox.
-np pour ne pas remonter dans l’arborescence du site

D’autre options utiles :

-lX, où X est un entier, pour ne parcourir que X niveaux de l’arborescence du site.
-c pour continuer un téléchargement interrompu.
–load-cookies  si nécessaire.

Les options pour ne pas pourir le serveur :

–limit-rate X, pour limiter la Bande Passante à X B/s
-w X pour attendre X secondes entre chaque téléchargement de fichiers.
-T X au bout de X secondes wget abandonne le téléchargement d’un fichier.