wget -rkpE <uri> est la commande pour crawler un site et recréer les liens localement.

wget --no-clobber --convert-links --random-wait -r -p -E -e robots=off -U mozilla http://site/path/

Mieux :

wget --recursive --no-clobber --page-requisites --html-extension --convert-links --restrict-file-names=windows -c --no-parent -w 2 --random-wait -e robots=off --header="Accept: text/html" --user-agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:21.0) Gecko/20100101 Firefox/21.0" --domains mon_site.com https://www.mon_site.com

Si une identification est nécessaire

Log in to the server. This only needs to be done once.

wget --save-cookies cookies.txt \
     --keep-session-cookies \
     --post-data 'user=foo&password=bar' \
     --delete-after \
     http://server.com/auth.php

Mieux utilier "Copy as cURL" in the Network tab of Developer Tools (reload the page after opening) et remplacer -H par --header et --data par --post-data.

Now grab the page or pages we care about.

wget --load-cookies cookies.txt \
     http://server.com/interesting/article.php

Pour les futures versions. Ovh compliant.