Скачивание сайта целиком. Рецепты WGET

Это пост-шпаргалка с рецептами по WGET. Кстати, рекомендую эту утилиту и для Windows, абсолютно бесплатно эта утилита умеет многое. Очень многое можно делать, запуская WGET по расписанию.

Скачивание сайта целиком

wget -e robots=off -r -k -l 5 -p -E -nc http://адрес_сайта.com/

Скачивание списка ссылок из файла

wget -i links.txt

Докачка если соединение оборвалось

wget -c http://адрес_сайта.com/file.tar.gz

Скачать файл только если версия на сервере новей той, что есть сейчас

wget ‐‐continue ‐‐timestamping http://адрес_сайта.com/file.tar.gz

Подстановка юзерагент

wget ‐‐refer=http://google.com ‐‐user-agent=”Mozilla/5.0″ http://адрес_сайта.com

Скачивание всех картинок в общую папку

wget ‐‐directory-prefix=files/pictures ‐‐no-directories ‐‐recursive ‐‐no-clobber ‐‐accept jpg,gif,png,jpeg http://адрес_сайта.com/images/

Скачивание файлов из защищенной паролем папки

wget ‐‐http-user=login ‐‐http-password=qwerty http://адрес_сайта.com/file.zip

Скачивание с участием кукис. Бывает полезно, если сайт не хочет скачиваться

wget ‐‐cookies=on ‐‐load-cookies cookies.txt ‐‐keep-session-cookies http://адрес_сайта.com

Отображение документа в консоли без сохранения на диск

wget ‐‐output-document - ‐‐quiet http://адрес_сайта.com

Если надо просто дернуть ссылку с сервера, без сохранения на диск

wget ‐‐output-file=logfile.txt ‐‐recursive ‐‐spider http://адрес_сайта.com

Ограничение скорости, чтобы скачивание было менее заметным

wget ‐‐limit-rate=20k ‐‐wait=60 ‐‐random-wait ‐‐mirror http://адрес_сайта.com/

Дополнительные опции можно прочитать с помощью команды

wget --help

Ссылки:
Скачать wget для Windows можно тут — http://gnuwin32.sourceforge.net/packages/wget.htm