Примеры использования wget.

О закачке и докачке файлов и сайтов целиком...

Свободно-распространяемых средств загрузки отдельных файлов или целых сайтов, конечно, множество.

Можно пользоваться графическими, такими как популярный, и не только у нас Downloader for X Максима Кошелева.

Но лично мне, да и многим другим пользователям импонирует, ставшая классической утилита wget.

Пользоваться ей очень просто:

wget http://3d.domain.com/file.txt

В текущую директорию загружается файл file.txt. А если, по каким-либо причинам загрузка была остановлена, то можно начать качать с места на котором связь оборвалась (при этом, догрузка должна поддерживаться сервером с той стороны):

wget -c http://3d.domain.com/file.txt

Но это всё элементарно. Давайте посмотрим, что можно сделать действительно интересного с wget.

Допустим, у нас есть длинный файл longfile, где перечислены ссылки и, кроме того, мы хотим сохранить результат в директории mydir. Нет ничего проще:

wget -P mydir -i longfile

Чтобы получить точную копию сайта, используем такую комбинацию:

wget -r -t1 http://www.softerra.ru/ 

Здесь дополнительная опция -t1 указывает, что будет произведена однократная попытка чтения каждого документа.

Иногда хочется, что бы загружались и все сайты ссылки, на которые встречаются в загружаемом документе:

wget -H 

На этом мы не останавливаемся и хотим загрузить, так чтобы не грузились картинки .jpg:

wget -R.jpg

А если наоборот, хотим только картинок, пишем:

wget -A.jpg

Wget качает очень активно, забирая себе всю ёмкость канала. Что-бы уменьшить его аппетиты, можно запустить, например с такой опцией:

wget --limit-rate=10K

Конечно, wget можно и очень удобно использовать в скриптах, в том числе периодических, таких как cron. Приятного использования. Читайте man wget.