Программа wget. Примеры wget команды в bash.

Консольная команда wget предназначена для скачивания файлов и контента с веб-серверов. Утилита работает по протоколам FTP, SFTP, HTTP и HTTPS.

Для установки wget на debian/ubuntu используйте команду:

apt-get install wget

После установки, утилита готова для работы.
Для начала приведем пример простых команд.

Скачать файл с сайта:

wges https://site.com/file.zip

Файл будет загружен в папку, где находятся пользователь во время выполнения команды.

Так же, можно составить список ссылок на файлы. Например, файл list_file.txt имеет содержимое:

https://example.com/test.zip
https://site.com/catalog/image.png
http://example.com/file-test.tar

выполняем команду, чтобы скачать все эти файлы:

wget -i list_file.txt

После завершения процесса все файлы, указанные в list_file.txt будут загружены.

При скачивании можно переименовать файл:

wges -0 my_download_file.zip https://site.com/file.zip

Файл загрузится с названием my_download_file.zip

Можно указать каталог, куда загружать файл:

wget -P /opt/files/ https://site.com/file.zip

В итоге файл будет загружен в папку /opt/files/

Для ограничения скорости загрузки выполняем:

wget --limit-rate=400k https://site.com/file.zip

лимит скорости загрузки будет 400k

При нестабильном интернет-соединении загрузка может прерываться. Установить количество повторных попыток загрузки файла можно через опцию -tries:

wget -tries=100 https://site.com/file.zip

Если нужно скачать файл большого размера, можно воспользоваться опцией -b, которая будет загружать файл в фоновом режиме:

wget -b https://site.com/file.zip

Для просмотра процесса загрузки просмотрите файл wget-log который был создан в рабочем каталоге:

less wget-log

Чтобы скачать файл по FTP используем команду,в которой нужно указать имя пользователя (USERNAME) и пароль (PASSWORD):

wget --ftp-user=USERNAME --ftp-password=PASSWORD ftp://site.com/my_file.tar

Таким же образом можно подключится и через http:

wget --http-user=USERNAME --http-password=PASSWORD https://site.com/my_file.tar

Можно воспользоваться опцией -c чтобы продолжить процесс загрузки, например, после разрыва интернет соединения:

wget -c https://site.com/my_file.tar

Если не указать параметр, то загрузка начнется заново и в рабочем каталоге будет создан такой же файл в имени которого добавлено .1.
Для опции -c так же есть несколько параметров. —start-pos — с помощью этого параметра можно указать wget откуда возобновить загрузку:

wget -c --start-pos=1500k http://example.com/file.zip

При использовании этой команды загрузка файла начнется с 1500k.

Параметр —progress указывает wget тип идентификатора визуализации процесса загрузки. Например, если мы используем команду без этого параметра — то процесс загрузки визуализируется так:

File.zip 100%[+++++==================================================================================================>] 1006K 3,12MB/s in 0,3s

Если же команда будет с параметром —progress:

wget -c --progress=dot https://example.com/file.zip

Визуализация будет выглядеть так:

0K .......... .......... .......... .......... .......... 4% 733K 1s
 50K .......... .......... .......... .......... .......... 9% 794K 1s
 100K .......... .......... .......... .......... .......... 14% 11,6M 1s
 150K .......... .......... .......... .......... .......... 19% 1,57M 1s
 200K .......... .......... .......... .......... .......... 24% 11,4M 1s
 250K .......... .......... .......... .......... .......... 29% 1,73M 0s
 300K .......... .......... .......... .......... .......... 34% 11,4M 0s
 350K .......... .......... .......... .......... .......... 39% 11,8M 0s
 400K .......... .......... .......... .......... .......... 44% 1,94M 0s
 450K .......... .......... .......... .......... .......... 49% 11,8M 0s
 500K .......... .......... .......... .......... .......... 54% 11,7M 0s
 550K .......... .......... .......... .......... .......... 59% 11,5M 0s
 600K .......... .......... .......... .......... .......... 64% 2,66M 0s
 650K .......... .......... .......... .......... .......... 69% 11,7M 0s
 700K .......... .......... .......... .......... .......... 74% 11,7M 0s
 750K .......... .......... .......... .......... .......... 79% 11,7M 0s
 800K .......... .......... .......... .......... .......... 84% 8,63M 0s
 850K .......... .......... .......... .......... .......... 89% 11,7M 0s
 900K .......... .......... .......... .......... .......... 94% 4,50M 0s
 950K .......... .......... .......... .......... .......... 99% 12,4M 0s
 1000K ..... 100% 309M=0,3s

2018-05-15 07:03:23 (3,27 MB/s) - ‘file.zip’ saved [1029668/1029668]

С помощью команды wget можно скачать html-страницы сайтов. К примеру можно скачать сайт, что позволит просматривать его локально, для этого используйте команду:

wget --mirror --convert-links --page-requisites -P ./websites/ https://website.com

С помощью ключа —mirror сайт скачивается рекурсивно, со всеми страницами.
Ключ —convert-links преобразовывает ссылки в локальные.
Ключ —page-requisites указывает, что необходимо скачать так же и дополнительные файлы как .css, .js и картинки.
Опция -P указывает сохранять все загруженные файлы в папку websites/ .
Так же, если в рекурсивном режиме указать ключ —https-only, то загрузка сайта будет только по ссылкам с https.

После завершения процесса загрузки все файлы будут доступны в каталоге websites.

Если на сервере хранятся пронумерованные файлы, например файлы с расширением.ico названия которых от 1 до 60, их все можно скачать с помощью команды:

wget http://example.com/images/{1..60}.ico

Оставить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *