Програма wget. Приклади wget команди в bash.

Консольна команда wget призначена для скачування файлів і контенту з веб-серверів. Утиліта працює по протоколах FTP, SFTP, HTTP і HTTPS.

Для установки wget на debian/ubuntu використовуйте команду:

apt-get install wget

Після установки, утиліта готова для роботи.

Для початку наведемо приклад простих команд.

Завантажити файл з сайту:

wges https://site.com/file.zip

Файл буде завантажений в папку, де знаходяться користувач під час виконання команди.

Так само, можна скласти список посилань на файли. Наприклад, файл list_file.txt має вміст:

https://example.com/test.zip
https://site.com/catalog/image.png
http://example.com/file-test.tar

виконуємо команду, щоб завантажити всі ці файли:

wget -i list_file.txt

Після завершення процесу всі файли, зазначені в list_file.txt будуть завантажені.

При скачуванні можна перейменувати файл:

wges -0 my_download_file.zip https://site.com/file.zip

Файл завантажиться з назвою my_download_file.zip

Можна вказати каталог, куди завантажувати файл:

wget -P / opt / files / https://site.com/file.zip

В результаті файл буде завантажений в папку /opt/files/

Для обмеження швидкості завантаження виконуємо:

wget --limit-rate = 400k https://site.com/file.zip

Ліміт швидкості завантаження буде 400k

При нестабільному інтернет-з’єднанні завантаження може перериватися. Встановити кількість повторних спроб завантаження файлу можна через опцію -tries:

wget -tries = 100 https://site.com/file.zip

Якщо потрібно завантажити файл великого розміру, можна скористатися опцією -b, яка буде завантажувати файл у фоновому режимі:

wget -b https://site.com/file.zip

Для перегляду процеса завантаження перегляньте файл wget-log який був створений в робочому каталозі:

less wget-log

Щоб завантажити файл по FTP використовуємо команду, в якій потрібно вказати ім’я користувача (USERNAME) і пароль (PASSWORD):

wget --ftp-user = USERNAME --ftp-password = PASSWORD ftp://site.com/my_file.tar

Таким же чином можна підключиться і через http:

wget --http-user = USERNAME --http-password = PASSWORD https://site.com/my_file.tar

Можна скористатися опцією -c щоб продовжити процес завантаження, наприклад, після розриву інтернет з’єднання:

wget -c https://site.com/my_file.tar

Якщо не вказати параметр, то завантаження почнеться заново і в робочому каталозі буде створений такий же файл в імені якого додано .1.
Для опції -c так само є кілька параметрів. –start-pos – за допомогою цього параметра можна вказати wget звідки відновити завантаження:

wget -c --start-pos = 1500k http://example.com/file.zip

При використанні цієї команди завантаження файлу почнеться з 1500k.
Параметр –progress вказує wget тип ідентифікатора візуалізації процесу завантаження. Наприклад, якщо ми використовуємо команду без цього параметра – то процес завантаження візуалізується так:

File.zip 100% [+++++ ======================================= ================================================== =========>] 1006K 3,12MB / s in 0,3s

Якщо ж команда буде з параметром –progress:

wget -c --progress = dot https://example.com/file.zip

Візуалізація буде виглядати так:

0K .......... .......... .......... .......... ......... . 4% 733K 1s
 50K .......... .......... .......... .......... ......... . 9% 794K 1s
 100K .......... .......... .......... .......... ......... . 14% 11,6M 1s
 150K .......... .......... .......... .......... ......... . 19% 1,57M 1s
 200K .......... .......... .......... .......... ......... . 24% 11,4M 1s
 250K .......... .......... .......... .......... ......... . 29% 1,73M 0s
 300K .......... .......... .......... .......... ......... . 34% 11,4M 0s
 350K .......... .......... .......... .......... ......... . 39% 11,8M 0s
 400K .......... .......... .......... .......... ......... . 44% 1,94M 0s
 450K .......... .......... .......... .......... ......... . 49% 11,8M 0s
 500K .......... .......... .......... .......... ......... . 54% 11,7M 0s
 550K .......... .......... .......... .......... ......... . 59% 11,5M 0s
 600K .......... .......... .......... .......... ......... . 64% 2,66M 0s
 650K .......... .......... .......... .......... ......... . 69% 11,7M 0s
 700K .......... .......... .......... .......... ......... . 74% 11,7M 0s
 750K .......... .......... .......... .......... ......... . 79% 11,7M 0s
 800K .......... .......... .......... .......... ......... . 84% 8,63M 0s
 850K .......... .......... .......... .......... ......... . 89% 11,7M 0s
 900K .......... .......... .......... .......... ......... . 94% 4,50M 0s
 950K .......... .......... .......... .......... ......... . 99% 12,4M 0s
 1000K ..... 100% 309M = 0,3s

2018-05-15 7:03:23 (3,27 MB / s) - '1.txt' saved [1029668/1029668]

За допомогою команди wget можна скачати html-сторінки сайтів. Наприклад можна скачати сайт, що дозволить переглядати його локально, для цього використовуйте команду:

wget --mirror --convert-links --page-requisites -P ./websites/ https://website.com

За допомогою ключа –mirror сайт скачується рекурсивно, з усіма сторінками.
Ключ –convert-links преобразовует посилання в локальні.
Ключ –page-requisites вказує, що необхідно завантажити так само і додаткові файли як .css, .js і картинки.
Опція -P вказує зберігати всі завантажені файли в папку websites/.
Так само, якщо в рекурсивном режимі вказати ключ –https-only, то завантаження сайту буде тільки по посиланнях з https.

Після завершення процесу завантаження всі файли будуть доступні в каталозі websites.

Якщо на сервері зберігаються пронумеровані файли, наприклад файли з розширенням .ico назви яких від 1 до 60, їх все можна завантажити за допомогою команди:

wget http://example.com/images/{1..60}.ico

Залишити коментар

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *