Polecenia Wget: przykłady. Konsola do pobierania plików z sieci Wget

Wydaje się, że w świecie, w którym połowa populacji planety aktywnie korzysta z komputerów i jest przyzwyczajona do stylowych interfejsów graficznych i bogatych możliwości tego, nie ma miejsca dla aplikacji tekstowych. Około 20 lat temu interfejs komputera był przerażającym czarnym panelem, który nie wyświetlał niczego poza zbiorem białych znaków, a wszystkie elementy sterujące były wykonywane kosztem poleceń tekstowych. Zaskakujące, ale jak brzydkie są te programy, są tak samo funkcjonalne i niezawodne.

Co to jest Wget?

Wget (zwany także GNU Wget Linux) jest konsolową, nieinteraktywną aplikacją do pracy z plikami i stronami internetowymi. Zasadniczo jest to program do pobierania plików z Internetu, który różni się od braku interfejsu graficznego i wielu funkcji zarządzania, nietypowych dla bardziej nowoczesnych rozwiązań.


Program został opracowany przez chorwackiego inżyniera Hrvozha Niksica, a teraz jego rozwój jest wspierany przez Giuseppe Skrivano i społeczność Linuksa. Pierwszy zbiór narzędzi (dalej nazywany GetURL) został wprowadzony w styczniu 1996 roku. Program został napisany w języku programowania CI i został wydany na licencji GNU. Początkowo narzędzie zostało wydane na platformie Linux. Z biegiem czasu narzędzie zostało przetłumaczone na wiele języków i przeniesione na wszystkie popularne platformy, w tym Wget na Windows 7 (i nowsze), Wget na MacOS i tak dalej.
Ten program nie jest interaktywny, dlatego też żaden proces uruchomiony w ramach jego możliwości nie może być objętykontrolować, można nimi zarządzać, przechodząc na kontrolki samego systemu operacyjnego.


Mimo że współczesne przeglądarki zwykle mają wbudowany menedżer pobierania, to jednak są one przeznaczone do interaktywnej interakcji, więc ręczna praca staje się trudna. W przeciwieństwie do tego, Wget pozwala na zautomatyzowanie szeregu procesów. Na przykład możliwe jest wstępne przygotowanie dokumentu tekstowego z listą stron internetowych, które pozwalają na pobranie kilku plików i stron jednocześnie.

Główne funkcje programu

Jednak na pierwszym miejscu jest program do pobierania plików, co implikuje oczywistość jego głównej funkcji. Wget może pobierać dowolne materiały z Internetu, niezależnie od tego, czy są to dokumenty, pliki wykonywalne, czy całe strony internetowe w formacie HTML (zgodnie z różnymi protokołami). Pliki można pobierać z katalogów za pomocą protokołu FTP.
Klient może automatycznie pobierać rekursywne pliki, przechodząc przez linki w obrębie określonej strony internetowej (lub kilku stron internetowych), przywracając pierwotną strukturę strony internetowej. Możliwe jest przeglądanie pobranych stron bez dostępu do sieci (domyślnie ładuje się jako adresy do przeglądania w Internecie). Początkowo Wget przystosował się do wolnych i niestabilnych typów połączeń, więc jego ważną cechą jest możliwość przywracania nieudanego pobierania plików (jest to możliwe, jeśli serwer obsługuje nagłówki RANGE). Wget może również monitorować stan serwerów (ich dostępność) w celu przeładowania i aktualizacji (Wgetsprawdza nagłówki plików i obsługuje najnowszą wersję) plików i stron internetowych.
Program ma również wiele cech wspólnych dla tak zwanych narzędzi pająka, które badają różne witryny i serwery pod kątem obecności pewnych plików na nich.

Obsługiwane platformy

Wget Linux stał się podstawą tego produktu. Jak wspomniano powyżej, narzędzie najpierw działało tylko na Linuksie, ale szybko zyskało popularność i zostało dostosowane do innych systemów. Na przykład można znaleźć wersję Wget dla systemu Windows 7 i nowszego systemu operacyjnego, a także rysunek z interfejsem graficznym. Jeśli chodzi o system Linux, program często jest wszyty w dystrybucję. Terminale w niektórych kompilacjach Linuksa najpierw obsługują polecenia Wget. Ubuntu, Fedora, openSUSE i inne dystrybucje konsumenckie działają z programem o nazwie box-office. Następnie rzućmy okiem na program bardziej szczegółowo.

Polecenia Wget: lista podstawowych parametrów

Podstawowa lista poleceń zawiera:
  • -V - pozwala na sprawdzenie, która wersja aplikacji jest aktualnie używana;
  • -h - pokazuje najbardziej kompletną listę poleceń do pracy z aplikacją;
  • -b - pozwala przetłumaczyć program na tryb tła;
  • Lista ustawień wiadomości

    Polecenia Wget pozwalają w pełni kontrolować wyświetlane informacje. Oto ich lista:
  • -o logfile - tworzy plik dziennika, w którym zapisywany jest cały proces programu;
  • -a logfile - pozwala dodać istniejący plik dziennika zamiast tworzyć nowy;
  • -d - wyświetla niezbędne informacje dla programistów i debuggera (pomaga rozwiązaćproblemy i poprawianie błędów w pracy klienta);
  • -q - wyłącza wyświetlanie komunikatu;
  • -v - ta opcja jest domyślnie włączona, zapewnia szczegółowy raport wszystkich procesów zachodzących w programie (w czasie rzeczywistym);
  • -nv - znacznie zmniejsza ilość informacji otrzymywanych przez użytkownika w wiadomościach. Pozostają tylko najbardziej niezbędne dane i komunikaty o błędach;
  • -i plik (ze ścieżką do pliku) - Polecenie pozwala skanować plik, wybierając z niego link i wykonując pobieranie; możesz używać plików o różnych formatach, w tym HTML, ale jeśli użyjesz tego polecenia, nie powinieneś podawać ścieżki do pliku w linii poleceń;
  • -f - prowokuje program do odczytywania pliku HTML; Podczas używania tego polecenia do pracy z lokalnym dokumentem HTML może wystąpić błąd, aby go uniknąć, wystarczy określić w dokumencie.
  • Lista opcji rozruchu

    Podstawowe polecenia do pobierania plików z pomocy Wget. Oto ich zestaw podstawowy:
  • --bind-address = ADDRESS - Ta komenda umożliwia przeniesienie danych wiązania do ADRESU lokalnego komputera. Podczas korzystania z połączenia TCP /IP wymagane jest podanie adresu IP (jeśli jest ich kilka).
  • -t liczba (określić liczbę) - pozwala użytkownikowi wybrać liczbę powtórzeń pobierania. Aby uniknąć powtarzania, musisz podać wartość zero.
  • -nc - Ta komenda pozwala ci przywrócić poprzedni stan pobranego pliku w przypadku awarii sieci i pobieranie zostało przerwane. Jeśli nieużyj jednego z poleceń do przeładowania (-N, -nc, -r), następnie Wget utworzy jego kopię i zacznie pobierać ponownie. Opcja -r umożliwia zamianę istniejących plików.
  • -as - pomaga również przeładować plik w przypadku utraty połączenia (i gdy Wget wstrzymał niezależne próby przywrócenia połączenia). Wystarczająco, aby określić to polecenie przed połączeniem z plikiem. Jeśli katalog ma podobny plik, Wget go zidentyfikuje i automatycznie zdecyduje się go przeładować. Polecenie może być używane tylko na serwerach z obsługą nagłówka RANGE.
  • --progress - pozwala wybrać rodzaj wyświetlania postępu pobierania. Możesz podać -progress = bar lub progress = dot.
  • --spider - zastępuje polecenie, aby załadować plik, aby zweryfikować jego dostępność na serwerze;
  • -w (w sekundach) - Określa czas przerwy między pobieraniem.
  • -q (wskazane jako kilobajty lub megabajty) - pozwala wyraźnie dostosować rozmiar pobieranych danych i ograniczyć nadmierne wolumeny. Warto jednak zauważyć, że jeden plik zostanie pobrany niezależnie od przydziałów (czyli z jednym plikiem ta opcja nie zadziała, co nie byłoby trudne).
  • Lista parametrów HTTP

  • --http-user = i-http-passwd = - pozwala określić login i hasło do autoryzacji w zasobach internetowych, z których pliki zostaną pobrane.
  • -C = wł. /Wył. - pozwala włączyć lub wyłączyć buforowane dane po stronie serwera.
  • - ciasteczka = wł. /Wył. - tak samo jak w przypadku pamięci podręcznej, tylko w przypadku plików cookie. Umożliwia wstrzymanie lub wznowienie wymiany plików cookieserwer do odwiedzin statystyk. Domyślnie opcja jest włączona, ale pliki cookie nie są przechowywane na dysku twardym.
  • ​​
  • --save-cookies - pozwala zapisywać ciasteczka (tylko świeże dane).
  • --proxy-user i -proxy-passwd - pozwala określić login i hasło do autoryzacji na serwerze proxy (jeśli dotyczy).
  • Lista parametrów FTP

    Zaawansowane opcje pracy z Wget. Polecenia FTP:
  • -nr - blokuje pliki tymczasowe z katalogu .listing, które są spontanicznie generowane podczas pracy z FTP;
  • -g wł. /Wył. - umożliwia użycie specjalnych znaków narzędziowych w katalogach FTP;
  • --passive-ftp - Ta komenda może być używana w obecności zapory sieciowej, aby aktywować pasywny tryb FTP (gdy użytkownik jest odpowiedzialny za nawiązanie połączenia z serwerem).
  • Polecenia Wget: przykłady użycia

    Najprostszym i banalnym przykładem pracy z programem są oczywiście pliki do pobrania. Aby przetestować polecenia Wget, możesz zacząć od prostego, znaleźć link do pliku w sieci i wprowadzić link do konsoli /terminal: Wget *, wskazując dokładną i kompletną ścieżkę do pliku *. Aby kontynuować pobieranie pliku, użyj linku: Wget -c * wskazującego dokładną i kompletną ścieżkę do pliku *.
    Jeśli istnieje zaplanowana lista łączy do plików i dokumentów, możesz użyć polecenia Wget -i filelist.txt. Jeśli chodzi o pobieranie stron internetowych, jest to nieco bardziej skomplikowane, ale liczba możliwości jest znacznie większa. Aby nie wprowadzać parametrów za każdym razem, gdy się pojawiątrzeba pobrać stronę internetową, można tworzyć skrypty lub przepisać wszystkie ustawienia do pliku .wgetrc. Aby zapisać stronę jako łącze (trudno będzie otworzyć ją na komputerze lokalnym), możesz użyć polecenia Wget -m *, aby odnieść się do dokładnej i kompletnej ścieżki do pliku *. Możesz użyć polecenia Wget -r-10 -k *, aby wskazać dokładną i kompletną ścieżkę do pliku *, aby ta sama strona była widoczna bez połączenia z Internetem. Błąd w komendzie formatu Wget nie został znaleziony, może oznaczać dowolny błąd i nieprawidłowy parametr określony.

    Powiązane publikacje