Wget je nástroj pre príkazový riadok, ktorý možno použiť na prevzatie takmer čokoľvek dostupného na internete. Úlovok je, že by mal byť dostupný cez protokoly HTTP, HTTPS alebo FTP; inak Wget nebude môcť stiahnuť. Existuje niekoľko spôsobov, ako môžete Wget použiť, napríklad môžete použiť Wget na prevzatie každého obrázka na webe alebo si môžete stiahnuť aj jeden súbor. Wget je dokonca schopný obnoviť sťahovanie, ak je to možné. Takže, ak sa zaujímate o to, ako Wget funguje a čo môže urobiť pre vás, tu je spôsob, ako používať Wget :
Inštalácia Wget
1. Inštalácia Wget na MacOS Sierra
Skôr než začneme používať Wget, budeme ho musieť nainštalovať do nášho systému. Teraz našťastie väčšina linuxových distribúcií prichádza so zariadením Wget predinštalovaným, takže nebudete musieť robiť žiadnu dodatočnú prácu. Ak ste však na počítači Mac, budete musieť nainštalovať Wget. Môžete to urobiť jednoducho pomocou aplikácie Homebrew (sťahovanie). Ak potrebujete nejakú pomoc, postupujte podľa nasledujúcich krokov:
- Po prvé, budete musieť na svojom Mac nainštalovať Homebrew, aby ste mohli stiahnuť Wget. Za týmto účelom stačí spustiť terminál a zadajte nasledujúci príkaz:
/ usr / bin / ruby -e "$ (curl -fsSL //raw.githubusercontent.com/Homebrew/install/master/install)"
- Po dokončení príkazu bude systém Homebrew nainštalovaný . Teraz môžete použiť Homebrew na inštaláciu balíkov, ako napríklad Wget. V termináli stačí spustiť nasledujúci príkaz:
inštalovať wget
- Homebrew automaticky začne sťahovať, rozbaliť a inštalovať Wget na vašom systéme. Tento krok môže chvíľu trvať, v závislosti od rýchlosti siete, takže buďte trpezliví. Po dokončení príkazu by ste mali mať možnosť používať Wget na počítači Mac. Ak chcete skontrolovať, či bol nainštalovaný, stačí použiť príkaz:
wget -V
2. Inštalácia Wget v systéme Windows
Inštalácia Wgeta na Windows trvá trochu viac úsilia, ale dá sa ľahko urobiť. Ak chcete na svojom počítači so systémom Windows nainštalovať program Wget, postupujte podľa nasledujúcich krokov:
- Najprv stiahnite program Cygwin a spustite stiahnutý inštalačný súbor .
- Keď požiada o predvolený zdroj na prevzatie, zvoľte možnosť " Inštalovať z internetu " a kliknite na tlačidlo "Ďalej".
- Vyberte si inštalačný adresár pre Cygwin, ako aj adresár, kde sa ukladajú balíky pre inštaláciu nástrojov.
- Na ďalšej obrazovke musíte vybrať svoje internetové pripojenie. Ak používate server Proxy, zvoľte typ proxy servera a vyplňte podrobnosti. Pre väčšinu používateľov by však bola voľba " Priame pripojenie ".
- Zobrazí sa vám zoznam zrkadiel a vyberte niektorý z nich na stiahnutie Cygwin. Ak sťahovanie zlyhá, môžete skúsiť znova s iným zrkadlom.
- V ďalšom okne vyhľadajte "wget" a kliknite na tlačidlo plus vedľa "web" v zozname, ktoré sa objaví. Tu sa automaticky začiarkne políčko vedľa položky " wget ". Stačí kliknúť na tlačidlo "Ďalej".
- Na ďalšej obrazovke sa zobrazí balíky, ktoré je potrebné stiahnuť. Stačí kliknúť na tlačidlo "Ďalej".
- Po dokončení inštalácie sa zobrazí otázka, či chcete vytvoriť ikonu pracovnej plochy a / alebo pridať položku do ponuky Štart . Je to úplne záležitosť osobných preferencií, ale navrhol by som, aby ste si ho aspoň pridali do štartovacieho menu, takže ho môžete ľahko nájsť.
To je všetko. Wget je teraz nainštalovaný na počítači so systémom Windows. Nebudete ho však môcť spustiť z príkazového riadka. Namiesto toho budete musieť spustiť terminál Cygwin a použiť Wget odtiaľ .
Ako používať Wget
Teraz, keď máme Wget v našom systéme, skúmme všetky skvelé spôsoby, ako môžeme použiť Wget na stiahnutie súborov, priečinkov a dokonca aj celých webových stránok z internetu. Tu je niekoľko zaujímavých vecí, ktoré môžete robiť s Wgetom vo vašom systéme.
Poznámka : Používam Wget na počítači MacBook Air s operačným systémom MacOS Sierra 10.12.3 beta. Vzhľadom na to, že nástroj, ktorý používame, je rovnaký (Wget), príkazy budú rovnaké v ľubovoľnom operačnom systéme, ktorý používate Wget on.
1. Použite Wget na stiahnutie súborov
Môžete použiť Wget na ľahké sťahovanie súborov z internetu. Stačí použiť nasledujúci príkaz
wget
- Stiahnite súbor a uložte ho so špecifickým názvom súboru
Súbory na serveroch majú niekedy najšťastnejšie mená a možno budete chcieť stiahnuť súbor a Wget ho automaticky premenuje na niečo, čo vám dáva väčší zmysel. Ak to chcete urobiť, stačí použiť nasledujúci príkaz
wget -o
- Stiahnuť len špecifické typy súborov
Webový server môže hostiť viacero súborov. Takže čo, ak chcete stiahnuť iba všetky súbory PDF na serveri, alebo možno všetky súbory GIF? Stačí použiť nasledujúci príkaz:
wget -r -A pdf
Tento konkrétny príkaz použil Mark Zuckerberg vo svojej izbe v Harvarde, stiahol si všetky obrázky len s jedným príkazom a postavil neslávne známu stránku "facesmash.com".
wget -r -A jpg, jpeg, png, bmp
2. Stiahnite súbory z viacerých adries URL pomocou Wget
Povedzte, že musíte stiahnuť súbory z rôznych miest na internete. Na stránke url1 môže byť súbor PDF, dôležitý súbor ZIP na adrese url2 a niečo iné v adrese url3 . Ak ste Wget používali tradičným spôsobom, musíte ho spustiť trikrát. Existuje však oveľa jednoduchší spôsob, ako to urobiť.
- Najprv vytvorte súbor so všetkými adresami URL, z ktorých potrebujete načítať údaje. Uistite sa, že každá adresa URL je vo vlastnom riadku . Uložte súbor a uistite sa, že si pamätáte meno.
- V termináli použite nasledovný príkaz na stiahnutie súborov zo všetkých adries URL:
wget -i
kde " file_name " je názov súboru, ktorý ste vytvorili so všetkými adresami URL, ktoré ste potrebovali na stiahnutie.
3. Stiahnite si celú webovú stránku s Wgetom
Áno, čítate toto právo. Wget môžete použiť aj na stiahnutie obsahu celej webovej stránky. Je zrejmé, že ak je webová stránka príliš veľká, tento príkaz bude trvať veľa času na dokončenie, nehovoriac o tom, že vezme veľa priestoru na vašom systéme. To znamená, že ak chcete použiť Wget na stiahnutie celej webovej stránky, stačí použiť nasledujúci príkaz:
wget -mirror -p -P ./LOCAL-DIR WEBSITE-URL
Tým sa celá webová stránka prevezme do priečinka " LOCAL-DIR " vo vašom pracovnom adresári. Súbory webových stránok budú uložené v priečinku s rovnakým názvom ako webová stránka, a to vďaka webovej adrese " WEBSITE-URL ".
4. Použite Wget ako webový pavúk
Wget môžete tiež robiť ako webový prehľadávač (alebo webový pavúk). Toto je užitočné, ak chcete potvrdiť, že URL pre súbor, ktorý chcete stiahnuť, je platný . Ak chcete použiť Wget ako webový pavúk a skontrolujte platnosť adries URL, stačí použiť nasledujúci príkaz:
wget --spider
Týmto sa skontroluje, či adresa URL, ktorú ste uviedli, existuje a dostanete odpoveď, ktorá vám oznámi výsledky kontroly.
- Pozitívna odpoveď:
- Negatívna odpoveď:
5. Pokračujte v neúplných preberaniach
To je ďalšia skutočne skvelá vec, ktorú môže Wget robiť. Povedzte, že ste s Wgetom stiahli súbor, ale z nejakého dôvodu ste museli zavrieť notebook. Pri ďalšom pokuse o stiahnutie rovnakého súboru môže Wget skutočne pokračovať vo sťahovaní . Stačí sa ubezpečiť, že ste v tej istej zložke, kde ste naposledy stiahli súbor a potom použite nasledovný príkaz:
wget -c
Keď Wget vidí, že časť súboru je už vo vašom systéme, bude automaticky pokračovať v preberaní.
Poznámka : Ak bol súbor na serveri zmenený od posledného pokusu o jeho načítanie, nemali by ste tento príkaz používať, pretože to bude mať za následok poškodený súbor, ktorý nebudete môcť čítať.
Tiež, ak server neumožňuje pokračovať v sťahovaní, Wget odmietne spustiť sťahovanie od začiatku. Ak chcete spustiť sťahovanie od začiatku, musíte najprv odstrániť čiastočne prevzatý súbor z vášho systému .
Existuje niekoľko ďalších podmienok na použitie tohto argumentu a môžete si ho prečítať na stránke mana Wget.
6. Obmedzte rýchlosť sťahovania
Ak používate službu Wget na sťahovanie súborov a prehliadanie internetu pozdĺž nej, pravdepodobne nebudete chcieť, aby vaša šírka pásma bola vyčerpaná spoločnosťou Wget. Wget našťastie obsahuje argument, ktorý môžete použiť na obmedzenie množstva šírky pásma, ktoré Wget môže použiť na sťahovanie súborov do vášho systému:
wget - limit-rate =
Poznámka : Pamätajte na to, že rýchlosť je uvedená v bajtoch a nie v bitoch. Takže ak používate Wget-limit-rate = 20k, obmedzí to využitie šírky pásma na 20 kB a nie 20 kb.
7. Použite Wget na stiahnutie súborov z FTP serverov
Ak potrebujete prevziať súbor z FTP servera, môžete to urobiť aj s Wgetom. Jednoducho použite nasledovný príkaz na stiahnutie súborov z FTP serverov:
wget
- Stiahnuť súbory z FTP serverov s prihlásením
Ak váš FTP server vyžaduje prihlásenie, ktoré umožňuje sťahovanie súborov, môžete jednoducho odovzdať poverenia aj s Wget. Stačí použiť nasledujúci príkaz:
wget -ftp-username = USERNAME - ftp-heslo = HESLO
Ľahko používajte Wget na stiahnutie súborov z Internetu
Wget môžete použiť na sťahovanie súborov z ľubovoľného miesta na internete. Avšak, zatiaľ čo Wget takmer vždy funguje, existujú určité servery, ktoré bránia prístupu k Wgetu, v takom prípade môžete skúsiť zmeniť -user-agent pre váš príkaz Wget. To však nie je odporúčaný postup, ak si úplne neviete, čo robíte. Väčšinou vám Wget umožní stiahnuť súbor z internetu, ak máte k nemu prístup, a jeho adresu URL.
Takže, už ste niekedy používali Wget na sťahovanie súborov z internetu? Dajte nám vedieť o vašich skúsenostiach s používaním Wget na stiahnutie súborov cez HTTP, HTTPS a FTP protokoly. Ak viete aj o iných použitiach Wgetu, o ktorých si myslíte, že si zaslúžia byť na tomto zozname, oznámte to o nich v sekcii komentárov nižšie.
