Rakenna latausaikataulu, jossa on vähän ohjelmointitaitoa

Me kaikki rakastamme ladata tavaraa internetistä, ja siellä on paljon upeita lataushallintatyökaluja, joita voimme käyttää latausten ajoitukseen. On ehkä helpompi käyttää lataushallintaa, mutta ei ole haittaa tutkittaessa työkaluja, jotka jo sisältyvät Ubuntuun, ja hyödynnä sitä kokonaan.

Tässä artikkelissa esitellään Ubuntuissa sisäänrakennettu ohjelmisto, jonka avulla voimme ladata tavaroita internetistä wget. Sen lisäksi näytämme, miten lataaminen ajoitetaan Cronin avulla.

Lataa Wgetin avulla

Wget on ilmainen ohjelmistopaketti tiedostojen hakemiseksi HTTP: n, HTTPS: n ja FTP: n avulla. Se on ei-interaktiivinen komentorivityökalu, joten se voidaan helposti kutsua skripteistä, cron-töistä, päätelaitteista, joissa ei ole X-Windows-tukea, jne..

Avaa terminaali ja tutkitaan, miten voimme käyttää wgetiä lataamaan tavaraa verkosta. Wgetin lataamisen perustavanlaatuinen syntaksi on seuraava:

wget [vaihtoehto]… [URL]…

Tämä komento lataa wget-ohjekirjan paikalliseen asemaan

wget http://www.gnu.org/software/wget/manual/wget.pdf

Linux Cron

Ubuntu on varustettu cron-daemonilla, jota käytetään ajoitustoimintoihin, jotka suoritetaan tietyllä hetkellä. Crontabin avulla voit määrittää toimintoja ja aikoja, jotka ne on suoritettava. Näin ajoit tehtävän tavallisesti komentorivityökalulla.

Avaa pääteikkuna ja kirjoita crontab -e.

Jokainen krontabin osa on erotettu välilyönnillä, jossa viimeisessä osassa on yksi tai useampi välilyönti. Cron-merkintä koostuu minuutista (0-59), tunnista (0-23, 0 = keskiyöllä), päivästä (1-31), kuukaudesta (1-12), viikonpäivästä (0-6, 0 = sunnuntai), komentosta. Kolmas merkintä yllä olevissa crontab-latauksissa wget.pdf osoitteessa 2 am. Ensimmäinen merkintä (0) ja toinen merkintä (2) tarkoittaa 2:00. Kolmas - viides merkintä (*) tarkoittaa mitä tahansa päivän, kuukauden tai viikon aikaa. Viimeinen merkintä on wget-komento, jonka avulla voit ladata wget.pdf: n määritetystä URL-osoitteesta.

Tämä on perusohjelma ja miten Cron toimii. Otetaan ryöstely todellisessa elämässä esimerkiksi lataamisen aikataulusta.

Ajastuslataus

Aiomme ladata Firefox 3.6: n klo 2. Koska Internet-palveluntarjoajamme antaa vain rajoitetun määrän tietoja, meidän on lopetettava lataus klo 8.00. Näin kokoonpano näyttää.

Ohita edellä mainitun crontabin kaksi ensimmäistä merkintää. Kolmas ja neljäs komento ovat vain 2 komentoa, joita tarvitset. Kolmas komento määrittää tehtävän, joka lataa Firefoxin klo 2.

[koodi]
0 2 * * * wget -c http://download.mozilla.org/?product=firefox-3.6.6&os=win&lang=en-GB
[/koodi]

-C-vaihtoehdot merkitsevät, että wgetin pitäisi jatkaa olemassa olevaa latausta, jos sitä ei ole suoritettu loppuun.

Neljäs komento lopettaa wgetin kello 8 am. Killall on unix-komento, joka tappaa prosessit nimen mukaan.

[koodi]
0 8 * * * killall wget
[/koodi]

Killall-wget kertoo, että Ubuntu lopettaa wgetin lataamasta tiedostoa kello 8 AM.

Muut hyödylliset wget-komennot

1. Määritä hakemisto, johon haluat ladata tiedoston

[koodi]
wget -output-document = / home / zainul / Lataukset / wget manual.pdf http://www.gnu.org/software/wget/manual/wget.pdf
[/koodi]

-output-document -toiminnolla voit määrittää lataamasi tiedoston hakemiston ja nimen

2. Verkkosivuston lataaminen

wget pystyy myös lataamaan verkkosivuston.

[koodi]
wget -m http://www.google.com/profiles/zainul.franciscus
[/koodi]

Yllä oleva komento lataa koko google-profiilini web-sivuni. Vaihtoehto '-m' kertoo wgetille ladata 'peilikuvan' määritetystä URL-osoitteesta.

Toinen tärkeä vaihtoehto on kertoa wgetille, kuinka monta linkkiä sen pitäisi seurata, kun se lataa verkkosivuston.

[koodi]
wget -r -l1 http://www.google.com/profiles/zainul.franciscus
[/koodi]

Edellä oleva wget-komento käyttää kahta vaihtoehtoa. Ensimmäinen vaihtoehto "-r" kertoo wgetille ladata määritetyn verkkosivuston rekursiivisesti. Toinen vaihtoehto "-l1" kertoo wgetille, että se saa vain ensimmäisen tason linkkejä kyseiseltä sivustolta. Voimme asettaa jopa kolme tasoa '-l2' ja '-13'.

3. Robotin merkinnän ohittaminen

Web-isäntä ylläpitää Robot.txt-nimistä tekstitiedostoa. 'Robot.txt' ylläpitää luetteloa URL-osoitteista, joita Web-sivun indeksoija, kuten wget ei saa indeksoida. Voimme kertoa wgetille, että se jättää huomiotta 'Robot.txt', jossa on -erobots = off. Seuraava komento kertoo wgetille ladata google-profiilin ensimmäisen sivun ja ohittaa Robot.txtin.

[koodi]
wget -erobots = pois http://www.google.com/profiles/zainul.franciscus
[/koodi]

Toinen hyödyllinen vaihtoehto on -U. Tämä vaihtoehto peittää wgetin selaimena. Huomaa, että sovelluksen peittäminen toisena sovelluksena voi rikkoa web-palveluntarjoajan termiä ja palvelua.

[koodi]
wget -erobots = pois -U Mozilla http://www.google.com/profiles/zainul.franciscus
[/koodi]

johtopäätös

Wget on hyvin vanha koulu, mutta hackattava GNU-ohjelmistopaketti, jota voimme käyttää tiedostojen lataamiseen. Wget on interaktiivinen komentorivityökalu, jonka avulla voimme antaa sen ajaa tietokoneellamme taustalla ilman mitään sovelluksen käynnistämistä. Tarkista wget-man-sivu

[koodi]
$ man wget
[/koodi]

ymmärtää muita vaihtoehtoja, joita voimme käyttää wgetin kanssa.

Linkit

Wget-käsikirja
Kahden ladatun tiedoston yhdistäminen, kun wget ei toimi puolivälissä
Linux QuickTip: lataaminen ja poistaminen yhdellä askeleella