Wget komutu nedir diyecek olursanız, Ubuntu dahil olmak üzere tüm Linux dağıtımlarında bulunan temel bir dosya indirme uygulamasıdır. Ubuntu dosya indirme işlemi için kullanılan yazılımdır. Wget’e gerek kalmadan kendi sunucularınızdan ssh ile de sunucudan dosya indirme işlemi yapabilirsiniz fakat internet sitelerinden indirme yapamazsınız.
Sistemizde wget komutu yoksa veya wget çalışmıyor ise temel paket yöneticisinden kurmayı deneyebilirsiniz. Ubuntu için bunu apt-get install wget -y komutu ile yapabiliriz. wget kardeşi curl komutunun aksine çoğu sistemde tanımlı geliyor ve bu tarz bir kurulum yapmaya gerek kalmıyor.
wget ile ubuntu’da dosya indirme
Eğer dosyanın tam adresini biliyorsak wget ile dosya indirmek çok basit:
wget http://www.domain.com/dosya.zip
farklı bir isimde kaydetmek istersek
wget http://www.domain.com/dosya.zip -O dosyaadi.zip
birden fazla dosya indirmek istersek dosyalar.txt gibi bir dosyaya bunların adresini yazıp:
wget -i dosyalar.txt
şeklinde de kullanabiliriz. Html dosyasından linkleri yakalamak istersek –force-html parametresini kullanabiliriz.
wget -i --force-html dosyalar.html
wget hız limitleme işlemi yapmak istiyorsak –limit-rate parametresini kullanabiliriz:
wget --limit-rate=200k http://www.domain.com/dosya.zip
wget ile tüm siteyi indirme işlemi
wget kullanarak bir web sitesini tamamen indirebiliriz. Bu oldukça karmaşık bir işlem olduğu için çok fazla parametre var. En önemlilerinden biri –user-agent parametresi. Bu sayede web sitesine wget değil herhangi bir browser isteğiymiş gibi kendimizi tanıtabiliriyoruz.
wget --mirror -p --convert-links --user-agent="Mozilla/5.0 (Windows NT 6.3; WOW64; rv:40.0" http://www.siteadresi.com/
Gelişmiş site indirme örnekleri
wget -U "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.102 Safari/537.36" --no-clobber --convert-links --random-wait -r -E robots=off -A html,css,jpg,png,png --restrict-file-names=windows --domain=www.siteadresi.com http://www.siteadresi.com
wget -U "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.102 Safari/537.36" --no-clobber --convert-links --random-wait -rH -E -e robots=off --reject-regex '(.*)\?(.*)' -A html,css,js,png,jpg,svg,gif --restrict-file-names=windows http://siteadresi.blogspot.com
wget -U "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.102 Safari/537.36" --no-clobber --convert-links --random-wait -r -E robots=off -R "*reply*, *omment*, tag/*, tag-*" --restrict-file-names=windows --domain=www.siteadresi.com http://www.siteadresi.com
- -nc aynı dosyalar tekrar inmesin diye
- -E headera göre uzantı
- -A html ile accept html içerenler
- -R ile ile filtreleme yapılabilir (reject)
Bir siteyi tüm dosyalarıyla birlikte komple indirmek isterseniz şu şekilde kullanabilirsiniz:
wget -U "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.102 Safari/537.36" --no-clobber --convert-links --random-wait -r -E robots=off --domain=siteadresi.com http://siteadresi.com
Windows wget kullanımı
wget GNU projesi altında geliştirilen açık kaynak bir yazılımdır. Bu sebeple Windows için de bir çok wget versionu var. Ben şu adresteki sürümü denedim ve kullanıyorum:
https://eternallybored.org/misc/wget/
wget.exedosyasını sisteminizde tanımlı herhangi bir path dizinine atarak cmd ile wget komutunu kullanabilirsiniz.