Download de site inteiro com WGET

Categoria: Linux Ubuntu
Publicado em 06 de Agosto de 2013

O comando abaixo irá realizar o download do site indicado:

1
wget --wait=3 --limit-rate=20K -r -p -U Mozilla --no-parent -R "gif,jpg,png,xml,jpeg,css,js,pdf,doc,docx,xls" --html-extension --convert-links http://yourwebsite.com.br

Instruções:

  • wait indica que a cada download haverá uma pausa de 3 segundos
  • limit-rate limita a velocidade média de transferência
  • -r indica download recursivo
  • -U indica que o user-agent do navegador Mozilla será enviado
  • --no-parent indica que somente URLs abaixo serão seguidas
  • -R serve para restringir o download dos arquivos com a extensão indicada
  • --html-extension renomeia as páginas para .html
  • --convert-links converte os links no código fonte para .html

Outro exemplo:

1
wget --wait=1 --limit-rate=100K -r -p -U Mozilla -R "gif,jpg,png,xml,jpeg,css,js,pdf,doc,docx,xls" --html-extension --convert-links --reject-regex "letra\=|\/em\+" --accept-regex "user|directory\/" http://www.website.com.br/directory/


 

Copyright © Fernando Hidemi Uchiyama 2010 - Todos os direitos reservados