O bom é que todas essas informações de contato estão em uma lista e podemos pegar todos os elementos <li> desta lista e salvar em uma lista python. Depois podemos parsear essas informações e colocá-las em colunas certinhas num banco de dados, por enquanto só vou focar em pegar os dados.
Ficou bem parecido com o primeiro arquivo. Agora é só executar os scripts. Execute o primeiro, ele vai demorar algumas horas até terminar, depois execute o segundo script. Aqui demorou bastante, quase 20 horas pra executar tudo.
O resultado final com os arquivos de excel e o código fonte você pode ver aqui no meu github: https://github.com/ffreitasalves/buscape-scraper
Belo artigo Fernando. Parabéns. Python é amplamente utilizado para obter informações na internet, não é a toa que o Google foi criado através dela.
E esse exemplo mostrado é bem interessante porque mostra de forma prática como podemos utilizar essas técnicas.
Mesmo tendo acesso a API do Buscapé precisei fazer isso, já que por algum motivo eles não liberam algumas coisas.
Agora to com uma dúvida, to tentando extrair uns links de um código fonte que ta sem as tags iguais ao seu. Não sei se posso postar o fonte aqui.