Stuck Coding a Python web crawler using BeautifulSoup
Question: regarding this video by bucky roberts on programming a webcrawler in python:

<https://www.youtube.com/watch?v=sVNJOiTBi_8>

Here is my question:

If i want to crawl a particular item but it isnt inside of < a> < /a>

how can i do it?

for ex. I inspected the site and found this is the code of the the info i want
(i want the href and the title just like in the bucky's video):

    
    
    < td headers="categorylist_header_title" class="list-title" > < a href="BLABLABLABLA.HTML" > blablabliblableblu < /a> < /td>
    

Following the instruction i notice that the element "class="list-title" inside
of is the one i need to crawl, but when i use for link in
`soup.findAll('a',{'class': 'list-title'}):` it does not work, i think because
it isnt inside of < a>, how can crawl that information if we dont have a
particular info inside of and the element we are looking for is outside in
this case in ??

Hope i explain myself im just started programming this week, if you know where
can i read about this please give me a source so i dont ask stupid questions
again.

Here is the source code of this tool, currently it is just getting all the
links if anyone want to give it a try:

    
    
    import requests
    
    from bs4 import BeautifulSoup
    
    def trade_spider(max_pages):
    
        page = 1
    
        while page <= max_pages:
    
            url = 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas'
    
            source_code = requests.get(url)
    
            plain_text = source_code.text
    
            soup = BeautifulSoup(plain_text, "html.parser")
    
            for link in soup.findAll('a'):
    
            href = 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas'+ link.get('href')
    
            print(href)
    
    trade_spider(1)
    


Answer: It is the `td` that has the class `list-title`, not the anchor tag. You just
need to select the _td_ tags with the class `list-title` inside the table rows
then extract the href from the anchor inside each td:

    
    
    from bs4 import BeautifulSoup
    import  requests
    from urlparse import urljoin
    soup = BeautifulSoup(requests.get("http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas").content)
    base = 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas'
    
    print( [urljoin(base,td.a["href"]) for td in soup.find_all("td", {"class":"list-title"})])
    

Which would give you:

    
    
    ['http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/11899-hemeroteca-y-biblioteca-libertarias-3-1.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/11809-distribuidora-anarquista-polaris-nueva-edicion-negros-presagios-politica-anarquista-en-la-era-del-colapso-de-uri-gordon.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/11789-libro-la-crisis-del-socialismo-jose-garcia-pradas.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/11618-libro-nuestro-planeta-de-elisee-reclus.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/11602-hemeroteca-y-biblioteca-libertarias-2-0.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/11493-descarga-la-lucha-contra-el-estado-la-bestia-de-la-propiedad-y-el-origen-del-capital-moderno-en-pie-de-guerra-contra-la-civilizacion.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/11461-descarga-libros-contra-los-pastores-contra-los-rebanos-una-declaracion-de-guerra.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/11396-libro-un-dragon-en-el-reino-de-orb-de-federico-zenoni-cuento-ilustrado-para-descargar.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/11283-paginas-de-lucha-cotidiana-libro-de-errico-malatesta-para-descarga.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/11204-descargar-actualizaciones-ex-nihilo.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/11192-libro-al-diablo-con-la-cultura-herbert-read.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/10966-libro-bakunin-escritos-de-filosofia-politica-tomo-ii-partes-iii-y-iv.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/10842-libro-palabras-de-un-rebelde-piotr-kropotkin.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/10512-libro-la-voluntad-del-pueblo-democracia-y-anarquia-eduardo-colombo.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/10485-libro-paginas-de-lucha-cotidiana-primera-parte-temas-del-comunismo-anarquico-errico-malatesta.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/10474-los-tiempos-nuevos-piotr-kropotkin.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/10416-libro-el-humanisferio-utopia-anarquica-joseph-dejacque.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/10366-libro-primero-de-mayo-lectura-para-el-dia-de-las-trabajadoras-y-trabajadores.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/10339-libro-el-espacio-politico-de-la-anarquia-esbozos-para-una-filosofia-politica-del-anarquismo.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/10314-libro-las-politicas-de-la-ecologia-social-municipalismo-libertario-janet-biehl-y-murray-bookchin.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/10239-libro-el-principio-federativo-pierre-joseph-proudhon.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/10187-libro-malatesta-pensamiento-y-accion-revolucionarios.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/10112-50-titulos-para-una-biblioteca-basica-del-anarquismo-latinoamericano.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/10102-libro-la-libertad-entre-la-historia-y-la-utopia-luce-fabbri.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/10028-libro-de-poesia-jardin-de-acracia.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/10008-libro-anarquismo-trashumante.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/9984-libro-fuera-politica-anselmo-lorenzo.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/9969-libro-cartas-y-textos-de-librado-rivera.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/9920-libro-la-anarquia-manuel-gonzalez-prada.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/9853-libro-tacticas-revolucionarias-mijail-bakunin.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/9847-libro-discursos-de-ricardo-flores-magon.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/9799-libro-anselmo-lorenzo-un-militante-proletario-en-el-ojo-del-huracan.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/9789-libro-el-mundo-nuevo-louise-michel.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/9751-libro-ideario-ricardo-mella.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/9700-libro-problemas-del-sindicalismo-y-del-anarquismo-joan-peiro.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/9679-libro-hacia-la-emancipacion-tactica-de-avance-obrero-en-la-lucha-por-el-ideal-anselmo-lorenzo.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/9664-libro-forjando-un-mundo-libre-ricardo-mella.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/9633-libro-via-libre-el-trabajador-su-ideal-emancipador-desviaciones-politicas-y-economicas-anselmo-lorenzo.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/9625-folleto-el-anarquismo-en-el-movimiento-obrero-errico-malatesta.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/9547-libro-en-anarquia-novela-camille-pert.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/9495-libro-la-anarquia-triunfante-anselmo-lorenzo.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/9472-folleto-el-trabajo-los-trabajadores-y-el-anarquismo.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/9454-libro-teresa-claramunt-la-virgen-roja-barcelonesa-biografia-y-escritos.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/9416-libro-la-anarquia-a-traves-de-los-tiempos-max-nettlau.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/9398-libro-seamos-rebeldes-folletos-y-otros-escritos-teodoro-antilli.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/9375-libro-utopias-antiguas-y-modernas-angel-j-cappelletti.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/9365-libro-del-amor-modo-de-accion-y-finalidad-social-ricardo-mella.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/9358-libro-contra-la-ignorancia-anselmo-lorenzo.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/9316-libro-consideraciones-filosoficas-sobre-el-fantasma-divino-sobre-el-mundo-real-y-sobre-el-hombre-mijail-bakunin.html', 'http://www.portaloaca.com/pensamiento-libertario/libros-anarquistas/9270-libro-el-lenguaje-libertario-christian-ferrer.html']
    

