How to get clean text from MediaWiki markup format using mwparserfromhell or a simple parser in python?
Question: I am trying to get clean sentences from the Wikipedia page of a species.

For instance _Abeis durangensis_ (pid = 1268312). Using the Wikipedia API in
python to obtain the Wikipedia page:

    
    
    import requests
    pid = 1268312
    q = {'action' : 'query',
         'pageids': pid,
         'prop'   : 'revisions',
         'rvprop' : 'content',
         'format' : 'json'}
    result = requests.get(eswiki_URI, params=q).json()
    wikitext = result["query"]["pages"].values()[0]["revisions"][0]["*"]
    

gives:

    
    
    {{Ficha de taxón
    | name = ''Abies durangensis''
    | image = Abies tamazula dgo.jpg 
    | status = LR/lc
    | status_ref =<ref>Conifer Specialist Group 1998.  [http://www.iucnredlist.org/search/details.php/42279/all ''Abies durangensis''].   [http://www.iucnredlist.org 2006 IUCN Red List of Threatened Species. ]  Downloaded on 10 July 2007.</ref>
    | regnum = [[Plantae]]
    | divisio = [[Pinophyta]]
    | classis = [[Pinopsida]]
    | ordo = [[Pinales]]
    | familia = [[Pinaceae]]
    | genus = ''[[Abies]]'' 
    | binomial = '''''Abies durangensis'''''
    | binomial_authority = [[Maximino Martínez|Martínez]]<ref name=ipni>{{ cite web |url=http://www.ipni.org:80/ipni/idPlantNameSearch.do;jsessionid=0B15264060FDA0DCF216D997C89185EC?id=676563-1&back_page=%2Fipni%2FeditSimplePlantNameSearch.do%3Bjsessionid%3D0B15264060FDA0DCF216D997C89185EC%3Ffind_wholeName%3DAbies%2Bdurangensis%26output_format%3Dnormal |title=Plant Name Details for ''Abies durangensis'' |publisher=[[International Plant Names Index|IPNI]] |accessdate=6 de octubre de 2009}}</ref>
    | synonyms = 
    }}
    '''''Abies durangensis''''' es una [[especie]] de [[conífera]] perteneciente a la familia [[Pinaceae]]. Son [[endémica]]s de [[México]] donde se encuentran en [[Durango]], [[Chihuahua]], [[Coahuila]], [[Jalisco]] y [[Sinaloa]]. También es conocido como 'Árbol de Coahuila' y 'pino mexicano'.<ref name=cje>{{ cite web |url=http://www.conifers.org/pi/ab/durangensis.htm |title=''Abies durangaensis'' description |author=Christopher J. Earle |date=11 de junio de 2006 |accessdate=6 de octubre de 2009}}</ref> 
    
    == Descripción ==
    Es un [[árbol]] que alcanza los 40 metros de altura con un [[Tronco (botánica)|tronco]] recto que tiene 150&nbsp;cm de diámetro. Las [[rama]]s son horizontales y la [[corteza (árbol)|corteza]] de color gris. Las [[hoja]]s son verde brillante de 20–35&nbsp;mm de longitud por 1-1.5&nbsp;mm de ancho. Tiene los conos de [[semilla]]s erectos en ramas laterales sobre un corto [[pedúnculo]]. Las [[semilla]]s son [[resina|resinosas]] con una [[núcula]] amarilla con alas.
    
    == Taxonomía ==
    ''Abies durangensis'' fue descrita por [[Maximino Martínez]] y publicado en ''[[Anales del instituto de Biología de la Universidad Nacional de México]]'' 13: 2. 1942.<ref name = Trop>{{cita web |url=http://www.tropicos.org/Name/24901700 |título= ''{{PAGENAME}}''|fechaacceso=21 de enero de 2013 |formato= |obra=  Tropicos.org. [[Missouri Botanical Garden]]}}</ref>
    ;[[Etimología]]:
    '''''Abies''''': nombre genérico que viene del nombre [[latin]]o de ''[[Abies alba]]''.<ref>[http://www.calflora.net/botanicalnames/pageAB-AM.html En Nombres Botánicos]</ref>
    
    '''''durangensis''''': [[epíteto]] geográfico que alude a su localización en [[Durango]].
    ;Variedades:
    * ''Abies durangensis var. coahuilensis'' (I. M. Johnst.) Martínez 
    ;[[sinonimia (biología)|Sinonimia]]:
    * ''Abies durangensis subsp. neodurangensis'' (Debreczy, I.Rácz & R.M.Salazar) Silba'
    * ''Abies neodurangensis'' Debreczy, I.Rácz & R.M.Salazar<ref>[http://www.theplantlist.org/tpl/record/kew-2609816 ''{{PAGENAME}}'' en PlantList]</ref><ref name = Kew>{{cita web|url=http://apps.kew.org/wcsp/namedetail.do?name_id=2609816 |título=''{{PAGENAME}}'' |work= World Checklist of Selected Plant Families}}</ref>
    ;''var. coahuilensis'' (I.M.Johnst.) Martínez
    * ''Abies coahuilensis'' I.M.Johnst.
    * ''Abies durangensis subsp. coahuilensis'' (I.M.Johnst.) Silba
    == Véase también ==
    * [[Terminología descriptiva de las plantas]]
    * [[Anexo:Cronología de la botánica]]
    * [[Historia de la Botánica]]
    * [[Pinaceae#Descripción|Características de las pináceas]]
    == Referencias ==
    {{listaref}}
    == Bibliografía ==
    # CONABIO. 2009. Catálogo taxonómico de especies de México. 1. In Capital Nat. México. CONABIO, Mexico City.
    == Enlaces externos ==
    {{commonscat}}
    {{wikispecies|Abies}}
    * http://web.archive.org/web/http://ww.conifers.org/pi/ab/durangensis.htm
    * http://www.catalogueoflife.org/search.php
    
    [[Categoría:Abies|durangensis]]
    [[Categoría:Plantas descritas en 1942]]
    [[Categoría:Plantas descritas por Martínez]]
    

I am interested in the (unmarked) text just after the infobox, the gloss:

> Abies durangensis es una especie de conífera perteneciente a la familia
> Pinaceae. Son endémicas de México donde se encuentran en Durango, Chihuahua,
> Coahuila, Jalisco y Sinaloa. También es conocido como 'Árbol de Coahuila' y
> 'pino mexicano'.

Until now i consulted <https://www.mediawiki.org/wiki/Alternative_parsers> so
i found that mwparserfromhell is the less complicated parser in python.
However, i dont see clearly how to do what i pretend. When i use the example
proposed in the documentation i just can't see where the gloss is.

    
    
    for t in templates:
        print(t.name).encode('utf-8')
        print(t.params)
    
    Ficha de taxón
    
    [u" name = ''Abies durangensis''\n", u' image = Abies tamazula dgo.jpg \n', u' status = LR/lc\n', u" status_ref =<ref>Conifer Specialist Group 1998.  [http://www.iucnredlist.org/search/details.php/42279/all ''Abies durangensis''].   [http://www.iucnredlist.org 2006 IUCN Red List of Threatened Species. ]  Downloaded on 10 July 2007.</ref>\n", u' regnum = [[Plantae]]\n', u' divisio = [[Pinophyta]]\n', u' classis = [[Pinopsida]]\n', u' ordo = [[Pinales]]\n', u' familia = [[Pinaceae]]\n', u" genus = ''[[Abies]]'' \n", u" binomial = '''''Abies durangensis'''''\n", u" binomial_authority = [[Maximino Mart\xednez|Mart\xednez]]<ref name=ipni>{{ cite web |url=http://www.ipni.org:80/ipni/idPlantNameSearch.do;jsessionid=0B15264060FDA0DCF216D997C89185EC?id=676563-1&back_page=%2Fipni%2FeditSimplePlantNameSearch.do%3Bjsessionid%3D0B15264060FDA0DCF216D997C89185EC%3Ffind_wholeName%3DAbies%2Bdurangensis%26output_format%3Dnormal |title=Plant Name Details for ''Abies durangensis'' |publisher=[[International Plant Names Index|IPNI]] |accessdate=6 de octubre de 2009}}</ref>\n", u' synonyms = \n']
     cite web 
    [u'url=http://www.ipni.org:80/ipni/idPlantNameSearch.do;jsessionid=0B15264060FDA0DCF216D997C89185EC?id=676563-1&back_page=%2Fipni%2FeditSimplePlantNameSearch.do%3Bjsessionid%3D0B15264060FDA0DCF216D997C89185EC%3Ffind_wholeName%3DAbies%2Bdurangensis%26output_format%3Dnormal ', u"title=Plant Name Details for ''Abies durangensis'' ", u'publisher=[[International Plant Names Index|IPNI]] ', u'accessdate=6 de octubre de 2009']
     cite web 
    [u'url=http://www.conifers.org/pi/ab/durangensis.htm ', u"title=''Abies durangaensis'' description ", u'author=Christopher J. Earle ', u'date=11 de junio de 2006 ', u'accessdate=6 de octubre de 2009']
    cita web 
    [u'url=http://www.tropicos.org/Name/24901700 ', u"t\xedtulo= ''{{PAGENAME}}''", u'fechaacceso=21 de enero de 2013 ', u'formato= ', u'obra=  Tropicos.org. [[Missouri Botanical Garden]]']
    PAGENAME
    []
    PAGENAME
    []
    cita web
    [u'url=http://apps.kew.org/wcsp/namedetail.do?name_id=2609816 ', u"t\xedtulo=''{{PAGENAME}}'' ", u'work= World Checklist of Selected Plant Families']
    PAGENAME
    []
    listaref
    []
    commonscat
    []
    wikispecies
    [u'Abies']
    


Answer: Instead of torturing yourself with parsing of something that's not even
expressable in formal grammar, use the [TextExtracts
API](https://www.mediawiki.org/wiki/Extension:TextExtracts#API):

`https://es.wikipedia.org/w/api.php?action=query&prop=extracts&explaintext=1&titles=Abies%20durangensis&format=json`

gives the following output:

> Abies durangensis es una especie de conífera perteneciente a la familia
> Pinaceae. Son endémicas de México donde se encuentran en Durango, Chihuahua,
> Coahuila, Jalisco y Sinaloa. También es conocido como 'Árbol de Coahuila' y
> 'pino mexicano'.
>
> == Descripción ==
>
> Es un árbol que alcanza los 40 metros de altura con un tronco recto que
> tiene 150 cm de diámetro. Las ramas son horizontales y la corteza de color
> gris. Las hojas son verde brillante de 20–35 mm de longitud por 1-1.5 mm de
> ancho. Tiene los conos de semillas erectos en ramas laterales sobre un corto
> pedúnculo. Las semillas son resinosas con una núcula amarilla con alas.
>
> [...]

Append `&exintro=1` to the URL if you need only the lead.

