
# legal_t5_small_cls_es model

Model for classification of legal text written in Spanish. It was first released in
[this repository](https://github.com/agemagician/LegalTrans). This model is trained on three parallel corpus from jrc-acquis.


## Model description

legal_t5_small_cls_es is based on the `t5-small` model and was trained on a large corpus of parallel text. This is a smaller model, which scales the baseline model of t5 down by using `dmodel = 512`, `dff = 2,048`, 8-headed attention, and only 6 layers each in the encoder and decoder. This variant has about 60 million parameters.

## Intended uses & limitations

The model could be used for classification of legal texts written in Spanish.

### How to use

Here is how to use this model to classify legal text written in Spanish in PyTorch:

```python
from transformers import AutoTokenizer, AutoModelWithLMHead, TranslationPipeline

pipeline = TranslationPipeline(
model=AutoModelWithLMHead.from_pretrained("SEBIS/legal_t5_small_cls_es"),
tokenizer=AutoTokenizer.from_pretrained(pretrained_model_name_or_path = "SEBIS/legal_t5_small_cls_es", do_lower_case=False, 
                                            skip_special_tokens=True),
    device=0
)

es_text = "Reglamento (CE) no 90/2001 de la Comisión de 17 de enero de 2001 que modifica el Reglamento (CE) n° 800/1999 por el que se establecen disposiciones comunes de aplicación del régimen de restituciones por exportación de productos agrícolas LA COMISIÓN DE LAS COMUNIDADES EUROPEAS, Visto el Tratado constitutivo de la Comunidad Europea, Visto el Reglamento (CEE) n° 1766/92 del Consejo, de 30 de junio de 1992, por el que se establece la organización común de mercados en el sector de los cereales(1), cuya última modificación la constituye el Reglamento (CE) n° 1666/2000(2), y, en particular, sus artículos 13 y 21, así como las disposiciones correspondientes de los demás Reglamentos por los que se establecen organizaciones comunes de mercados de productos agrícolas, Considerando lo siguiente: (1) En el caso de exportación de productos presentados a granel o en unidades no normalizadas, en los que es evidente que la masa neta exacta de los productos no puede conocerse hasta después de cargar el medio de transporte, el apartado 6 del artículo 5 del Reglamento (CE) n° 800/1999 de la Comisión(3), modificado por el Reglamento (CE) n° 1557/2000(4) establece la aplicación de una reducción de la restitución cuando la masa neta efectivamente cargada sea inferior a un determinado porcentaje de la masa neta estimada. No obstante, para la aplicación de esta disposición conviene tener en cuenta las limitaciones inherentes a los medios de transporte de navegación marítima o interior. En efecto, en el caso de los productos exportados a granel, puede ocurrir que las cantidades declaradas no se carguen en su totalidad debido, en particular, a la decisión del responsable del medio de transporte que puede ordenar la suspensión de la carga por razones técnicas o debido a un exceso de carga imputable a los demás exportadores. (2) Dado que determinados cortes de carne de porcino no se presentan en embalajes ni son, por naturaleza, homogéneos, conviene ampliar la categoría de unidades no normalizadas a este tipo de productos. (3) En lo que respecta a la noción de lugar de carga, en el comercio de exportación de productos agrícolas se presenta una multitud de situaciones comerciales y administrativas; por consiguiente, es difícil establecer una norma única y conviene autorizar a los Estados miembros para que determinen el lugar más apropiado para efectuar los controles físicos para los productos agrícolas exportados que se benefician de una restitución. A estos efectos, parece justificado determinar el lugar de carga, de forma diferente, en función de que los productos sean cargados en contenedores o, por el contrario, a granel, en sacos o en cajas y no se carguen posteriormente en contenedores. Asimismo, es conveniente que, cuando existan motivos debidamente justificados, se permita que las autoridades aduaneras acepten para los productos agrícolas que se beneficien, de una restitución declaraciones de exportación presentadas en una oficina de aduanas que no sea la del lugar donde vayan a cargarse los productos. (4) En el caso de los productos sujetos al régimen de mercancías de retorno, es oportuno prever la posibilidad de que la reintroducción se efectúe, bien por el Estado miembros del que sean originarios los productos, bien por el Estado miembro exportador de la primera exportación. (5) Conviene modificar el Reglamento (CE) n° 800/1999 en consecuencia. (6) Las medidas previstas en el presente Reglamento se ajustan al dictamen de todos los Comités de gestión interesados. HA ADOPTADO EL PRESENTE REGLAMENTO: Artículo 1 El Reglamento (CE) n° 800/1999 se modificará como sigue: 1) En el apartado 6 del articulo 5, el párrafo tercero se sustituirá por el texto siguiente: %quot%No se concederá ninguna restitución por la cantidad que sobrepase el 110 % de la masa neta estimada. Cuando la masa efectivamente cargada sea inferior al 90 % de la masa neta estimada, la restitución por la masa neta efectivamente cargada se reducirá un 10 % en relación con la diferencia entre la restitución correspondiente al 90 % de la masa neta estimada y la restitución correspondiente a la masa efectivamente cargada. No obstante, en los casos de exportación par vía marítima o por vía navegable interior, la restitución se pagará por la masa neta efectivamente cargada cuando el exportador pueda aportar la prueba, refrendada por el responsable del medio de transporte, de que el hecho de que no se cargara la totalidad de sus mercancías se debió a las limitaciones inherentes a ese tipo de transporte o a un exceso de carga imputable a uno o a varios de los demás exportadores. En caso de que el exportador haya utilizado el procedimiento de domiciliación previsto en el artículo 283 del Reglamento (CEE) n° 2454/93 serán aplicables las disposiciones del presente párrafo siempre que las autoridades aduaneras hayan autorizado la rectificación de los documentos contables en los que los productos exportados hayan sido inscritos.%quot%. 2) En el apartado 6 del artículo 5, el párrafo cuarto se sustituirá por el texto siguiente: %quot%Se considerarán productos en unidades no estandarizadas los animales vivos, las (medias) canales, los cuartos, partes delanteras, jamones, paletillas, pechos y lomos.%quot%. 3) El apartado 7 del articulo 5 se sustituirá por el texto siguiente: %quot%7. Cualquier persona que exporte productos por los cuales solicite la concesión de la restitución estará obligada a lo siguiente: a) presentar la declaración de exportación en la oficina de aduanas competente del lugar en que los productos vayan a cargarse en el transporte que vaya a efectuar la exportación; b) informar a dicha oficina de aduanas, coma mínimo 24 horas antes del comienzo de las operaciones de carga, e indicar la duración prevista de las operaciones de carga; las autoridades competentes podrán modificar el plazo de 24 horas. Se podrá considerar como lugar de carga en el transporte de los productos destinados a la exportación: - en el caso de los productos que se exporten cargados en contenedores, el lugar donde se carguen en éstos las mercancías, - en el caso de los productos que se exporten a granel, en sacos, cajones, cajas, botellas, etc. sin cargarse en contenedores, el lugar donde se cargue el medio de transporte por el que las mercancías vayan a salir del territorio aduanero de la Comunidad. La oficina de aduanas competente podrá autorizar las operaciones de carga una vez aceptada la declaración de exportación y antes de finalizar el plazo a que se refiere la letra b). La oficina de aduanas competente deberá estar en condiciones de realizar el control físico y de aplicar las medidas de identificación necesarias para el transporte hacia la oficina de salida del territorio aduanero de la Comunidad. Si por razones de organización administrativa o por otras razones debidamente justificadas, no pueden aplicarse las disposiciones del párrafo primero, la declaración de exportación, sólo podrá ser presentada en la oficina de aduanas competente del Estado miembro en cuestión, y, en el caso de un control físico de conformidad con el Reglamento (CEE) n° 386/90, el producto presentado deberá ser descargado completamente. No obstante, la descarga completa no será obligatoria cuando las autoridades competentes puedan garantizar la realización de un control físico exhaustivo.%quot%. 4) En el apartado 3 del artículo 25, el último párrafo se sustituirá por el texto siguiente: %quot%La presente disposición sólo se aplicará cuando el régimen de retorno haya sido utilizado en el Estado miembro donde se haya aceptado la declaración de exportación de la primera exportación o en el Estado miembro de origen, de conformidad con el artículo 15 de la Directiva 97/78/CE del Consejo(5), por la que se establecen los principios relativos a la organización de controles veterinarios de los productos que se introduzcan en la Comunidad procedentes de terceros países.%quot%. Artículo 2 El presente Reglamento entrará en vigor el séptimo día siguiente al de su publicación en el Diario Oficial de las Comunidades Europeas. A petición de los exportadores, las disposiciones del apartado 1 del articulo 1 se aplicarán a los expedientes de restituciones que aún no hayan sido cerrados en el momento de la entrada en vigor del presente Reglamento. El presente Reglamento será obligatorio en todos sus elementos y directamente aplicable en cada Estado miembro. Hecho en Bruselas, el 17 de enero de 2001. Por la Comisión Franz Fischler Miembro de la Comisión (1) DO L 181 de 1.7.1992, p. 21. (2) DO L 193 de 29.7.2000, p. 1. (3) DO L 102 de 17.4.1999, p. 11. (4) DO L 179 de 18.7.2000, p. 6. (5) DO L 24 de 30.1.1998, p. 9."

pipeline([es_text], max_length=512)
```

## Training data

The legal_t5_small_cls_es model was trained on [JRC-ACQUIS](https://wt-public.emm4u.eu/Acquis/index_2.2.html) dataset consisting of 22 Thousand texts.

## Training procedure


The model was trained on a single TPU Pod V3-8 for 250K steps in total, using sequence length 512 (batch size 64). It has a total of approximately 220M parameters and was trained using the encoder-decoder architecture. The optimizer used is AdaFactor with inverse square root learning rate schedule for pre-training.

### Preprocessing

An unigram model trained with 88M lines of text from the parallel corpus (of all possible language pairs) to get the vocabulary (with byte pair encoding), which is used with this model.

### Pretraining



## Evaluation results

When the model is used for classification test dataset, achieves the following results:

Test results :

| Model | F1 score |
|:-----:|:-----:|
|   legal_t5_small_cls_es | 0.6318|


### BibTeX entry and citation info

> Created by [Ahmed Elnaggar/@Elnaggar_AI](https://twitter.com/Elnaggar_AI) | [LinkedIn](https://www.linkedin.com/in/prof-ahmed-elnaggar/)

{"language": "Spanish", "tags": ["classification Spanish model"], "datasets": ["jrc-acquis"], "widget": [{"text": "Reglamento (CE) no 90/2001 de la Comisi\u00f3n de 17 de enero de 2001 que modifica el Reglamento (CE) n\u00b0 800/1999 por el que se establecen disposiciones comunes de aplicaci\u00f3n del r\u00e9gimen de restituciones por exportaci\u00f3n de productos agr\u00edcolas LA COMISI\u00d3N DE LAS COMUNIDADES EUROPEAS, Visto el Tratado constitutivo de la Comunidad Europea, Visto el Reglamento (CEE) n\u00b0 1766/92 del Consejo, de 30 de junio de 1992, por el que se establece la organizaci\u00f3n com\u00fan de mercados en el sector de los cereales(1), cuya \u00faltima modificaci\u00f3n la constituye el Reglamento (CE) n\u00b0 1666/2000(2), y, en particular, sus art\u00edculos 13 y 21, as\u00ed como las disposiciones correspondientes de los dem\u00e1s Reglamentos por los que se establecen organizaciones comunes de mercados de productos agr\u00edcolas, Considerando lo siguiente: (1) En el caso de exportaci\u00f3n de productos presentados a granel o en unidades no normalizadas, en los que es evidente que la masa neta exacta de los productos no puede conocerse hasta despu\u00e9s de cargar el medio de transporte, el apartado 6 del art\u00edculo 5 del Reglamento (CE) n\u00b0 800/1999 de la Comisi\u00f3n(3), modificado por el Reglamento (CE) n\u00b0 1557/2000(4) establece la aplicaci\u00f3n de una reducci\u00f3n de la restituci\u00f3n cuando la masa neta efectivamente cargada sea inferior a un determinado porcentaje de la masa neta estimada. No obstante, para la aplicaci\u00f3n de esta disposici\u00f3n conviene tener en cuenta las limitaciones inherentes a los medios de transporte de navegaci\u00f3n mar\u00edtima o interior. En efecto, en el caso de los productos exportados a granel, puede ocurrir que las cantidades declaradas no se carguen en su totalidad debido, en particular, a la decisi\u00f3n del responsable del medio de transporte que puede ordenar la suspensi\u00f3n de la carga por razones t\u00e9cnicas o debido a un exceso de carga imputable a los dem\u00e1s exportadores. (2) Dado que determinados cortes de carne de porcino no se presentan en embalajes ni son, por naturaleza, homog\u00e9neos, conviene ampliar la categor\u00eda de unidades no normalizadas a este tipo de productos. (3) En lo que respecta a la noci\u00f3n de lugar de carga, en el comercio de exportaci\u00f3n de productos agr\u00edcolas se presenta una multitud de situaciones comerciales y administrativas; por consiguiente, es dif\u00edcil establecer una norma \u00fanica y conviene autorizar a los Estados miembros para que determinen el lugar m\u00e1s apropiado para efectuar los controles f\u00edsicos para los productos agr\u00edcolas exportados que se benefician de una restituci\u00f3n. A estos efectos, parece justificado determinar el lugar de carga, de forma diferente, en funci\u00f3n de que los productos sean cargados en contenedores o, por el contrario, a granel, en sacos o en cajas y no se carguen posteriormente en contenedores. Asimismo, es conveniente que, cuando existan motivos debidamente justificados, se permita que las autoridades aduaneras acepten para los productos agr\u00edcolas que se beneficien, de una restituci\u00f3n declaraciones de exportaci\u00f3n presentadas en una oficina de aduanas que no sea la del lugar donde vayan a cargarse los productos. (4) En el caso de los productos sujetos al r\u00e9gimen de mercanc\u00edas de retorno, es oportuno prever la posibilidad de que la reintroducci\u00f3n se efect\u00fae, bien por el Estado miembros del que sean originarios los productos, bien por el Estado miembro exportador de la primera exportaci\u00f3n. (5) Conviene modificar el Reglamento (CE) n\u00b0 800/1999 en consecuencia. (6) Las medidas previstas en el presente Reglamento se ajustan al dictamen de todos los Comit\u00e9s de gesti\u00f3n interesados. HA ADOPTADO EL PRESENTE REGLAMENTO: Art\u00edculo 1 El Reglamento (CE) n\u00b0 800/1999 se modificar\u00e1 como sigue: 1) En el apartado 6 del articulo 5, el p\u00e1rrafo tercero se sustituir\u00e1 por el texto siguiente: %quot%No se conceder\u00e1 ninguna restituci\u00f3n por la cantidad que sobrepase el 110 % de la masa neta estimada. Cuando la masa efectivamente cargada sea inferior al 90 % de la masa neta estimada, la restituci\u00f3n por la masa neta efectivamente cargada se reducir\u00e1 un 10 % en relaci\u00f3n con la diferencia entre la restituci\u00f3n correspondiente al 90 % de la masa neta estimada y la restituci\u00f3n correspondiente a la masa efectivamente cargada. No obstante, en los casos de exportaci\u00f3n par v\u00eda mar\u00edtima o por v\u00eda navegable interior, la restituci\u00f3n se pagar\u00e1 por la masa neta efectivamente cargada cuando el exportador pueda aportar la prueba, refrendada por el responsable del medio de transporte, de que el hecho de que no se cargara la totalidad de sus mercanc\u00edas se debi\u00f3 a las limitaciones inherentes a ese tipo de transporte o a un exceso de carga imputable a uno o a varios de los dem\u00e1s exportadores. En caso de que el exportador haya utilizado el procedimiento de domiciliaci\u00f3n previsto en el art\u00edculo 283 del Reglamento (CEE) n\u00b0 2454/93 ser\u00e1n aplicables las disposiciones del presente p\u00e1rrafo siempre que las autoridades aduaneras hayan autorizado la rectificaci\u00f3n de los documentos contables en los que los productos exportados hayan sido inscritos.%quot%. 2) En el apartado 6 del art\u00edculo 5, el p\u00e1rrafo cuarto se sustituir\u00e1 por el texto siguiente: %quot%Se considerar\u00e1n productos en unidades no estandarizadas los animales vivos, las (medias) canales, los cuartos, partes delanteras, jamones, paletillas, pechos y lomos.%quot%. 3) El apartado 7 del articulo 5 se sustituir\u00e1 por el texto siguiente: %quot%7. Cualquier persona que exporte productos por los cuales solicite la concesi\u00f3n de la restituci\u00f3n estar\u00e1 obligada a lo siguiente: a) presentar la declaraci\u00f3n de exportaci\u00f3n en la oficina de aduanas competente del lugar en que los productos vayan a cargarse en el transporte que vaya a efectuar la exportaci\u00f3n; b) informar a dicha oficina de aduanas, coma m\u00ednimo 24 horas antes del comienzo de las operaciones de carga, e indicar la duraci\u00f3n prevista de las operaciones de carga; las autoridades competentes podr\u00e1n modificar el plazo de 24 horas. Se podr\u00e1 considerar como lugar de carga en el transporte de los productos destinados a la exportaci\u00f3n: - en el caso de los productos que se exporten cargados en contenedores, el lugar donde se carguen en \u00e9stos las mercanc\u00edas, - en el caso de los productos que se exporten a granel, en sacos, cajones, cajas, botellas, etc. sin cargarse en contenedores, el lugar donde se cargue el medio de transporte por el que las mercanc\u00edas vayan a salir del territorio aduanero de la Comunidad. La oficina de aduanas competente podr\u00e1 autorizar las operaciones de carga una vez aceptada la declaraci\u00f3n de exportaci\u00f3n y antes de finalizar el plazo a que se refiere la letra b). La oficina de aduanas competente deber\u00e1 estar en condiciones de realizar el control f\u00edsico y de aplicar las medidas de identificaci\u00f3n necesarias para el transporte hacia la oficina de salida del territorio aduanero de la Comunidad. Si por razones de organizaci\u00f3n administrativa o por otras razones debidamente justificadas, no pueden aplicarse las disposiciones del p\u00e1rrafo primero, la declaraci\u00f3n de exportaci\u00f3n, s\u00f3lo podr\u00e1 ser presentada en la oficina de aduanas competente del Estado miembro en cuesti\u00f3n, y, en el caso de un control f\u00edsico de conformidad con el Reglamento (CEE) n\u00b0 386/90, el producto presentado deber\u00e1 ser descargado completamente. No obstante, la descarga completa no ser\u00e1 obligatoria cuando las autoridades competentes puedan garantizar la realizaci\u00f3n de un control f\u00edsico exhaustivo.%quot%. 4) En el apartado 3 del art\u00edculo 25, el \u00faltimo p\u00e1rrafo se sustituir\u00e1 por el texto siguiente: %quot%La presente disposici\u00f3n s\u00f3lo se aplicar\u00e1 cuando el r\u00e9gimen de retorno haya sido utilizado en el Estado miembro donde se haya aceptado la declaraci\u00f3n de exportaci\u00f3n de la primera exportaci\u00f3n o en el Estado miembro de origen, de conformidad con el art\u00edculo 15 de la Directiva 97/78/CE del Consejo(5), por la que se establecen los principios relativos a la organizaci\u00f3n de controles veterinarios de los productos que se introduzcan en la Comunidad procedentes de terceros pa\u00edses.%quot%. Art\u00edculo 2 El presente Reglamento entrar\u00e1 en vigor el s\u00e9ptimo d\u00eda siguiente al de su publicaci\u00f3n en el Diario Oficial de las Comunidades Europeas. A petici\u00f3n de los exportadores, las disposiciones del apartado 1 del articulo 1 se aplicar\u00e1n a los expedientes de restituciones que a\u00fan no hayan sido cerrados en el momento de la entrada en vigor del presente Reglamento. El presente Reglamento ser\u00e1 obligatorio en todos sus elementos y directamente aplicable en cada Estado miembro. Hecho en Bruselas, el 17 de enero de 2001. Por la Comisi\u00f3n Franz Fischler Miembro de la Comisi\u00f3n (1) DO L 181 de 1.7.1992, p. 21. (2) DO L 193 de 29.7.2000, p. 1. (3) DO L 102 de 17.4.1999, p. 11. (4) DO L 179 de 18.7.2000, p. 6. (5) DO L 24 de 30.1.1998, p. 9."}]}
transformers pytorch jax t5 text2text-generation classification Spanish model dataset:jrc-acquis autotrain_compatible endpoints_compatible text-generation-inference region:us
TAGS
#transformers #pytorch #jax #t5 #text2text-generation #classification Spanish model #dataset-jrc-acquis #autotrain_compatible #endpoints_compatible #text-generation-inference #region-us 

legal\_t5\_small\_cls\_es model
===============================


Model for classification of legal text written in Spanish. It was first released in
this repository. This model is trained on three parallel corpus from jrc-acquis.


Model description
-----------------


legal\_t5\_small\_cls\_es is based on the 't5-small' model and was trained on a large corpus of parallel text. This is a smaller model, which scales the baseline model of t5 down by using 'dmodel = 512', 'dff = 2,048', 8-headed attention, and only 6 layers each in the encoder and decoder. This variant has about 60 million parameters.


Intended uses & limitations
---------------------------


The model could be used for classification of legal texts written in Spanish.


### How to use


Here is how to use this model to classify legal text written in Spanish in PyTorch:


Training data
-------------


The legal\_t5\_small\_cls\_es model was trained on JRC-ACQUIS dataset consisting of 22 Thousand texts.


Training procedure
------------------


The model was trained on a single TPU Pod V3-8 for 250K steps in total, using sequence length 512 (batch size 64). It has a total of approximately 220M parameters and was trained using the encoder-decoder architecture. The optimizer used is AdaFactor with inverse square root learning rate schedule for pre-training.


### Preprocessing


An unigram model trained with 88M lines of text from the parallel corpus (of all possible language pairs) to get the vocabulary (with byte pair encoding), which is used with this model.


### Pretraining


Evaluation results
------------------


When the model is used for classification test dataset, achieves the following results:


Test results :



### BibTeX entry and citation info



> 
> Created by Ahmed Elnaggar/@Elnaggar\_AI | LinkedIn
> 
> 
> 



### How to use


Here is how to use this model to classify legal text written in Spanish in PyTorch:


Training data
-------------


The legal\_t5\_small\_cls\_es model was trained on JRC-ACQUIS dataset consisting of 22 Thousand texts.


Training procedure
------------------


The model was trained on a single TPU Pod V3-8 for 250K steps in total, using sequence length 512 (batch size 64). It has a total of approximately 220M parameters and was trained using the encoder-decoder architecture. The optimizer used is AdaFactor with inverse square root learning rate schedule for pre-training. ### Preprocessing


An unigram model trained with 88M lines of text from the parallel corpus (of all possible language pairs) to get the vocabulary (with byte pair encoding), which is used with this model. ### Pretraining


Evaluation results
------------------


When the model is used for classification test dataset, achieves the following results:


Test results : ### BibTeX entry and citation info



> 
> Created by Ahmed Elnaggar/@Elnaggar\_AI | LinkedIn
> 
> 
>
TAGS
#transformers #pytorch #jax #t5 #text2text-generation #classification Spanish model #dataset-jrc-acquis #autotrain_compatible #endpoints_compatible #text-generation-inference #region-us 
 ### How to use


Here is how to use this model to classify legal text written in Spanish in PyTorch:


Training data
-------------


The legal\_t5\_small\_cls\_es model was trained on JRC-ACQUIS dataset consisting of 22 Thousand texts.


Training procedure
------------------


The model was trained on a single TPU Pod V3-8 for 250K steps in total, using sequence length 512 (batch size 64). It has a total of approximately 220M parameters and was trained using the encoder-decoder architecture. The optimizer used is AdaFactor with inverse square root learning rate schedule for pre-training. ### Preprocessing


An unigram model trained with 88M lines of text from the parallel corpus (of all possible language pairs) to get the vocabulary (with byte pair encoding), which is used with this model. ### Pretraining


Evaluation results
------------------


When the model is used for classification test dataset, achieves the following results:


Test results : ### BibTeX entry and citation info



> 
> Created by Ahmed Elnaggar/@Elnaggar\_AI | LinkedIn
> 
> 
>
passage: TAGS
#transformers #pytorch #jax #t5 #text2text-generation #classification Spanish model #dataset-jrc-acquis #autotrain_compatible #endpoints_compatible #text-generation-inference #region-us 
### How to use


Here is how to use this model to classify legal text written in Spanish in PyTorch:


Training data
-------------


The legal\_t5\_small\_cls\_es model was trained on JRC-ACQUIS dataset consisting of 22 Thousand texts.


Training procedure
------------------


The model was trained on a single TPU Pod V3-8 for 250K steps in total, using sequence length 512 (batch size 64). It has a total of approximately 220M parameters and was trained using the encoder-decoder architecture. The optimizer used is AdaFactor with inverse square root learning rate schedule for pre-training.### Preprocessing


An unigram model trained with 88M lines of text from the parallel corpus (of all possible language pairs) to get the vocabulary (with byte pair encoding), which is used with this model.### Pretraining


Evaluation results
------------------


When the model is used for classification test dataset, achieves the following results:


Test results :### BibTeX entry and citation info



> 
> Created by Ahmed Elnaggar/@Elnaggar\_AI | LinkedIn
> 
> 
>