
# legal_t5_small_summ_sv model

Model for Summarization of legal text written in Swedish. It was first released in
[this repository](https://github.com/agemagician/LegalTrans). This model is trained on three parallel corpus from jrc-acquis.


## Model description

legal_t5_small_summ_sv is based on the `t5-small` model and was trained on a large corpus of parallel text. This is a smaller model, which scales the baseline model of t5 down by using `dmodel = 512`, `dff = 2,048`, 8-headed attention, and only 6 layers each in the encoder and decoder. This variant has about 60 million parameters.

## Intended uses & limitations

The model could be used for summarization of legal texts written in Swedish.

### How to use

Here is how to use this model to summarize legal text written in Swedish in PyTorch:

```python
from transformers import AutoTokenizer, AutoModelWithLMHead, TranslationPipeline

pipeline = TranslationPipeline(
model=AutoModelWithLMHead.from_pretrained("SEBIS/legal_t5_small_summ_sv"),
tokenizer=AutoTokenizer.from_pretrained(pretrained_model_name_or_path = "SEBIS/legal_t5_small_summ_sv", do_lower_case=False, 
                                            skip_special_tokens=True),
    device=0
)

sv_text = "EUROPEISKA GEMENSKAPERNAS RÅD HAR ANTAGIT DENNA FÖRORDNING med beaktande av Fördraget om upprättandet av Europeiska ekonomiska gemenskapen, särskilt artiklarna 43 och 100a i detta, med beaktande av kommissionens förslag(1), i samarbete med Europaparlamentet(2), med beaktande av Ekonomiska och sociala kommitténs yttrande(3), och med beaktande av följande: Det bör införas förbud mot användning av blybaserade kapsyler eller blybaserad folie i förslutningar på förpackningar som används då aromatiserade viner, aromatiserade vinbaserade drycker och aromatiserade drinkar baserade på vinprodukter släpps ut på marknaden i syfte att undvika risken för kontaminering, särskilt vid oavsiktlig kontakt med sådana produkter, samt risken för miljöförorening på grund av avfall som innehåller bly från kapsyler och folie av detta slag. Tillverkarna och användarna av kapsylerna och folien i fråga bör dock ges tid att anpassa sig genom att förbudet inte tillämpas förrän från och med den 1 januari 1993. Det är även nödvändigt att tillåta att produkter som före detta datum tappats på buteljer med blybaserade kapsyler eller blybaserad folie får säljas till dess att lagren är uttömda. Vissa definitioner av aromatiserade vinbaserade drycker bör anpassas så att större hänsyn tas till traditionella framställningsmetoder. Förordning (EEG) nr 1601/91(4) bör därför ändras. HÄRIGENOM FÖRESKRIVS FÖLJANDE. Artikel 1 Förordning (EEG) nr 1601/91 ändras på följande sätt: 1. Artikel 2.3 a första stycket skall ersättas med följande: %quot%a) Sangria: en dryck som framställs av vin - som smaksatts genom tillsats av naturliga extrakt eller essenser av citrusfrukt, - med eller utan saft av sådan frukt, - eventuellt: - med tillsats av kryddor, - sötat, - med tillsats av CO2, och med en slutlig alkoholstyrka på under 12 volymprocent.%quot% 2. Artikel 2.3 e skall ersättas med följande: %quot%e) Kalte Ente: Smaksatt vinbaserad dryck som framställs genom att vin, pärlande vin eller pärlande vin med tillsatt CO2 blandas med mousserande vin eller mousserande vin med tillsatt CO2 och tillsätts naturlig citronsubstans eller extrakt av detta som måste ge en tydligt framträdande smak. Slutprodukten måste innehålla minst 25 volymprocent mousserande vin eller mousserande vin med tillsatt CO2.%quot% 3. Följande punkt skall införas i artikel 8: %quot%4.a Från och med den 1 januari 1993 får buteljerade produkter som omfattas av denna förordning inte saluhållas eller släppas ut på marknaden i förpackningar med förslutningar som täckts med blybaserade kapsyler eller blybaserad folie. Dock får produkter som före detta datum tappats på flaskor med detta slag av kapsyler eller folie avyttras till dess att lagren tömts.%quot% Artikel 2 Denna förordning träder i kraft den tredje dagen efter det att den har offentliggjorts i Europeiska gemenskapernas officiella tidning. Denna förordning är till alla delar bindande och direkt tillämplig i alla medlemsstater. Utfärdad i Bryssel den 9 november 1992. På rådets vägnar D. HURD Ordförande (1) EGT nr C 69, 18.3.1992, s. 11. (2) EGT nr C 241, 21.9.1992, s. 97 och beslut av den 28 oktober 1992. (3) EGT nr C 169, 6.7.1992, s. 1. (4) EGT nr L 149, 14.6.1991, s. 1. "

pipeline([sv_text], max_length=512)
```

## Training data

The legal_t5_small_summ_sv model was trained on [JRC-ACQUIS](https://wt-public.emm4u.eu/Acquis/index_2.2.html) dataset consisting of 19 Thousand texts.

## Training procedure

The model was trained on a single TPU Pod V3-8 for 250K steps in total, using sequence length 512 (batch size 64). It has a total of approximately 220M parameters and was trained using the encoder-decoder architecture. The optimizer used is AdaFactor with inverse square root learning rate schedule for pre-training.
### Preprocessing

An unigram model trained with 88M lines of text from the parallel corpus (of all possible language pairs) to get the vocabulary (with byte pair encoding), which is used with this model.

### Pretraining



## Evaluation results

When the model is used for classification test dataset, achieves the following results:

Test results :

| Model | Rouge1  | Rouge2 | Rouge Lsum |
|:-----:|:-----:|:-----:|:-----:|
|   legal_t5_small_summ_sv | 78.84|69.97 |77.59|


### BibTeX entry and citation info

> Created by [Ahmed Elnaggar/@Elnaggar_AI](https://twitter.com/Elnaggar_AI) | [LinkedIn](https://www.linkedin.com/in/prof-ahmed-elnaggar/)

{"language": "Swedish", "tags": ["summarization Swedish model"], "datasets": ["jrc-acquis"], "widget": [{"text": "EUROPEISKA GEMENSKAPERNAS R\u00c5D HAR ANTAGIT DENNA F\u00d6RORDNING med beaktande av F\u00f6rdraget om uppr\u00e4ttandet av Europeiska ekonomiska gemenskapen, s\u00e4rskilt artiklarna 43 och 100a i detta, med beaktande av kommissionens f\u00f6rslag(1), i samarbete med Europaparlamentet(2), med beaktande av Ekonomiska och sociala kommitt\u00e9ns yttrande(3), och med beaktande av f\u00f6ljande: Det b\u00f6r inf\u00f6ras f\u00f6rbud mot anv\u00e4ndning av blybaserade kapsyler eller blybaserad folie i f\u00f6rslutningar p\u00e5 f\u00f6rpackningar som anv\u00e4nds d\u00e5 aromatiserade viner, aromatiserade vinbaserade drycker och aromatiserade drinkar baserade p\u00e5 vinprodukter sl\u00e4pps ut p\u00e5 marknaden i syfte att undvika risken f\u00f6r kontaminering, s\u00e4rskilt vid oavsiktlig kontakt med s\u00e5dana produkter, samt risken f\u00f6r milj\u00f6f\u00f6rorening p\u00e5 grund av avfall som inneh\u00e5ller bly fr\u00e5n kapsyler och folie av detta slag. Tillverkarna och anv\u00e4ndarna av kapsylerna och folien i fr\u00e5ga b\u00f6r dock ges tid att anpassa sig genom att f\u00f6rbudet inte till\u00e4mpas f\u00f6rr\u00e4n fr\u00e5n och med den 1 januari 1993. Det \u00e4r \u00e4ven n\u00f6dv\u00e4ndigt att till\u00e5ta att produkter som f\u00f6re detta datum tappats p\u00e5 buteljer med blybaserade kapsyler eller blybaserad folie f\u00e5r s\u00e4ljas till dess att lagren \u00e4r utt\u00f6mda. Vissa definitioner av aromatiserade vinbaserade drycker b\u00f6r anpassas s\u00e5 att st\u00f6rre h\u00e4nsyn tas till traditionella framst\u00e4llningsmetoder. F\u00f6rordning (EEG) nr 1601/91(4) b\u00f6r d\u00e4rf\u00f6r \u00e4ndras. H\u00c4RIGENOM F\u00d6RESKRIVS F\u00d6LJANDE. Artikel 1 F\u00f6rordning (EEG) nr 1601/91 \u00e4ndras p\u00e5 f\u00f6ljande s\u00e4tt: 1. Artikel 2.3 a f\u00f6rsta stycket skall ers\u00e4ttas med f\u00f6ljande: %quot%a) Sangria: en dryck som framst\u00e4lls av vin - som smaksatts genom tillsats av naturliga extrakt eller essenser av citrusfrukt, - med eller utan saft av s\u00e5dan frukt, - eventuellt: - med tillsats av kryddor, - s\u00f6tat, - med tillsats av CO2, och med en slutlig alkoholstyrka p\u00e5 under 12 volymprocent.%quot% 2. Artikel 2.3 e skall ers\u00e4ttas med f\u00f6ljande: %quot%e) Kalte Ente: Smaksatt vinbaserad dryck som framst\u00e4lls genom att vin, p\u00e4rlande vin eller p\u00e4rlande vin med tillsatt CO2 blandas med mousserande vin eller mousserande vin med tillsatt CO2 och tills\u00e4tts naturlig citronsubstans eller extrakt av detta som m\u00e5ste ge en tydligt framtr\u00e4dande smak. Slutprodukten m\u00e5ste inneh\u00e5lla minst 25 volymprocent mousserande vin eller mousserande vin med tillsatt CO2.%quot% 3. F\u00f6ljande punkt skall inf\u00f6ras i artikel 8: %quot%4.a Fr\u00e5n och med den 1 januari 1993 f\u00e5r buteljerade produkter som omfattas av denna f\u00f6rordning inte saluh\u00e5llas eller sl\u00e4ppas ut p\u00e5 marknaden i f\u00f6rpackningar med f\u00f6rslutningar som t\u00e4ckts med blybaserade kapsyler eller blybaserad folie. Dock f\u00e5r produkter som f\u00f6re detta datum tappats p\u00e5 flaskor med detta slag av kapsyler eller folie avyttras till dess att lagren t\u00f6mts.%quot% Artikel 2 Denna f\u00f6rordning tr\u00e4der i kraft den tredje dagen efter det att den har offentliggjorts i Europeiska gemenskapernas officiella tidning. Denna f\u00f6rordning \u00e4r till alla delar bindande och direkt till\u00e4mplig i alla medlemsstater. Utf\u00e4rdad i Bryssel den 9 november 1992. P\u00e5 r\u00e5dets v\u00e4gnar D. HURD Ordf\u00f6rande (1) EGT nr C 69, 18.3.1992, s. 11. (2) EGT nr C 241, 21.9.1992, s. 97 och beslut av den 28 oktober 1992. (3) EGT nr C 169, 6.7.1992, s. 1. (4) EGT nr L 149, 14.6.1991, s. 1. "}]}
transformers pytorch jax t5 text2text-generation summarization Swedish model dataset:jrc-acquis autotrain_compatible endpoints_compatible text-generation-inference region:us
TAGS
#transformers #pytorch #jax #t5 #text2text-generation #summarization Swedish model #dataset-jrc-acquis #autotrain_compatible #endpoints_compatible #text-generation-inference #region-us 

legal\_t5\_small\_summ\_sv model
================================


Model for Summarization of legal text written in Swedish. It was first released in
this repository. This model is trained on three parallel corpus from jrc-acquis.


Model description
-----------------


legal\_t5\_small\_summ\_sv is based on the 't5-small' model and was trained on a large corpus of parallel text. This is a smaller model, which scales the baseline model of t5 down by using 'dmodel = 512', 'dff = 2,048', 8-headed attention, and only 6 layers each in the encoder and decoder. This variant has about 60 million parameters.


Intended uses & limitations
---------------------------


The model could be used for summarization of legal texts written in Swedish.


### How to use


Here is how to use this model to summarize legal text written in Swedish in PyTorch:


Training data
-------------


The legal\_t5\_small\_summ\_sv model was trained on JRC-ACQUIS dataset consisting of 19 Thousand texts.


Training procedure
------------------


The model was trained on a single TPU Pod V3-8 for 250K steps in total, using sequence length 512 (batch size 64). It has a total of approximately 220M parameters and was trained using the encoder-decoder architecture. The optimizer used is AdaFactor with inverse square root learning rate schedule for pre-training.


### Preprocessing


An unigram model trained with 88M lines of text from the parallel corpus (of all possible language pairs) to get the vocabulary (with byte pair encoding), which is used with this model.


### Pretraining


Evaluation results
------------------


When the model is used for classification test dataset, achieves the following results:


Test results :



### BibTeX entry and citation info



> 
> Created by Ahmed Elnaggar/@Elnaggar\_AI | LinkedIn
> 
> 
> 



### How to use


Here is how to use this model to summarize legal text written in Swedish in PyTorch:


Training data
-------------


The legal\_t5\_small\_summ\_sv model was trained on JRC-ACQUIS dataset consisting of 19 Thousand texts.


Training procedure
------------------


The model was trained on a single TPU Pod V3-8 for 250K steps in total, using sequence length 512 (batch size 64). It has a total of approximately 220M parameters and was trained using the encoder-decoder architecture. The optimizer used is AdaFactor with inverse square root learning rate schedule for pre-training. ### Preprocessing


An unigram model trained with 88M lines of text from the parallel corpus (of all possible language pairs) to get the vocabulary (with byte pair encoding), which is used with this model. ### Pretraining


Evaluation results
------------------


When the model is used for classification test dataset, achieves the following results:


Test results : ### BibTeX entry and citation info



> 
> Created by Ahmed Elnaggar/@Elnaggar\_AI | LinkedIn
> 
> 
>
TAGS
#transformers #pytorch #jax #t5 #text2text-generation #summarization Swedish model #dataset-jrc-acquis #autotrain_compatible #endpoints_compatible #text-generation-inference #region-us 
 ### How to use


Here is how to use this model to summarize legal text written in Swedish in PyTorch:


Training data
-------------


The legal\_t5\_small\_summ\_sv model was trained on JRC-ACQUIS dataset consisting of 19 Thousand texts.


Training procedure
------------------


The model was trained on a single TPU Pod V3-8 for 250K steps in total, using sequence length 512 (batch size 64). It has a total of approximately 220M parameters and was trained using the encoder-decoder architecture. The optimizer used is AdaFactor with inverse square root learning rate schedule for pre-training. ### Preprocessing


An unigram model trained with 88M lines of text from the parallel corpus (of all possible language pairs) to get the vocabulary (with byte pair encoding), which is used with this model. ### Pretraining


Evaluation results
------------------


When the model is used for classification test dataset, achieves the following results:


Test results : ### BibTeX entry and citation info



> 
> Created by Ahmed Elnaggar/@Elnaggar\_AI | LinkedIn
> 
> 
>
passage: TAGS
#transformers #pytorch #jax #t5 #text2text-generation #summarization Swedish model #dataset-jrc-acquis #autotrain_compatible #endpoints_compatible #text-generation-inference #region-us 
### How to use


Here is how to use this model to summarize legal text written in Swedish in PyTorch:


Training data
-------------


The legal\_t5\_small\_summ\_sv model was trained on JRC-ACQUIS dataset consisting of 19 Thousand texts.


Training procedure
------------------


The model was trained on a single TPU Pod V3-8 for 250K steps in total, using sequence length 512 (batch size 64). It has a total of approximately 220M parameters and was trained using the encoder-decoder architecture. The optimizer used is AdaFactor with inverse square root learning rate schedule for pre-training.### Preprocessing


An unigram model trained with 88M lines of text from the parallel corpus (of all possible language pairs) to get the vocabulary (with byte pair encoding), which is used with this model.### Pretraining


Evaluation results
------------------


When the model is used for classification test dataset, achieves the following results:


Test results :### BibTeX entry and citation info



> 
> Created by Ahmed Elnaggar/@Elnaggar\_AI | LinkedIn
> 
> 
>