
# legal_t5_small_cls_sv model

Model for classification of legal text written in Swedish. It was first released in
[this repository](https://github.com/agemagician/LegalTrans). This model is trained on three parallel corpus from jrc-acquis.


## Model description

legal_t5_small_cls_sv is based on the `t5-small` model and was trained on a large corpus of parallel text. This is a smaller model, which scales the baseline model of t5 down by using `dmodel = 512`, `dff = 2,048`, 8-headed attention, and only 6 layers each in the encoder and decoder. This variant has about 60 million parameters.

## Intended uses & limitations

The model could be used for classification of legal texts written in Swedish.

### How to use

Here is how to use this model to classify legal text written in Swedish in PyTorch:

```python
from transformers import AutoTokenizer, AutoModelWithLMHead, TranslationPipeline

pipeline = TranslationPipeline(
model=AutoModelWithLMHead.from_pretrained("SEBIS/legal_t5_small_cls_sv"),
tokenizer=AutoTokenizer.from_pretrained(pretrained_model_name_or_path = "SEBIS/legal_t5_small_cls_sv", do_lower_case=False, 
                                            skip_special_tokens=True),
    device=0
)

sv_text = "Rådets förordning (EG) nr 1973/2002 av den 5 november 2002 om ändring av förordning (EG) nr 2026/97 om skydd mot subventionerad import från länder som inte är medlemmar i Europeiska gemenskapen EUROPEISKA UNIONENS RÅD HAR ANTAGIT DENNA FÖRORDNING med beaktande av Fördraget om upprättandet av Europeiska gemenskapen, särskilt artikel 133 i detta, med beaktande av kommissionens förslag, och av följande skäl: (1) Rådet antog genom förordning (EG) nr 2026/97(1) gemensamma regler för skydd mot subventionerad import från länder som inte är medlemmar i Europeiska gemenskapen. (2) I artikel 6 i förordning (EG) nr 2026/97 anges vissa riktlinjer för beräkning av förmånen för mottagaren, inbegripet det riktmärke för marknaden enligt vilket förmånens storlek beräknas. Det bör klargöras vilka bestämmelser som bör följas i de fall ett sådant riktmärke för marknaden inte finns i det berörda landet. I en sådan situation bör riktmärket fastställas genom anpassning av de villkor som råder i det berörda landet på grundval av de faktiska uppgifter som är tillgängliga där. Om detta inte är praktiskt genomförbart på grund av att det inte finns några uppgifter om sådana priser och kostnader eller på grund av att dessa är otillförlitliga, bör riktmärket fastställas med hjälp av de villkor som gäller på andra marknader. (3) I artikel 4 i förordning (EG) nr 2026/97 anges att vissa subventioner som rör miljö, forskning och regional utveckling inte är utjämningsbara. I artikel 10.5 och 10.6 i den förordningen anges vidare att undersökningar kan inledas för att avgöra om subventioner är icke-utjämningsbara och att de inte bör inledas om de rör vissa icke-utjämningsbara subventioner. Motsvarande bestämmelser i WTO-avtalet beträffande subventioner och utjämningsåtgärder var avsedda att löpa ut den 31 december 1999, såvida inte WTO-medlemsstaterna beslutade annat. Inget sådant beslut har fattats och de relevanta bestämmelserna är därför inte längre tillämpliga. Det är därför nödvändigt att fastställa huruvida bestämmelserna rörande icke-utjämningsbara subventioner i förordning (EG) nr 2026/97 bör fortsätta att gälla. Gemenskapens viktigaste handelspartner tillämpar inte längre dessa bestämmelser i sina utjämningsundersökningar. Av denna anledning och i syfte att upprätthålla balansen mellan rättigheter och skyldigheter enligt nämnda WTO-avtal bör de bestämmelser i förordning (EG) nr 2026/97 som rör icke-utjämningsbara subventioner upphöra att gälla. (4) I artikel 28.5 i förordning (EG) nr 2026/97 anges att om tillgängliga uppgifter används skall upplysningarna kontrolleras genom att jämföras med uppgifter från flera källor. Det bör specificeras att dessa källor också kan utgöras av uppgifter om världsmarknaden eller andra representativa marknader. (5) Ur rättssäkerhetssynpunkt är det lämpligt att dessa ändringar tillämpas så snart som möjligt i samband med alla nya undersökningar. HÄRIGENOM FÖRESKRIVS FÖLJANDE. Artikel 1 Förordning (EG) nr 2026/97 ändras enligt följande: 1. I artikel 6 d skall följande text läggas till: %quot%Om det inte finns några sådana rådande marknadsvillkor för produkterna eller tjänsterna i fråga i det land som tillhandahåller eller köper dem, som kan användas som lämpliga riktmärken, skall en av följande bestämmelser tillämpas: i) De villkor som råder i landet i fråga skall justeras på grundval av de faktiska kostnader, priser och andra faktorer som är tillgängliga i det landet med hjälp av ett lämpligt belopp som avspeglar normala marknadsvillkor. ii) I tillämpliga fall skall de villkor användas som råder på marknaden i ett annat land eller på världsmarknaden och som är tillgängliga för mottagaren.%quot% 2. Artikel 4 och artikel 10.5 och 10.6 skall utgå. 3. I artikel 28.5 skall följande mening läggas till: %quot%Sådana uppgifter kan, i tillämpliga fall, inbegripa relevanta upplysningar om världsmarknaden eller andra representativa marknader.%quot% Artikel 2 Denna förordning träder i kraft dagen efter det att den har offentliggjorts i Europeiska gemenskapernas officiella tidning. Den skall tillämpas i samband med alla undersökningar som inleds i enlighet med förordning (EG) nr 2026/97 efter dagen för ikraftträdandet av denna förordning. Denna förordning är till alla delar bindande och direkt tillämplig i alla medlemsstater. Utfärdad i Bryssel den 5 november 2002. På rådets vägnar T. Pedersen Ordförande (1) EGT L 288, 21.10.1997, s. 1."

pipeline([sv_text], max_length=512)
```

## Training data

The legal_t5_small_cls_sv model was trained on [JRC-ACQUIS](https://wt-public.emm4u.eu/Acquis/index_2.2.html) dataset consisting of 23 Thousand texts.

## Training procedure


The model was trained on a single TPU Pod V3-8 for 250K steps in total, using sequence length 512 (batch size 64). It has a total of approximately 220M parameters and was trained using the encoder-decoder architecture. The optimizer used is AdaFactor with inverse square root learning rate schedule for pre-training.

### Preprocessing

An unigram model trained with 88M lines of text from the parallel corpus (of all possible language pairs) to get the vocabulary (with byte pair encoding), which is used with this model.

### Pretraining



## Evaluation results

When the model is used for classification test dataset, achieves the following results:

Test results :

| Model | F1 score |
|:-----:|:-----:|
|   legal_t5_small_cls_sv | 0.6449|


### BibTeX entry and citation info

> Created by [Ahmed Elnaggar/@Elnaggar_AI](https://twitter.com/Elnaggar_AI) | [LinkedIn](https://www.linkedin.com/in/prof-ahmed-elnaggar/)

{"language": "Swedish", "tags": ["classification Swedish model"], "datasets": ["jrc-acquis"], "widget": [{"text": "R\u00e5dets f\u00f6rordning (EG) nr 1973/2002 av den 5 november 2002 om \u00e4ndring av f\u00f6rordning (EG) nr 2026/97 om skydd mot subventionerad import fr\u00e5n l\u00e4nder som inte \u00e4r medlemmar i Europeiska gemenskapen EUROPEISKA UNIONENS R\u00c5D HAR ANTAGIT DENNA F\u00d6RORDNING med beaktande av F\u00f6rdraget om uppr\u00e4ttandet av Europeiska gemenskapen, s\u00e4rskilt artikel 133 i detta, med beaktande av kommissionens f\u00f6rslag, och av f\u00f6ljande sk\u00e4l: (1) R\u00e5det antog genom f\u00f6rordning (EG) nr 2026/97(1) gemensamma regler f\u00f6r skydd mot subventionerad import fr\u00e5n l\u00e4nder som inte \u00e4r medlemmar i Europeiska gemenskapen. (2) I artikel 6 i f\u00f6rordning (EG) nr 2026/97 anges vissa riktlinjer f\u00f6r ber\u00e4kning av f\u00f6rm\u00e5nen f\u00f6r mottagaren, inbegripet det riktm\u00e4rke f\u00f6r marknaden enligt vilket f\u00f6rm\u00e5nens storlek ber\u00e4knas. Det b\u00f6r klarg\u00f6ras vilka best\u00e4mmelser som b\u00f6r f\u00f6ljas i de fall ett s\u00e5dant riktm\u00e4rke f\u00f6r marknaden inte finns i det ber\u00f6rda landet. I en s\u00e5dan situation b\u00f6r riktm\u00e4rket fastst\u00e4llas genom anpassning av de villkor som r\u00e5der i det ber\u00f6rda landet p\u00e5 grundval av de faktiska uppgifter som \u00e4r tillg\u00e4ngliga d\u00e4r. Om detta inte \u00e4r praktiskt genomf\u00f6rbart p\u00e5 grund av att det inte finns n\u00e5gra uppgifter om s\u00e5dana priser och kostnader eller p\u00e5 grund av att dessa \u00e4r otillf\u00f6rlitliga, b\u00f6r riktm\u00e4rket fastst\u00e4llas med hj\u00e4lp av de villkor som g\u00e4ller p\u00e5 andra marknader. (3) I artikel 4 i f\u00f6rordning (EG) nr 2026/97 anges att vissa subventioner som r\u00f6r milj\u00f6, forskning och regional utveckling inte \u00e4r utj\u00e4mningsbara. I artikel 10.5 och 10.6 i den f\u00f6rordningen anges vidare att unders\u00f6kningar kan inledas f\u00f6r att avg\u00f6ra om subventioner \u00e4r icke-utj\u00e4mningsbara och att de inte b\u00f6r inledas om de r\u00f6r vissa icke-utj\u00e4mningsbara subventioner. Motsvarande best\u00e4mmelser i WTO-avtalet betr\u00e4ffande subventioner och utj\u00e4mnings\u00e5tg\u00e4rder var avsedda att l\u00f6pa ut den 31 december 1999, s\u00e5vida inte WTO-medlemsstaterna beslutade annat. Inget s\u00e5dant beslut har fattats och de relevanta best\u00e4mmelserna \u00e4r d\u00e4rf\u00f6r inte l\u00e4ngre till\u00e4mpliga. Det \u00e4r d\u00e4rf\u00f6r n\u00f6dv\u00e4ndigt att fastst\u00e4lla huruvida best\u00e4mmelserna r\u00f6rande icke-utj\u00e4mningsbara subventioner i f\u00f6rordning (EG) nr 2026/97 b\u00f6r forts\u00e4tta att g\u00e4lla. Gemenskapens viktigaste handelspartner till\u00e4mpar inte l\u00e4ngre dessa best\u00e4mmelser i sina utj\u00e4mningsunders\u00f6kningar. Av denna anledning och i syfte att uppr\u00e4tth\u00e5lla balansen mellan r\u00e4ttigheter och skyldigheter enligt n\u00e4mnda WTO-avtal b\u00f6r de best\u00e4mmelser i f\u00f6rordning (EG) nr 2026/97 som r\u00f6r icke-utj\u00e4mningsbara subventioner upph\u00f6ra att g\u00e4lla. (4) I artikel 28.5 i f\u00f6rordning (EG) nr 2026/97 anges att om tillg\u00e4ngliga uppgifter anv\u00e4nds skall upplysningarna kontrolleras genom att j\u00e4mf\u00f6ras med uppgifter fr\u00e5n flera k\u00e4llor. Det b\u00f6r specificeras att dessa k\u00e4llor ocks\u00e5 kan utg\u00f6ras av uppgifter om v\u00e4rldsmarknaden eller andra representativa marknader. (5) Ur r\u00e4ttss\u00e4kerhetssynpunkt \u00e4r det l\u00e4mpligt att dessa \u00e4ndringar till\u00e4mpas s\u00e5 snart som m\u00f6jligt i samband med alla nya unders\u00f6kningar. H\u00c4RIGENOM F\u00d6RESKRIVS F\u00d6LJANDE. Artikel 1 F\u00f6rordning (EG) nr 2026/97 \u00e4ndras enligt f\u00f6ljande: 1. I artikel 6 d skall f\u00f6ljande text l\u00e4ggas till: %quot%Om det inte finns n\u00e5gra s\u00e5dana r\u00e5dande marknadsvillkor f\u00f6r produkterna eller tj\u00e4nsterna i fr\u00e5ga i det land som tillhandah\u00e5ller eller k\u00f6per dem, som kan anv\u00e4ndas som l\u00e4mpliga riktm\u00e4rken, skall en av f\u00f6ljande best\u00e4mmelser till\u00e4mpas: i) De villkor som r\u00e5der i landet i fr\u00e5ga skall justeras p\u00e5 grundval av de faktiska kostnader, priser och andra faktorer som \u00e4r tillg\u00e4ngliga i det landet med hj\u00e4lp av ett l\u00e4mpligt belopp som avspeglar normala marknadsvillkor. ii) I till\u00e4mpliga fall skall de villkor anv\u00e4ndas som r\u00e5der p\u00e5 marknaden i ett annat land eller p\u00e5 v\u00e4rldsmarknaden och som \u00e4r tillg\u00e4ngliga f\u00f6r mottagaren.%quot% 2. Artikel 4 och artikel 10.5 och 10.6 skall utg\u00e5. 3. I artikel 28.5 skall f\u00f6ljande mening l\u00e4ggas till: %quot%S\u00e5dana uppgifter kan, i till\u00e4mpliga fall, inbegripa relevanta upplysningar om v\u00e4rldsmarknaden eller andra representativa marknader.%quot% Artikel 2 Denna f\u00f6rordning tr\u00e4der i kraft dagen efter det att den har offentliggjorts i Europeiska gemenskapernas officiella tidning. Den skall till\u00e4mpas i samband med alla unders\u00f6kningar som inleds i enlighet med f\u00f6rordning (EG) nr 2026/97 efter dagen f\u00f6r ikrafttr\u00e4dandet av denna f\u00f6rordning. Denna f\u00f6rordning \u00e4r till alla delar bindande och direkt till\u00e4mplig i alla medlemsstater. Utf\u00e4rdad i Bryssel den 5 november 2002. P\u00e5 r\u00e5dets v\u00e4gnar T. Pedersen Ordf\u00f6rande (1) EGT L 288, 21.10.1997, s. 1."}]}
transformers pytorch jax t5 text2text-generation classification Swedish model dataset:jrc-acquis autotrain_compatible endpoints_compatible text-generation-inference region:us
TAGS
#transformers #pytorch #jax #t5 #text2text-generation #classification Swedish model #dataset-jrc-acquis #autotrain_compatible #endpoints_compatible #text-generation-inference #region-us 

legal\_t5\_small\_cls\_sv model
===============================


Model for classification of legal text written in Swedish. It was first released in
this repository. This model is trained on three parallel corpus from jrc-acquis.


Model description
-----------------


legal\_t5\_small\_cls\_sv is based on the 't5-small' model and was trained on a large corpus of parallel text. This is a smaller model, which scales the baseline model of t5 down by using 'dmodel = 512', 'dff = 2,048', 8-headed attention, and only 6 layers each in the encoder and decoder. This variant has about 60 million parameters.


Intended uses & limitations
---------------------------


The model could be used for classification of legal texts written in Swedish.


### How to use


Here is how to use this model to classify legal text written in Swedish in PyTorch:


Training data
-------------


The legal\_t5\_small\_cls\_sv model was trained on JRC-ACQUIS dataset consisting of 23 Thousand texts.


Training procedure
------------------


The model was trained on a single TPU Pod V3-8 for 250K steps in total, using sequence length 512 (batch size 64). It has a total of approximately 220M parameters and was trained using the encoder-decoder architecture. The optimizer used is AdaFactor with inverse square root learning rate schedule for pre-training.


### Preprocessing


An unigram model trained with 88M lines of text from the parallel corpus (of all possible language pairs) to get the vocabulary (with byte pair encoding), which is used with this model.


### Pretraining


Evaluation results
------------------


When the model is used for classification test dataset, achieves the following results:


Test results :



### BibTeX entry and citation info



> 
> Created by Ahmed Elnaggar/@Elnaggar\_AI | LinkedIn
> 
> 
> 



### How to use


Here is how to use this model to classify legal text written in Swedish in PyTorch:


Training data
-------------


The legal\_t5\_small\_cls\_sv model was trained on JRC-ACQUIS dataset consisting of 23 Thousand texts.


Training procedure
------------------


The model was trained on a single TPU Pod V3-8 for 250K steps in total, using sequence length 512 (batch size 64). It has a total of approximately 220M parameters and was trained using the encoder-decoder architecture. The optimizer used is AdaFactor with inverse square root learning rate schedule for pre-training. ### Preprocessing


An unigram model trained with 88M lines of text from the parallel corpus (of all possible language pairs) to get the vocabulary (with byte pair encoding), which is used with this model. ### Pretraining


Evaluation results
------------------


When the model is used for classification test dataset, achieves the following results:


Test results : ### BibTeX entry and citation info



> 
> Created by Ahmed Elnaggar/@Elnaggar\_AI | LinkedIn
> 
> 
>
TAGS
#transformers #pytorch #jax #t5 #text2text-generation #classification Swedish model #dataset-jrc-acquis #autotrain_compatible #endpoints_compatible #text-generation-inference #region-us 
 ### How to use


Here is how to use this model to classify legal text written in Swedish in PyTorch:


Training data
-------------


The legal\_t5\_small\_cls\_sv model was trained on JRC-ACQUIS dataset consisting of 23 Thousand texts.


Training procedure
------------------


The model was trained on a single TPU Pod V3-8 for 250K steps in total, using sequence length 512 (batch size 64). It has a total of approximately 220M parameters and was trained using the encoder-decoder architecture. The optimizer used is AdaFactor with inverse square root learning rate schedule for pre-training. ### Preprocessing


An unigram model trained with 88M lines of text from the parallel corpus (of all possible language pairs) to get the vocabulary (with byte pair encoding), which is used with this model. ### Pretraining


Evaluation results
------------------


When the model is used for classification test dataset, achieves the following results:


Test results : ### BibTeX entry and citation info



> 
> Created by Ahmed Elnaggar/@Elnaggar\_AI | LinkedIn
> 
> 
>
passage: TAGS
#transformers #pytorch #jax #t5 #text2text-generation #classification Swedish model #dataset-jrc-acquis #autotrain_compatible #endpoints_compatible #text-generation-inference #region-us 
### How to use


Here is how to use this model to classify legal text written in Swedish in PyTorch:


Training data
-------------


The legal\_t5\_small\_cls\_sv model was trained on JRC-ACQUIS dataset consisting of 23 Thousand texts.


Training procedure
------------------


The model was trained on a single TPU Pod V3-8 for 250K steps in total, using sequence length 512 (batch size 64). It has a total of approximately 220M parameters and was trained using the encoder-decoder architecture. The optimizer used is AdaFactor with inverse square root learning rate schedule for pre-training.### Preprocessing


An unigram model trained with 88M lines of text from the parallel corpus (of all possible language pairs) to get the vocabulary (with byte pair encoding), which is used with this model.### Pretraining


Evaluation results
------------------


When the model is used for classification test dataset, achieves the following results:


Test results :### BibTeX entry and citation info



> 
> Created by Ahmed Elnaggar/@Elnaggar\_AI | LinkedIn
> 
> 
>