
# bart-base-cnn-swe
This model is a W.I.P

## Model description
BART is a transformer encoder-encoder (seq2seq) model with a bidirectional (BERT-like) encoder and an autoregressive (GPT-like) decoder. BART is pre-trained by (1) corrupting text with an arbitrary noising function, and (2) learning a model to reconstruct the original text. This model is a fine-tuned version of [KBLab/bart-base-swedish-cased](https://huggingface.co/KBLab/bart-base-swedish-cased) on the [Gabriel/bart-base-cnn-swe](https://huggingface.co/datasets/Gabriel/cnn_daily_swe) dataset and can be used for summarization tasks.


## Intended uses & limitations

This model should only be used to fine-tune further on and summarization tasks.


```python
from transformers import pipeline
summarizer = pipeline("summarization", model="Gabriel/bart-base-cnn-swe")
ARTICLE = """
Frankrike lås Sebastien Chabal har nämnts för en farlig tackling på Englands Simon Shaw under lördagens VM semifinal i Paris. Simon Shaw lastar av trots att Raphael Ibanez, vänster, och Sebastien Chabal. Sale Sharks framåt kommer att ställas inför en disciplinär utfrågning på måndag efter hans tackling på motsatt andra-rower Shaw noterades genom att citera kommissionär Dennis Wheelahan. Chabal började matchen på ersättningsbänken, men kom i 26: e minuten att ersätta den skadade Fabien Pelous under värd Frankrikes 14-9 nederlag. Om han blir avstängd missar Chabal fredagens tredje och fjärde match på Parc des Princes. Samtidigt, Frankrike tränare Bernard Laporte sade att nederlaget var svårare att ta än Englands 24-7 seger i 2003 semifinalen. "År 2003 var de bättre än oss. I själva verket var de bättre än alla", sade Laporte, som lämnar sin roll att tillträda posten som junior idrottsminister i den franska regeringen. "De var som Nya Zeeland i denna turnering - favoriten, förutom att de gick hela vägen. Den här gången är det svårare för igår var det 50-50." Samtidigt, England -- försöker bli den första nationen att försvara VM-titeln -- avslöjade att stjärna kicker Jonny Wilkinson återigen hade problem med matchbollarna under semifinalen. Flughalvan, som uttryckte sin oro efter att ha kämpat med stöveln mot Australien, avvisade en boll innan han sparkade en vital trepoängare mot Frankrike. "Vi sa det inte förra veckan men en icke-match bollen kom ut på fältet i Marseille som Jonny sparkade," chef för rugby Rob Andrew sade. "Han tänkte inte på det när han sparkade det. Matchbollarna är märkta, numrerade ett till sex. Igår kväll hade de "World Cup semifinal England vs Frankrike" skrivet på dem. På matchkvällen var Jonny vaksam när han sparkade för mål att de faktiskt var matchbollar han sparkade. "Träningsbollarna förlorar tryck och form. Hela frågan förra veckan, arrangörerna accepterade alla sex matchbollar bör användas av båda sidor på torsdagen före matchen. " E-post till en vän.
"""
print(summarizer(ARTICLE, max_length=130, min_length=30, num_beams=10 ,do_sample=False))
>>> [{'summary_text': """ Frankrike lås Sebastien Chabal har nämnts för en farlig tackling på Englands Simon Shaw under VM semifinal i Paris. Sale Sharks framåt kommer att ställas inför en disciplinär utfrågning på måndag efter hans tackling på motsatt andra - rower Shaw noterades genom att citera kommissionär Dennis Wheelahan. Om Chabal blir avstängd missar Chabal fredagens tredje och fjärde match på Parc des Princes."""}]
```

## Training procedure

### Training hyperparameters

The following hyperparameters were used during training:
- learning_rate: 5e-05
- train_batch_size: 8
- eval_batch_size: 8
- seed: 42
- gradient_accumulation_steps: 2
- total_train_batch_size: 16
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 2*2 = 4
- mixed_precision_training: Native AMP

### Training results

| Training Loss | Epoch | Step  | Validation Loss | Rouge1  | Rouge2  | Rougel  | Rougelsum | Gen Len |
|:-------------:|:-----:|:-----:|:---------------:|:-------:|:-------:|:-------:|:---------:|:-------:|
| 2.2349        | 1.0   | 17944 | 2.0643          | 21.9564 | 10.2133 | 17.9958 | 20.6502   | 19.9992 |
| 2.0726        | 2.0   | 35888 | 2.0253          | 22.0568 | 10.3302 | 18.0648 | 20.7482   | 19.9996 |
| 1.8658        | 3.0   | 53832 | 2.0333          | 22.0871 | 10.2902 | 18.0577 | 20.7082   | 19.998  |
| 1.8121        | 4.0   | 71776 | 1.9759          | 22.2046 | 10.4332 | 18.1753 | 20.846    | 19.9971 |


### Framework versions

- Transformers 4.22.1
- Pytorch 1.12.1+cu113
- Datasets 2.4.0
- Tokenizers 0.12.1

{"language": "sv", "license": "mit", "tags": ["summarization"], "datasets": ["Gabriel/cnn_daily_swe"], "widget": [{"text": "Frankrike l\u00e5s Sebastien Chabal har n\u00e4mnts f\u00f6r en farlig tackling p\u00e5 Englands Simon Shaw under l\u00f6rdagens VM semifinal i Paris. Simon Shaw lastar av trots att Raphael Ibanez, v\u00e4nster, och Sebastien Chabal. Sale Sharks fram\u00e5t kommer att st\u00e4llas inf\u00f6r en disciplin\u00e4r utfr\u00e5gning p\u00e5 m\u00e5ndag efter hans tackling p\u00e5 motsatt andra-rower Shaw noterades genom att citera kommission\u00e4r Dennis Wheelahan. Chabal b\u00f6rjade matchen p\u00e5 ers\u00e4ttningsb\u00e4nken, men kom i 26: e minuten att ers\u00e4tta den skadade Fabien Pelous under v\u00e4rd Frankrikes 14-9 nederlag. Om han blir avst\u00e4ngd missar Chabal fredagens tredje och fj\u00e4rde match p\u00e5 Parc des Princes. Samtidigt, Frankrike tr\u00e4nare Bernard Laporte sade att nederlaget var sv\u00e5rare att ta \u00e4n Englands 24-7 seger i 2003 semifinalen. \"\u00c5r 2003 var de b\u00e4ttre \u00e4n oss. I sj\u00e4lva verket var de b\u00e4ttre \u00e4n alla\", sade Laporte, som l\u00e4mnar sin roll att tilltr\u00e4da posten som junior idrottsminister i den franska regeringen. \"De var som Nya Zeeland i denna turnering - favoriten, f\u00f6rutom att de gick hela v\u00e4gen. Den h\u00e4r g\u00e5ngen \u00e4r det sv\u00e5rare f\u00f6r ig\u00e5r var det 50-50.\" Samtidigt, England -- f\u00f6rs\u00f6ker bli den f\u00f6rsta nationen att f\u00f6rsvara VM-titeln -- avsl\u00f6jade att stj\u00e4rna kicker Jonny Wilkinson \u00e5terigen hade problem med matchbollarna under semifinalen. Flughalvan, som uttryckte sin oro efter att ha k\u00e4mpat med st\u00f6veln mot Australien, avvisade en boll innan han sparkade en vital trepo\u00e4ngare mot Frankrike. \"Vi sa det inte f\u00f6rra veckan men en icke-match bollen kom ut p\u00e5 f\u00e4ltet i Marseille som Jonny sparkade,\" chef f\u00f6r rugby Rob Andrew sade. \"Han t\u00e4nkte inte p\u00e5 det n\u00e4r han sparkade det. Matchbollarna \u00e4r m\u00e4rkta, numrerade ett till sex. Ig\u00e5r kv\u00e4ll hade de \"World Cup semifinal England vs Frankrike\" skrivet p\u00e5 dem. P\u00e5 matchkv\u00e4llen var Jonny vaksam n\u00e4r han sparkade f\u00f6r m\u00e5l att de faktiskt var matchbollar han sparkade. \"Tr\u00e4ningsbollarna f\u00f6rlorar tryck och form. Hela fr\u00e5gan f\u00f6rra veckan, arrang\u00f6rerna accepterade alla sex matchbollar b\u00f6r anv\u00e4ndas av b\u00e5da sidor p\u00e5 torsdagen f\u00f6re matchen. \" E-post till en v\u00e4n."}], "inference": {"parameters": {"temperature": 0.7, "min_length": 30, "max_length": 120}}, "train-eval-index": [{"config": "Gabriel--xsum_swe", "task": "summarization", "task_id": "summarization", "splits": {"eval_split": "test"}, "col_mapping": {"document": "text", "summary": "target"}}], "co2_eq_emissions": {"emissions": 0.0334, "source": "Google Colab", "training_type": "fine-tuning", "geographical_location": "Fredericia, Denmark", "hardware_used": "Tesla P100-PCIE-16GB"}, "model-index": [{"name": "bart-base-cnn-swe", "results": [{"task": {"type": "summarization", "name": "summarization"}, "dataset": {"name": "Gabriel/cnn_daily_swe", "type": "Gabriel/cnn_daily_swe", "split": "validation"}, "metrics": [{"type": "rouge-1", "value": 22.2046, "name": "Validation ROGUE-1", "verified": true, "verifyToken": "eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiY2U4YjhhNzhjYmQ2ODY2YWU1NzY5Y2RkYzIzNTUxOTA0MmUwZjNmYTdjNmE5OWNkODhhYWExOGNkOGJkNTBkZiIsInZlcnNpb24iOjF9.lEMnUJOeoa5LepNmjsRflkQmtJAaVo03ocSs9JJuxbLeu4x0oY-XsML3O1IfDJQuvlO4WHZviykRLabkhTtbBQ"}, {"type": "rouge-2", "value": 10.4332, "name": "Validation ROGUE-2", "verified": true, "verifyToken": "eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiODkzOGYxNTNiMjc1MGIyODAzY2Q2MjA0NTg1N2NjODc5YWZlZGI5Y2Q3ZDAwNTQyMjA4MmJjOGUxYzVlOGFlNyIsInZlcnNpb24iOjF9.lpn8VP1_AvHXvyYDJHEfMoIpb-_B5fXvMaMQ249Tngo3HBPrexPmhEvGqj1HVnVGxVFyDFhF2tYh4AhThguoBQ"}, {"type": "rouge-l", "value": 18.1753, "name": "Validation ROGUE-L", "verified": true, "verifyToken": "eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiMWRkM2ViZjRmYmNkZTI1NWE1ODUzNGMwZTYzNzU1Yjk1ODM3NDNkZWMwMjc1ZGJmZGZkNWQxYThmN2ZiZDhjZCIsInZlcnNpb24iOjF9.6ENOPrpZ245V0jcZtiSOmWwdr06W9prPAyE9Qjnn5meiE7yoc0T0oquE9d8SLOfFqYcIbCb6vVUSVxFewj_VAA"}, {"type": "rouge-l-sum", "value": 20.846, "name": "Validation ROGUE-L-SUM", "verified": true, "verifyToken": "eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiMDJjODc0MTQwYTM5OGRmMjE2ODUxNGM4YmYxMTJlNDE1MzI0M2Q2ZGJkZDlkOWE2NTMxNjI0YjZjMDQwYjNjNyIsInZlcnNpb24iOjF9.FvNGRVWTCJSafucQKp3eW1B__SAHCL7qHBzooe8ufYIijnNuope0W7AIphex1WMT_9o_Unni2vPGFUvT2o9qAg"}]}]}]}
transformers pytorch tensorboard bart text2text-generation summarization sv dataset:Gabriel/cnn_daily_swe license:mit model-index co2_eq_emissions autotrain_compatible endpoints_compatible has_space region:us
TAGS
#transformers #pytorch #tensorboard #bart #text2text-generation #summarization #sv #dataset-Gabriel/cnn_daily_swe #license-mit #model-index #co2_eq_emissions #autotrain_compatible #endpoints_compatible #has_space #region-us 

bart-base-cnn-swe
=================


This model is a W.I.P


Model description
-----------------


BART is a transformer encoder-encoder (seq2seq) model with a bidirectional (BERT-like) encoder and an autoregressive (GPT-like) decoder. BART is pre-trained by (1) corrupting text with an arbitrary noising function, and (2) learning a model to reconstruct the original text. This model is a fine-tuned version of KBLab/bart-base-swedish-cased on the Gabriel/bart-base-cnn-swe dataset and can be used for summarization tasks.


Intended uses & limitations
---------------------------


This model should only be used to fine-tune further on and summarization tasks.


Training procedure
------------------


### Training hyperparameters


The following hyperparameters were used during training:


* learning\_rate: 5e-05
* train\_batch\_size: 8
* eval\_batch\_size: 8
* seed: 42
* gradient\_accumulation\_steps: 2
* total\_train\_batch\_size: 16
* optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
* lr\_scheduler\_type: linear
* num\_epochs: 2\*2 = 4
* mixed\_precision\_training: Native AMP


### Training results



### Framework versions


* Transformers 4.22.1
* Pytorch 1.12.1+cu113
* Datasets 2.4.0
* Tokenizers 0.12.1



### Training hyperparameters


The following hyperparameters were used during training:


* learning\_rate: 5e-05
* train\_batch\_size: 8
* eval\_batch\_size: 8
* seed: 42
* gradient\_accumulation\_steps: 2
* total\_train\_batch\_size: 16
* optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
* lr\_scheduler\_type: linear
* num\_epochs: 2\*2 = 4
* mixed\_precision\_training: Native AMP ### Training results ### Framework versions


* Transformers 4.22.1
* Pytorch 1.12.1+cu113
* Datasets 2.4.0
* Tokenizers 0.12.1
TAGS
#transformers #pytorch #tensorboard #bart #text2text-generation #summarization #sv #dataset-Gabriel/cnn_daily_swe #license-mit #model-index #co2_eq_emissions #autotrain_compatible #endpoints_compatible #has_space #region-us 
 ### Training hyperparameters


The following hyperparameters were used during training:


* learning\_rate: 5e-05
* train\_batch\_size: 8
* eval\_batch\_size: 8
* seed: 42
* gradient\_accumulation\_steps: 2
* total\_train\_batch\_size: 16
* optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
* lr\_scheduler\_type: linear
* num\_epochs: 2\*2 = 4
* mixed\_precision\_training: Native AMP ### Training results ### Framework versions


* Transformers 4.22.1
* Pytorch 1.12.1+cu113
* Datasets 2.4.0
* Tokenizers 0.12.1
passage: TAGS
#transformers #pytorch #tensorboard #bart #text2text-generation #summarization #sv #dataset-Gabriel/cnn_daily_swe #license-mit #model-index #co2_eq_emissions #autotrain_compatible #endpoints_compatible #has_space #region-us 
### Training hyperparameters


The following hyperparameters were used during training:


* learning\_rate: 5e-05
* train\_batch\_size: 8
* eval\_batch\_size: 8
* seed: 42
* gradient\_accumulation\_steps: 2
* total\_train\_batch\_size: 16
* optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
* lr\_scheduler\_type: linear
* num\_epochs: 2\*2 = 4
* mixed\_precision\_training: Native AMP### Training results### Framework versions


* Transformers 4.22.1
* Pytorch 1.12.1+cu113
* Datasets 2.4.0
* Tokenizers 0.12.1