# mT5 Small for News Summarization ✂️🗞️ 🇮🇹

This repository contains the checkpoint for the [mT5 Small](https://huggingface.co/google/mt5-small) model fine-tuned on news summarization on the [Fanpage](https://huggingface.co/datasets/ARTeLab/fanpage) and [Il Post](https://huggingface.co/datasets/ARTeLab/ilpost) corpora as part of the experiments of the paper [IT5: Large-scale Text-to-text Pretraining for Italian Language Understanding and Generation](https://arxiv.org/abs/2203.03759) by [Gabriele Sarti](https://gsarti.com) and [Malvina Nissim](https://malvinanissim.github.io). 

A comprehensive overview of other released materials is provided in the [gsarti/it5](https://github.com/gsarti/it5) repository. Refer to the paper for additional details concerning the reported scores and the evaluation approach.

## Using the model

Model checkpoints are available for usage in Tensorflow, Pytorch and JAX. They can be used directly with pipelines as:

```python
from transformers import pipelines

newsum = pipeline("summarization", model='it5/mt5-small-news-summarization')
newsum("Dal 31 maggio è infine partita la piattaforma ITsART, a più di un anno da quando – durante il primo lockdown – il ministro della Cultura Dario Franceschini ne aveva parlato come di «una sorta di Netflix della cultura», pensata per «offrire a tutto il mondo la cultura italiana a pagamento». È presto per dare giudizi definitivi sulla piattaforma, e di certo sarà difficile farlo anche più avanti senza numeri precisi. Al momento, l’unica cosa che si può fare è guardare com’è fatto il sito, contare quanti contenuti ci sono (circa 700 “titoli”, tra film, documentari, spettacoli teatrali e musicali e altri eventi) e provare a dare un giudizio sul loro valore e sulla loro varietà. Intanto, una cosa notata da più parti è che diversi contenuti di ITsART sono a pagamento sulla piattaforma sebbene altrove, per esempio su RaiPlay, siano invece disponibili gratuitamente.")
>>> [{"generated_text": "ITsART, la Netflix della cultura italiana, parte da maggio. Film, documentari, spettacoli teatrali e musicali disponibili sul nuovo sito a pagamento."}]
```

or loaded using autoclasses:

```python
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("it5/mt5-small-news-summarization")
model = AutoModelForSeq2SeqLM.from_pretrained("it5/mt5-small-news-summarization")
```

If you use this model in your research, please cite our work as:

```bibtex
@article{sarti-nissim-2022-it5,
    title={{IT5}: Large-scale Text-to-text Pretraining for Italian Language Understanding and Generation},
    author={Sarti, Gabriele and Nissim, Malvina},
    journal={ArXiv preprint 2203.03759},
    url={https://arxiv.org/abs/2203.03759},
    year={2022},
	month={mar}
}
```
{"language": ["it"], "license": "apache-2.0", "tags": ["italian", "sequence-to-sequence", "fanpage", "ilpost", "summarization"], "datasets": ["ARTeLab/fanpage", "ARTeLab/ilpost"], "metrics": ["rouge"], "widget": [{"text": "Non lo vuole sposare. E\u2019 quanto emerge all\u2019interno dell\u2019ultima intervista di Raffaella Fico che, ringraziando Mancini per i buoni consigli elargiti al suo fidanzato, rimanda l\u2019idea del matrimonio per qualche anno ancora. La soubrette, che \u00e8 stata recentemente protagonista di una dedica di Supermario, non ha ancora intenzione di accasarsi perch\u00e9 \u00e8 sicura che per mettersi la fede al dito ci sia ancora tempo. Nonostante il suo Mario sia uno degli sportivi pi\u00f9 desiderati al mondo, l\u2019ex protagonista del Grande Fratello non ha alcuna intenzione di cedere seriamente alla sua corte. Solo qualche giorno fa, infatti, dopo l\u2019ultima bravata di Balotelli, Mancini gli aveva consigliato di sposare la sua Raffaella e di mettere la testa a posto. Chi pensava che sarebbe stato Mario a rispondere, per\u00f2, si \u00e8 sbagliato. A mettere le cose bene in chiaro \u00e8 la Fico che, intervistata dall\u2019emittente radiofonica Rtl 102.5, dice: \u00c8 presto per sposarsi, siamo ancora molto giovani. \u00c8 giusto che prima uno si realizzi nel proprio lavoro. E poi successivamente perch\u00e9 no, ci si pu\u00f2 anche pensare. Quando si \u00e8 giovani capita di fare qualche pazzia, quindi ci sta. Comunque i tabloid inglesi sono totalmente accaniti sulla sua vita privata quando poi dovrebbero interessarsi di pi\u00f9 di quello che fa sul campo. Lui non fa le cose con cattiveria, ma quando si \u00e8 giovani si fanno determinate cose senza stare a pensare se sono giuste o sbagliate. Mario ha gli obiettivi puntati addosso: pi\u00f9 per la sua vita privata che come giocatore. Per me pu\u00f2 anche andare in uno strip club, se non fa niente di male, con gli amici, per\u00f2 devo dire che alla fine torna sempre da me, sono la sua preferita."}, {"text": "Valerio \u00e8 giovanissimo ma gi\u00e0 una star. Fuori dall\u2019Ariston ragazzine e meno ragazzine passano ore anche sotto la pioggia per vederlo. Lui \u00e8 forte del suo talento e sicuro. Partecipa in gara tra i \u201cbig\u201d di diritto, per essere arrivato in finalissima nel programma Amici di Maria De Filippi e presenta il brano Per tutte le volte che scritta per lui da Pierdavide Carone. Valerio Scanu \u00e8 stato eliminato. Ma non \u00e8 detta l'ultima parola: il duetto di questa sera con Alessandra Amoroso potrebbe risollevarlo e farlo rientrare in gara. Che cosa \u00e8 successo alla giuria visto che sei stato eliminato anche se l\u2019esibizione era perfetta? Nn lo so. Sono andate bene le esibizioni, ero emozionato ma tranquillo. Ero contento ma ho cantato bene. Non sono passato e stasera ci sar\u00e0 il ballottaggio\u2026 Quali sono le differenze tra Amici e Sanremo? Sono due cose diverse. Amici ti prepara a salire sul palco di amici. A Sanremo ci devi arrivare\u2026 ho fatto pi\u00f9 di sessanta serate nel tour estivo, poi promozione del secondo disco. Una bella palestra. Sono cresciuto anche umanamente. Sono riuscito a percepire quello che il pubblico trasmette. L\u2019umilt\u00e0? Prima di tutto. Senn\u00f2 non sarei qui."}, {"text": "L\u2019azienda statunitense Broadcom, uno dei pi\u00f9 grandi produttori di semiconduttori al mondo, ha presentato un\u2019offerta per acquisire Qualcomm, altra grande societ\u00e0 degli Stati Uniti conosciuta soprattutto per la sua produzione di microprocessori Snapdragon (ARM), utilizzati in centinaia di milioni di smartphone in giro per il mondo. Broadcom ha proposto di acquistare ogni azione di Qualcomm al prezzo di 70 dollari, per un valore complessivo di circa 105 miliardi di dollari (130 miliardi se si comprendono 25 miliardi di debiti netti) . Se l\u2019operazione dovesse essere approvata, sarebbe una delle pi\u00f9 grandi acquisizioni di sempre nella storia del settore tecnologico degli Stati Uniti. Broadcom ha perfezionato per mesi la sua proposta di acquisto e, secondo i media statunitensi, avrebbe gi\u00e0 preso contatti con Qualcomm per trovare un accordo. Secondo gli analisti, Qualcomm potrebbe comunque opporsi all\u2019acquisizione perch\u00e9 il prezzo offerto \u00e8 di poco superiore a quello dell\u2019attuale valore delle azioni dell\u2019azienda. Ci potrebbero essere inoltre complicazioni sul piano dell\u2019antitrust da valutare, prima di un\u2019eventuale acquisizione."}, {"text": "Dal 31 maggio \u00e8 infine partita la piattaforma ITsART, a pi\u00f9 di un anno da quando \u2013 durante il primo lockdown \u2013 il ministro della Cultura Dario Franceschini ne aveva parlato come di \u00abuna sorta di Netflix della cultura\u00bb, pensata per \u00aboffrire a tutto il mondo la cultura italiana a pagamento\u00bb. \u00c8 presto per dare giudizi definitivi sulla piattaforma, e di certo sar\u00e0 difficile farlo anche pi\u00f9 avanti senza numeri precisi. Al momento, l\u2019unica cosa che si pu\u00f2 fare \u00e8 guardare com\u2019\u00e8 fatto il sito, contare quanti contenuti ci sono (circa 700 \u201ctitoli\u201d, tra film, documentari, spettacoli teatrali e musicali e altri eventi) e provare a dare un giudizio sul loro valore e sulla loro variet\u00e0. Intanto, una cosa notata da pi\u00f9 parti \u00e8 che diversi contenuti di ITsART sono a pagamento sulla piattaforma sebbene altrove, per esempio su RaiPlay, siano invece disponibili gratuitamente."}], "co2_eq_emissions": {"emissions": "17g", "source": "Google Cloud Platform Carbon Footprint", "training_type": "fine-tuning", "geographical_location": "Eemshaven, Netherlands, Europe", "hardware_used": "1 TPU v3-8 VM"}, "thumbnail": "https://gsarti.com/publication/it5/featured.png", "model-index": [{"name": "mt5-small-news-summarization", "results": [{"task": {"type": "news-summarization", "name": "News Summarization"}, "dataset": {"name": "NewsSum-IT", "type": "newssum-it"}, "metrics": [{"type": "rouge1", "value": 0.32, "name": "Test Rouge1 IlPost"}, {"type": "rouge2", "value": 0.154, "name": "Test Rouge2 IlPost"}, {"type": "rougeL", "value": 0.26, "name": "Test RougeL IlPost"}, {"type": "bertscore", "value": 0.38, "name": "Test BERTScore IlPost", "args": [{"model_type": "dbmdz/bert-base-italian-xxl-uncased"}, {"lang": "it"}, {"num_layers": 10}, {"rescale_with_baseline": true}, {"baseline_path": "bertscore_baseline_ita.tsv"}]}, {"type": "rouge1", "value": 0.326, "name": "Test Rouge1 Fanpage"}, {"type": "rouge2", "value": 0.145, "name": "Test Rouge2 Fanpage"}, {"type": "rougeL", "value": 0.236, "name": "Test RougeL Fanpage"}, {"type": "bertscore", "value": 0.37, "name": "Test BERTScore Fanpage", "args": [{"model_type": "dbmdz/bert-base-italian-xxl-uncased"}, {"lang": "it"}, {"num_layers": 10}, {"rescale_with_baseline": true}, {"baseline_path": "bertscore_baseline_ita.tsv"}]}]}]}]}
transformers pytorch tf jax tensorboard mt5 text2text-generation italian sequence-to-sequence fanpage ilpost summarization it dataset:ARTeLab/fanpage dataset:ARTeLab/ilpost arxiv:2203.03759 license:apache-2.0 autotrain_compatible endpoints_compatible text-generation-inference region:us
TAGS
#transformers #pytorch #tf #jax #tensorboard #mt5 #text2text-generation #italian #sequence-to-sequence #fanpage #ilpost #summarization #it #dataset-ARTeLab/fanpage #dataset-ARTeLab/ilpost #arxiv-2203.03759 #license-apache-2.0 #autotrain_compatible #endpoints_compatible #text-generation-inference #region-us 

# mT5 Small for News Summarization ️️ 🇮🇹

This repository contains the checkpoint for the mT5 Small model fine-tuned on news summarization on the Fanpage and Il Post corpora as part of the experiments of the paper IT5: Large-scale Text-to-text Pretraining for Italian Language Understanding and Generation by Gabriele Sarti and Malvina Nissim. 

A comprehensive overview of other released materials is provided in the gsarti/it5 repository. Refer to the paper for additional details concerning the reported scores and the evaluation approach.

## Using the model

Model checkpoints are available for usage in Tensorflow, Pytorch and JAX. They can be used directly with pipelines as:



or loaded using autoclasses:



If you use this model in your research, please cite our work as:


# mT5 Small for News Summarization ️️ 🇮🇹

This repository contains the checkpoint for the mT5 Small model fine-tuned on news summarization on the Fanpage and Il Post corpora as part of the experiments of the paper IT5: Large-scale Text-to-text Pretraining for Italian Language Understanding and Generation by Gabriele Sarti and Malvina Nissim. 

A comprehensive overview of other released materials is provided in the gsarti/it5 repository. Refer to the paper for additional details concerning the reported scores and the evaluation approach. ## Using the model

Model checkpoints are available for usage in Tensorflow, Pytorch and JAX. They can be used directly with pipelines as:



or loaded using autoclasses:



If you use this model in your research, please cite our work as:
TAGS
#transformers #pytorch #tf #jax #tensorboard #mt5 #text2text-generation #italian #sequence-to-sequence #fanpage #ilpost #summarization #it #dataset-ARTeLab/fanpage #dataset-ARTeLab/ilpost #arxiv-2203.03759 #license-apache-2.0 #autotrain_compatible #endpoints_compatible #text-generation-inference #region-us 
 # mT5 Small for News Summarization ️️ 🇮🇹

This repository contains the checkpoint for the mT5 Small model fine-tuned on news summarization on the Fanpage and Il Post corpora as part of the experiments of the paper IT5: Large-scale Text-to-text Pretraining for Italian Language Understanding and Generation by Gabriele Sarti and Malvina Nissim. 

A comprehensive overview of other released materials is provided in the gsarti/it5 repository. Refer to the paper for additional details concerning the reported scores and the evaluation approach. ## Using the model

Model checkpoints are available for usage in Tensorflow, Pytorch and JAX. They can be used directly with pipelines as:



or loaded using autoclasses:



If you use this model in your research, please cite our work as:
passage: TAGS
#transformers #pytorch #tf #jax #tensorboard #mt5 #text2text-generation #italian #sequence-to-sequence #fanpage #ilpost #summarization #it #dataset-ARTeLab/fanpage #dataset-ARTeLab/ilpost #arxiv-2203.03759 #license-apache-2.0 #autotrain_compatible #endpoints_compatible #text-generation-inference #region-us 
# mT5 Small for News Summarization ️️ 🇮🇹

This repository contains the checkpoint for the mT5 Small model fine-tuned on news summarization on the Fanpage and Il Post corpora as part of the experiments of the paper IT5: Large-scale Text-to-text Pretraining for Italian Language Understanding and Generation by Gabriele Sarti and Malvina Nissim. 

A comprehensive overview of other released materials is provided in the gsarti/it5 repository. Refer to the paper for additional details concerning the reported scores and the evaluation approach.## Using the model

Model checkpoints are available for usage in Tensorflow, Pytorch and JAX. They can be used directly with pipelines as:



or loaded using autoclasses:



If you use this model in your research, please cite our work as: