create readme

README.md

@@ -0,0 +1,32 @@
+# Abstractive stage of PLSUM
+
+Abstractive stage of the Multi-document Extractive Summarization (MDAS) model for portuguese, PLSUM. To goal here is to create Wikipedia-like summaries from multiple sentences extracted in the previous stage of PLSUM (the extractive stage) from websites (input and output in portuguese).
+
+Project [github](https://github.com/aseidelo/wiki_generator/tree/cdd38918c2070200595b7cc64013d6d9ae4eddd0), and [paper](https://sol.sbc.org.br/index.php/eniac/article/view/18300).
+
+## Usage
+
+```
+  # query: summary title
+  query = 'torta de limão'
+  # sentences: list of relevant sentences extracted from multiple documents (i.e via TF-IDF or Textrank or anyother extractive summarization model)
+  sentences = [
+    'apostar na união do doce com o azedinho da torta de limão é quase certeza de acertar na sobremesa. E você pode escolher a forma mais tradicional com uma massa crocante de farinha de trigo, ou dar um toque de sofisticação servindo porções em taças individuais .',
+    'uma fruta no ponto e suculenta faz toda a diferença no preparo de qualquer receita . por isso , aqui vão algumas dicas para escolher o limão ideal para fazer a torta de limão perfeita . observe bem a casca. Uma casca lisa mostra que o limão está suculento . ela também precisa ser bem verde e brilhante ; preste atenção à maciez . aperte a fruta suavemente , se ele ceder ao toque é porque está macio e no ponto para ser consumido ; atenção para a firmeza . mesmo sendo macio , o limão precisa ser firme .',
+    'tudo indica que a torta de limão nasceu nos estados unidos , na cidade de Key West , no estado da Flórida , a fins do século xix. por isso , o nome original da receita em inglês – key lime pie – seria originário do nome da cidade e do limão usado naquela região , bem semelhante ao limão taiti consumido no brasil , mas com uma casca amarelada .',
+    'as tortas têm a massa como base que podem se estender pelas laterais da sobremesa e até por cima , parecida com uma crosta , mais crocante ou cremosa de acordo com os ingredientes utilizados . podem ser feitas com biscoitos doces com manteiga derretida , ou com uma mistura de farinha , sal , açúcar , manteiga derretida , gema e água . a massa da torta também pode ser feita com um bolo , e a partir daí se estrutura a torta . ',
+    'as tortas , geralmente precisam ficar no forno a 200 °  c , por cerca de 20 a 40 minutos . dependendo de cada tipo de forno , o tempo pode variar',
+    'para fazer uma massa de torta quase sempre é usada uma gordura como base , geralmente a manteiga . tem a gordura , a farinha , o trigo e às vezes , ovos na sua composição . durante o processo não pode incorporar calor e nem desenvolver o glúten em excesso , pois queremos como resultado uma massa que se dissolve na boca .'
+  ]
+
+  input_text = 'summarize: {}'.format(query) + sentences.join('</s>')
+  # input_text = "summarize: torta de limão </s> apostar na união do doce com o azedinho da torta de limão é quase certeza de acertar na sobremesa. E você pode escolher a forma mais tradicional com uma massa crocante de farinha de trigo, ou dar um toque de sofisticação servindo porções em taças individuais. </s> uma fruta no ponto e suculenta faz toda a diferença no preparo de qualquer receita . por isso , aqui vão algumas dicas para escolher o limão ideal para fazer a torta de limão perfeita . observe bem a casca. Uma casca lisa mostra que o limão está suculento . ela também precisa ser bem verde e brilhante ; preste atenção à maciez . aperte a fruta suavemente , se ele ceder ao toque é porque está macio e no ponto para ser consumido ; atenção para a firmeza . mesmo sendo macio , o limão precisa ser firme . </s> tudo indica que a torta de limão nasceu nos estados unidos , na cidade de Key West , no estado da Flórida , a fins do século xix. por isso , o nome original da receita em inglês – key lime pie – seria originário do nome da cidade e do limão usado naquela região , bem semelhante ao limão taiti consumido no brasil , mas com uma casca amarelada . </s> as tortas têm a massa como base que podem se estender pelas laterais da sobremesa e até por cima , parecida com uma crosta , mais crocante ou cremosa de acordo com os ingredientes utilizados . podem ser feitas com biscoitos doces com manteiga derretida , ou com uma mistura de farinha , sal , açúcar , manteiga derretida , gema e água . a massa da torta também pode ser feita com um bolo , e a partir daí se estrutura a torta . </s> as tortas , geralmente precisam ficar no forno a 200 °  c , por cerca de 20 a 40 minutos . dependendo de cada tipo de forno , o tempo pode variar . </s> para fazer uma massa de torta quase sempre é usada uma gordura como base , geralmente a manteiga . tem a gordura , a farinha , o trigo e às vezes , ovos na sua composição . durante o processo não pode incorporar calor e nem desenvolver o glúten em excesso , pois queremos como resultado uma massa que se dissolve na boca ."
+
+  tokenizer = T5TokenizerFast.from_pretrained("seidel/plsum-base-ptt5")
+  model = T5ForConditionalGeneration.from_pretrained("seidel/plsum-base-ptt5", use_cache=False)
+  x = tokenizer([input_text], padding="max_length", max_length=max_length, return_tensors="pt", truncation=True)
+  y = model.generate(**x)
+  print(tokenizer.batch_decode(y, skip_special_tokens=True))
+
+  # output: a torta de limão é um doce feito com a fruta limão , que é uma mistura de farinha de trigo , sal , açúcar , manteiga derretida , gema e água . a massa da torta pode ser feita com biscoitos doces , biscoitinhos ou bolos . é uma receita tradicional dos estados unidos , com a utilização de uma massa crocante , ou ainda com um bolo .
+```