Carlosito16 commited on
Commit
5de6e2a
·
1 Parent(s): c1c0bf0

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +42 -0
app.py CHANGED
@@ -23,6 +23,7 @@ print('Libraries called succesfully!!!!"')
23
 
24
  #set the device agnostics code
25
  device = 'cuda' if torch.cuda.is_available() else 'cpu'
 
26
 
27
  # whitespace handler to be used in `t5 model`
28
  WHITESPACE_HANDLER = lambda k: re.sub('\s+', ' ', re.sub('\n+', ' ', k.strip()))
@@ -39,6 +40,8 @@ t5_model_name = "csebuetnlp/mT5_multilingual_XLSum"
39
  t5_tokenizer = AutoTokenizer.from_pretrained(t5_model_name)
40
  t5_model = AutoModelForSeq2SeqLM.from_pretrained(t5_model_name)
41
 
 
 
42
 
43
  ###
44
  import requests
@@ -93,6 +96,45 @@ Merci Carrefour Quetigny.
93
  ]
94
 
95
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
96
  ####
97
 
98
  with gr.Blocks() as demo:
 
23
 
24
  #set the device agnostics code
25
  device = 'cuda' if torch.cuda.is_available() else 'cpu'
26
+ test_article ="""\"Un nuage de fumée juste après l’explosion, le 1er juin 2019. Une déflagration dans une importante usine d’explosifs du centre de la Russie a fait au moins 79 blessés samedi 1er juin. L’explosion a eu lieu dans l’usine Kristall à Dzerzhinsk, une ville située à environ 400 kilomètres à l’est de Moscou, dans la région de Nijni-Novgorod. « Il y a eu une explosion technique dans l’un des ateliers, suivie d’un incendie qui s’est propagé sur une centaine de mètres carrés », a expliqué un porte-parole des services d’urgence. Des images circulant sur les réseaux sociaux montraient un énorme nuage de fumée après l’explosion. Cinq bâtiments de l’usine et près de 180 bâtiments résidentiels ont été endommagés par l’explosion, selon les autorités municipales. Une enquête pour de potentielles violations des normes de sécurité a été ouverte. Fragments de shrapnel Les blessés ont été soignés après avoir été atteints par des fragments issus de l’explosion, a précisé une porte-parole des autorités sanitaires citée par Interfax. « Nous parlons de blessures par shrapnel d’une gravité moyenne et modérée », a-t-elle précisé. Selon des représentants de Kristall, cinq personnes travaillaient dans la zone où s’est produite l’explosion. Elles ont pu être évacuées en sécurité. Les pompiers locaux ont rapporté n’avoir aucune information sur des personnes qui se trouveraient encore dans l’usine."""
27
 
28
  # whitespace handler to be used in `t5 model`
29
  WHITESPACE_HANDLER = lambda k: re.sub('\s+', ' ', re.sub('\n+', ' ', k.strip()))
 
40
  t5_tokenizer = AutoTokenizer.from_pretrained(t5_model_name)
41
  t5_model = AutoModelForSeq2SeqLM.from_pretrained(t5_model_name)
42
 
43
+ print(summarizer("T5", test_article))
44
+
45
 
46
  ###
47
  import requests
 
96
  ]
97
 
98
 
99
+
100
+ ###
101
+ def summarizer(dropdown_model, article_text):
102
+ """
103
+ Ruturs a summarized version from the full article based on the selected pretrained-model
104
+ """
105
+
106
+ if dropdown_model == 'camembert':
107
+ summary = camembert_generate_summary(article_text)
108
+
109
+ elif dropdown_model == 'T5':
110
+ summary = t5_generate_summary(article_text)
111
+
112
+ return summary
113
+
114
+ def extract_top_3(article):
115
+ nlp = spacy.load("fr_core_news_md")
116
+ # model = SentenceTransformer("dangvantuan/sentence-camembert-large") #
117
+
118
+ a= keyWordExtractor(article,
119
+ n_gram = 1,
120
+ top_n = 3,
121
+ ner = nlp,
122
+ similarity_model = model)
123
+ keyword = ", ".join(a.top_n_keywords) #to return ['a' , 'b'] >> "a, b"
124
+ proper_nonuns = ", ".join(a.proper_noun_candidates)
125
+
126
+ return keyword, proper_nonuns
127
+
128
+
129
+ def runall(dropdown_model, article_text):
130
+ summary = summarizer(dropdown_model, article_text)
131
+ keywords, proper_n = extract_top_3(article_text)
132
+
133
+ return summary, keywords, proper_n
134
+
135
+
136
+
137
+
138
  ####
139
 
140
  with gr.Blocks() as demo: