smaximo commited on
Commit
51c142c
·
1 Parent(s): 904d464

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +7 -20
app.py CHANGED
@@ -6,16 +6,13 @@ title = "Extractive QA Biomedicine"
6
  description = """
7
  <p style="text-align: justify;">
8
  Taking into account the existence of masked language models trained on Spanish Biomedical corpus, the objective of this project is to use them to generate extractice QA models for Biomedicine and compare their effectiveness with general masked language models.
9
-
10
  The models were trained on the SQUAD_ES Dataset (automatic translation of the Stanford Question Answering Dataset into Spanish). SQUAD v2 version was chosen in order to include questions that cannot be answered based on a provided context.
11
-
12
  The models were evaluated on https://huggingface.co/datasets/hackathon-pln-es/biomed_squad_es_v2 , a subset of the SQUAD_ES dev dataset containing questions related to the Biomedical domain.
13
  </p>
14
  """
15
  article = """
16
  <p>
17
  <h3>Results</h3>
18
-
19
  <table class="table table-bordered table-hover table-condensed">
20
  <thead><tr><th title="Field #1">Model</th>
21
  <th title="Field #2">Base Model Domain</th>
@@ -67,14 +64,11 @@ article = """
67
  <td align="right">27.1304</td>
68
  </tr>
69
  </tbody></table>
70
-
71
  <h3>Conclusion and Future Work</h3>
72
  If F1 score is considered, the results show that there may be no advantage in using domain-specific masked language models to generate Biomedical QA models. In any case, close results are observed for the biomedical roberta-based models in comparison with the general roberta-based model.
73
  <ul>
74
- However, if only unanswerable questions are taken into account, the model with the best F1 metric is hackathon-pln-es/roberta-base-biomedical-es-squad2-es.
75
-
76
  As future work, the following experiments could be carried out:
77
-
78
  <ul>
79
  <li>Use Biomedical masked-language models that were not generated from scratch from a Biomedical corpus but have been adapted from a general model, so as not to lose words and features of Spanish that are also present in Biomedical questions and articles.
80
  <li>Create a Biomedical training dataset with SQUAD v2 format.
@@ -82,9 +76,8 @@ As future work, the following experiments could be carried out:
82
  <li>Ensamble different models.
83
  </ul>
84
  </p>
85
-
86
  <h3>Team</h3>
87
- <a href="https://huggingface.co/smaximo">Santiago Maximo</a>
88
  """
89
 
90
  device = 0 if torch.cuda.is_available() else -1
@@ -94,8 +87,8 @@ MODEL_NAMES = ["hackathon-pln-es/roberta-base-bne-squad2-es",
94
  "hackathon-pln-es/biomedtra-small-es-squad2-es"]
95
 
96
  examples = [
97
- [MODEL_NAMES[3], "¿Qué entidades están incluidas en el sistema de salud federal?", "En el sistema federal de salud (incluyendo el VA, el Servicio de Salud de la India y el NIH), los farmacéuticos de atención ambulatoria reciben plena autoridad prescriptiva independiente. En algunos estados como Carolina del Norte y Nuevo México estos médicos farmacéuticos reciben una autoridad prescriptiva y diagnóstica colaborativa. En 2011 la Junta de Especialidades Farmacéuticas aprobó la práctica de farmacia ambulatoria como una certificación de junta separada. La designación oficial para los farmacéuticos que pasan el examen de certificación de la farmacia ambulatoria será la Junta Certificada de Ambulatorio Farmacéutica y estos farmacéuticos llevarán las iniciales BCACP"],
98
- [MODEL_NAMES[3], "¿Qué cidippido se utiliza como descripción de los ctenóforos en la mayoría de los libros de texto?","Para un filo con relativamente pocas especies, los ctenóforos tienen una amplia gama de planes corporales. Las especies costeras necesitan ser lo suficientemente duras para soportar las olas y remolcar partículas de sedimentos, mientras que algunas especies oceánicas son tan frágiles que es muy difícil capturarlas intactas para su estudio. Además, las especies oceánicas no conservan bien, y son conocidas principalmente por fotografías y notas de observadores. Por lo tanto, la mayor atención se ha concentrado recientemente en tres géneros costeros: Pleurobrachia, Beroe y Mnemiopsis. Al menos dos libros de texto basan sus descripciones de ctenóforos en los cidipépidos Pleurobrachia."]
99
  ]
100
 
101
  def getanswer(model_name, question, context):
@@ -106,13 +99,7 @@ def getanswer(model_name, question, context):
106
  'question': question,
107
  'context': context
108
  })
109
- text_hilight_output = [
110
- (context[:response['start']], None),
111
- (context[response['start']:response['end']], 'Answer'),
112
- (context[response['end']:], None)
113
-
114
- ]
115
- return response['answer'], response['score']
116
 
117
  face = gr.Interface(
118
  fn=getanswer,
@@ -125,8 +112,8 @@ face = gr.Interface(
125
  gr.inputs.Textbox(lines=10, placeholder="Context Here… ")
126
  ],
127
  outputs=[
128
- gr.outputs.Textbox(label="Answer"),
129
- gr.outputs.Label(num_top_classes=1, label='Score'),
130
  ],
131
  layout="vertical",
132
  title=title,
 
6
  description = """
7
  <p style="text-align: justify;">
8
  Taking into account the existence of masked language models trained on Spanish Biomedical corpus, the objective of this project is to use them to generate extractice QA models for Biomedicine and compare their effectiveness with general masked language models.
 
9
  The models were trained on the SQUAD_ES Dataset (automatic translation of the Stanford Question Answering Dataset into Spanish). SQUAD v2 version was chosen in order to include questions that cannot be answered based on a provided context.
 
10
  The models were evaluated on https://huggingface.co/datasets/hackathon-pln-es/biomed_squad_es_v2 , a subset of the SQUAD_ES dev dataset containing questions related to the Biomedical domain.
11
  </p>
12
  """
13
  article = """
14
  <p>
15
  <h3>Results</h3>
 
16
  <table class="table table-bordered table-hover table-condensed">
17
  <thead><tr><th title="Field #1">Model</th>
18
  <th title="Field #2">Base Model Domain</th>
 
64
  <td align="right">27.1304</td>
65
  </tr>
66
  </tbody></table>
 
67
  <h3>Conclusion and Future Work</h3>
68
  If F1 score is considered, the results show that there may be no advantage in using domain-specific masked language models to generate Biomedical QA models. In any case, close results are observed for the biomedical roberta-based models in comparison with the general roberta-based model.
69
  <ul>
70
+ However, if only unanswerable questions are taken into account, the model with the best F1 score is hackathon-pln-es/roberta-base-biomedical-es-squad2-es.
 
71
  As future work, the following experiments could be carried out:
 
72
  <ul>
73
  <li>Use Biomedical masked-language models that were not generated from scratch from a Biomedical corpus but have been adapted from a general model, so as not to lose words and features of Spanish that are also present in Biomedical questions and articles.
74
  <li>Create a Biomedical training dataset with SQUAD v2 format.
 
76
  <li>Ensamble different models.
77
  </ul>
78
  </p>
 
79
  <h3>Team</h3>
80
+ Santiago Maximo
81
  """
82
 
83
  device = 0 if torch.cuda.is_available() else -1
 
87
  "hackathon-pln-es/biomedtra-small-es-squad2-es"]
88
 
89
  examples = [
90
+ [MODEL_NAMES[0], "¿Dónde se atasca un fagocito en un patógeno?", "La fagocitosis es una característica importante de la inmunidad celular innata llevada a cabo por células llamadas fagocitos que absorben, o comen, patógenos o partículas. Los fagocitos generalmente patrullan el cuerpo en busca de patógenos, pero pueden ser llamados a lugares específicos por citoquinas. Una vez que un patógeno ha sido absorbido por un fagocito, queda atrapado en una vesícula intracelular llamada fagosoma, que posteriormente se fusiona con otra vesícula llamada lisosoma para formar un fagocito."],
91
+ [MODEL_NAMES[2], "¿Qué cidippido se utiliza como descripción de los ctenóforos en la mayoría de los libros de texto?","Para un filo con relativamente pocas especies, los ctenóforos tienen una amplia gama de planes corporales. Las especies costeras necesitan ser lo suficientemente duras para soportar las olas y remolcar partículas de sedimentos, mientras que algunas especies oceánicas son tan frágiles que es muy difícil capturarlas intactas para su estudio. Además, las especies oceánicas no conservan bien, y son conocidas principalmente por fotografías y notas de observadores. Por lo tanto, la mayor atención se ha concentrado recientemente en tres géneros costeros: Pleurobrachia, Beroe y Mnemiopsis. Al menos dos libros de texto basan sus descripciones de ctenóforos en los cidipépidos Pleurobrachia."]
92
  ]
93
 
94
  def getanswer(model_name, question, context):
 
99
  'question': question,
100
  'context': context
101
  })
102
+ return response['answer'],response['score']
 
 
 
 
 
 
103
 
104
  face = gr.Interface(
105
  fn=getanswer,
 
112
  gr.inputs.Textbox(lines=10, placeholder="Context Here… ")
113
  ],
114
  outputs=[
115
+ gr.outputs.Textbox(label="Answer"),
116
+ gr.outputs.Textbox(label="Score"),
117
  ],
118
  layout="vertical",
119
  title=title,