Update Readme.md

README.md

@@ -6,36 +6,118 @@ tags:
 metrics:
 - accuracy
 model-index:
-- name: bertin_base_climate_detection_spa_v2
+- name: bertin_base_climate_detection_spa
   results: []
+datasets:
+- somosnlp/spa_climate_detection
+language:
+- es
+widget:
+- text: >
+    El uso excesivo de fertilizantes nitrogenados -un fenómeno frecuente en la
+    agricultura- da lugar a la producción de óxido nitroso, un potente gas de
+    efecto invernadero. Un uso más juicioso de los fertilizantes puede frenar
+    estas emisiones y reducir la producción de fertilizantes, que consume mucha
+    energía.
+pipeline_tag: text-classification
 ---
 
-<!-- This model card has been generated automatically according to the information the Trainer had access to. You
-should probably proofread and complete it, then remove this comment. -->
 
-# bertin_base_climate_detection_spa_v2
+# Model Card for bertin_base_climate_detection_spa_v2
 
-This model is a fine-tuned version of [bertin-project/bertin-roberta-base-spanish](https://huggingface.co/bertin-project/bertin-roberta-base-spanish) on an unknown dataset.
-It achieves the following results on the evaluation set:
-- Loss: 0.1592
-- Accuracy: 0.9705
+Este modelo es una version fine-tuning del modelo: [bertin-project/bertin-roberta-base-spanish](https://huggingface.co/bertin-project/bertin-roberta-base-spanish) utilizando el dataset somosnlp/spa_climate_detection.
+El modelo esta enfocado en la identificación de textos sobre tematicas relacionadas al cambio climatico y la sustentabilidad. Este proyecto fue basado en la versión en inglés de [climatebert/distilroberta-base-climate-detector](https://huggingface.co/climatebert/distilroberta-base-climate-detector). 
 
-## Model description
+La motivación del proyecto fue crear una repositorio en español sobre informacion o recursos en temas como: cambio climatico, sustentabilidad, calentamiento global, energía, etc; la idea es dar visibilidad a soluciones, ejemplos de buenas practicas ambientales o noticias que nos ayuden a combatir los efectos del cambio climatico; en cierta forma parecido a lo que el proyecto [Drawdown](https://drawdown.org/solutions/table-of-solutions) realiza pero aportando ejemplos de las soluciones o nuevas investigaciones en cada tema. Para lograr este
+objetivo, consideramos que la identificacion de textos que hablen sobre dichas tematicas es el primer paso. Algunas de las aplicaciones directas son: clasificacion de papers y publicaciones cientificas, noticias, opiniones.
 
-More information needed
+Futuros pasos: 
+- Se pretende crear un modelo avanzado que clasifique en base a sectores (token classification) los textos relacionados a cambio climatico, por ejemplo: clasificar en base a electricidad, agricultura, industria, transporte, etc.
+- Publicar un dataset basado en sectores.
+- Realizar un modelo Q/A que pueda brindar información relevante al usuario en la tematica de cambio climatico.
 
-## Intended uses & limitations
 
-More information needed
+## Descripción del modelo
+- **Desarrollado por:** [Gerardo Huerta](https://huggingface.co/Gerard-1705) [Gabriela Zuñiga](https://huggingface.co/Gabrielaz)
+- **Lenguaje(s):** Español
+- **Licencia:** cc-by-nc-sa-4.0
+- **Entrenado usando el modelo:** [bertin-project/bertin-roberta-base-spanish](https://huggingface.co/bertin-project/bertin-roberta-base-spanish)
 
-## Training and evaluation data
+### Usos directos:
+- Clasificación de noticias: Con este modelo se puede clasificar titulares de noticias relacionadas a las areas de cambio climatico.
+- Clasificación de papers: La identificación de textos científicos que divulgan soluciones y/o efectos del cambio climatico. Para este uso se puede utilizar el abstract de cada documento para realizar la identificación.
 
-More information needed
+### Usos inderectos:
+- Para la creación de repositorios de información con respecto a temas climaticos.
+- Este modelo puede funcionar de base para crear nuevos sistemas de clasificación de soluciones climáticas para divulgar los nuevos esfuerzos en combatir el cambio climático en los diferentes sectores.
+- Creacion de nuevos datasets que aborden el tema. 
 
-## Training procedure
+### Usos fuera del ámbito:
+- El uso para la clasificación de textos de fuentes no verificables o poco confiables y su divulgacion ejemplo: noticias falsas o desinformación.
 
-### Training hyperparameters
+### Sesgos, riesgos y limitaciones:
+En este punto no se han realizados estudios concretos sobre los sesgos y limitaciones, sin embargo hacemos los siguientes apuntes en base a experiencia previa y pruebas del modelo:
+- Hereda los sesgos y limitaciones del modelo base con el que fue entrenado, para mas detalles véase: [BERTIN: Efficient Pre-Training of a Spanish Language Model using Perplexity Sampling](http://journal.sepln.org/sepln/ojs/ojs/index.php/pln/article/view/6403). Sin embargo, no son tan evidentes de encontrar por el tipo de tarea en el que se esta implementando el modelo como lo es la clasificacion de texto.
+- Sesgos directos como por ejemplo el mayoritario uso de lenguaje de alto nivel en el dataset debido a que se utilizan textos extraidos de noticias, documentación legal de empresas que pueden complicar la identificación de textos con lenguajes de bajo nivel (ejemplo: coloquial). Para mitigar estos sesgos, se incluyeron en el dataset opiniones diversas sobre temas de cambio climatico extraidas de fuentes como redes sociales, adicional se hizo un rebalanceo de las etiquetas.
+- El dataset nos hereda otras limitaciones como por ejemplo: el modelo pierde rendimiento en textos cortos, esto es debido a que la mayoria de los textos utilizados en el dataset tienen una longitud larga de entre 200 - 500 palabras. Nuevamente se intentó mitigar estas limitaciones con la inclusión de textos cortos.
 
+### Recomendaciones
+- Como hemos mencionado, el modelo tiende a bajar el rendimiento en textos cortos, por lo que lo recomendable es establecer un criterio de selección de textos largos a los cuales se necesita identificar su temática.
+
+### Ejemplo sencillo de como utilizar el modelo 
+```python
+## Asumiendo tener instalados transformers, torch
+from transformers import AutoModelForSequenceClassification
+import torch
+from transformers import AutoTokenizer
+
+tokenizer = AutoTokenizer.from_pretrained("somosnlp/bertin_base_climate_detection_spa_v2")
+model = AutoModelForSequenceClassification.from_pretrained("somosnlp/bertin_base_climate_detection_spa_v2")
+
+# Traduccion del label 
+id2label = {0: "NEGATIVE", 1: "POSITIVE"}
+label2id = {"NEGATIVE": 0, "POSITIVE": 1}
+
+# Funcion de inferencia
+def inference_fun(Texto):
+    inputs = tokenizer(Texto, return_tensors="pt")
+    with torch.no_grad():
+        logits = model(**inputs).logits
+    predicted_class_id = logits.argmax().item()
+    output_tag = model.config.id2label[predicted_class_id]
+    return output_tag
+
+input_text = "El uso excesivo de fertilizantes nitrogenados -un fenómeno frecuente en la agricultura- da lugar a la producción de óxido nitroso, un potente gas de efecto invernadero. Un uso más juicioso de los fertilizantes puede frenar estas emisiones y reducir la producción de fertilizantes, que consume mucha energía."
+
+print(inference_fun(input_text))
+```
+
+
+## Detalles del entrenamiento:
+### Datos de entrenamiento: 
+Los datos del entrenamiento fueron obtenidos del dataset [somosnlp/spa_climate_detection](https://huggingface.co/datasets/somosnlp/spa_climate_detection).
+Los datos de entrenamiento representan alrededor de un 70% de los datos totales del dataset.
+
+Las etiquetas estan representadas de la siguiente forma:
+
+Etiquetas 1s
+
+1000   -  datos sobre parrafos extraidos de informes empresariales sobre el tema.
+
+1000   -  datos sobre opiniones diversas, en su mayorias textos cortos.
+
+Etiquetas 0s
+
+300    -  datos sobre parrafos extraidos de informes empresariales no relacionados al tema.
+
+1700   -  datos sobre noticias de temas diversos no relacionados al tema.
+
+
+### Speeds, Sizes, Times
+El modelo fue entrenado en 2 epocas con una duración total de 14.22 minutos de entrenamiento, 'train_runtime': 853.6759.
+Como dato adicional: No se utilizó precision mixta (FP16 ó BF16)
+
+### Hiperparametros de entrenamiento:
 The following hyperparameters were used during training:
 - learning_rate: 2e-05
 - train_batch_size: 16
@@ -45,7 +127,7 @@ The following hyperparameters were used during training:
 - lr_scheduler_type: linear
 - num_epochs: 2
 
-### Training results
+### Resultados del entrenamiento:
 
 | Training Loss | Epoch | Step | Validation Loss | Accuracy |
 |:-------------:|:-----:|:----:|:---------------:|:--------:|
@@ -53,9 +135,49 @@ The following hyperparameters were used during training:
 | No log        | 2.0   | 364  | 0.1592          | 0.9705   |
 
 
-### Framework versions
+## Detalles de la evaluación
+Los datos de evaluación fueron obtenidos del dataset [somosnlp/spa_climate_detection](https://huggingface.co/datasets/somosnlp/spa_climate_detection).
+Los datos de evaluación representan alrededor de un 30% de los datos totales del dataset.
+
+Las etiquetas estan representadas de la siguiente forma:
+
+Etiquetas 1s
+
+320    -  datos sobre parrafos extraidos de informes empresariales sobre el tema.
+
+520    -  datos sobre opiniones diversas, en su mayorias textos cortos.
+
+Etiquetas 0s
+
+80     -  datos sobre parrafos extraidos de informes empresariales no relacionados al tema.
 
+760    -  datos sobre noticias de temas diversos no relacionados al tema.
+
+
+**El modelo actual logra  los siguientes resultados en el set de evaluación:**
+- **Loss:** 0.1592
+- **Accuracy:** 0.9705
+
+### Metrica utilizada:
+La métrica utilizada para evaluar el modelo fue precisión
+
+
+## Impacto ambiental
+Utilizando la herramienta de [ML CO2 IMPACT](https://mlco2.github.io/impact/#co2eq) calculamos que el siguiente impacto ambiental debido al entrenamiento:
+-  Tipo de hardware: T4 
+-  Horas utilizadas (incluye pruebas e iteraciones para mejorar el modelo): 4 horas
+-  Proveedor de nube: Google Cloud (colab)
+-  Región computacional: us-east
+-  Huella de carbono emitida: 0.1kg CO2
+
+
+## Información Tecnica
+### Versiones del framework utilizados
 - Transformers 4.39.3
 - Pytorch 2.2.1+cu121
 - Datasets 2.18.0
 - Tokenizers 0.15.2
+
+### Hardware
+- GPU equivalente a T4
+- Para tomarlo como referencia, el modelo se entrenó en la version gratuita de Google Colab