src/display/about.py

from dataclasses import dataclass
from enum import Enum

# Constants
METRIC_ACC_NORM = "acc_norm"
METRIC_ACC = "acc"
LEADERBOARD_VERSION = "0.1"
BENCHMARK_URL = "https://huggingface.co/collections/le-leadboard/openllmfrenchleadboard-jeu-de-donnees-67126437539a23c65554fd88"
GITHUB_URL = "https://github.com/XXX" # Todo: mohamed replace with right github link

@dataclass
class Task:
    benchmark: str
    metric: str
    col_name: str

# English: Define tasks for the French LLM leaderboard
# Français : Définir les tâches pour le leaderboard des LLM français
class Tasks(Enum):
    task0 = Task("BBH", METRIC_ACC_NORM, "BBH")  # Big-Bench-Hard
    task1 = Task("GPQA", METRIC_ACC_NORM, "GPQA")  # Generalized Purpose Question Answering
    task2 = Task("IFEval", METRIC_ACC_NORM, "IFEval")  # Instruction Following Evaluation
    task3 = Task("MUSR", METRIC_ACC_NORM, "MUSR")  # Multi-task Summarization and Reasoning
    task4 = Task("GSM8K", METRIC_ACC, "GSM8K")  # Grade School Math 8k
    task5 = Task("MMMLU-fr", METRIC_ACC, "MMMLU-fr")  # Massive Multitask Language Understanding (French version)

TITLE = """<h1 align="center" id="space-title">OpenLLM French Leaderboard 🇫🇷</h1>"""

INTRODUCTION_TEXT = f"""
Chère communauté, vous voici sur le Leaderboard, une plateforme open-source dédiée à l'évaluation des grands modèles de langage (LLM) en français. Notre mission est de mettre en lumière spécifiquement les modèles qui excellent en langue française, en fournissant des benchmarks et standards qui permettent de donner le "La" sur les avancées techniques dans les LLM en français.
C'est une tâche immense, et nous appelons à toutes les forces vives en France et à l'étranger.
Si vous êtes développeur ou développeuse, nous vous invitons à soumettre votre modèle pour évaluation, et à contribuer ainsi à l'avancement de la communauté francophone en IA générative.

Nos benchmarks soigneusement sélectionnés par nos soins sont disponibles [ici]({BENCHMARK_URL}). Les évaluations sont générées et vérifiées à la fois par GPT-4 et par annotation humaine, garantissant ainsi la précision et la pertinence de nos résultats.

🚀 Soumettez votre Modèle 🚀
Vous avez développé un LLM en français ? Soumettez-le pour évaluation ! Bien que le processus soit actuellement manuel, nous travaillons à son automatisation avec le soutien de la communauté huggingface. Utilisez le 'Eleuther AI Language Model Evaluation Harness' pour une analyse approfondie des performances de votre modèle.

Rejoignez l'avant-garde de la technologie linguistique en français. Soumettez votre modèle et faisons progresser ensemble les LLM en français !
"""

LLM_BENCHMARKS_TEXT = f"""
## Comment cela fonctionne
### Reproductibilité
Nous utilisons une version adaptée de LM Evaluation Harness [github](https://github.com/EleutherAI/lm-evaluation-harness) pour garantir que les résultats de notre classement sont à la fois fiables et reproductibles. Pour plus d'informations, consultez notre [dépôt GitHub]({GITHUB_URL}).

### Comment reproduire les résultats :
1) Configurer le dépôt : Clonez notre version adaptée de LM Evaluation Harness et suivez les instructions d'installation.
2) Effectuer les évaluations : Utilisez la commande suivante, en l'ajustant à votre modèle :

```python
lm_eval --model vllm --model_args pretrained=votre-modele --tasks bbh,gpqa,ifeval,musr,gsm8k,mmmlu-fr --output /chemin/de/sortie
Remarques :

Nous utilisons actuellement "vllm", qui pourrait différer légèrement par rapport au standard de LM Evaluation Harness.
Tous les tests utilisent la même configuration que celle du classement original OpenLLMLeaderboard.

Les tâches et les paramètres de few-shot sont :

BBH : 3-shot, Big-Bench-Hard ({METRIC_ACC_NORM})
IFEval : 0-shot, Instruction Following Evaluation
GPQA : 0-shot, Generalized Purpose Question Answering ({METRIC_ACC_NORM})
MMLU-fr : 5-shot, version française du Massive Multitask Language Understanding
MuSR : 5-shot, Multi-task Summarization and Reasoning ({METRIC_ACC_NORM})
GSM8k : 5-shot, Grade School Math 8k ({METRIC_ACC})
"""


EVALUATION_QUEUE_TEXT = """
## Quelques bonnes pratiques avant de soumettre un modèle

### 1) Assurez-vous de pouvoir charger votre modèle et tokenizer en utilisant les AutoClasses :
```python
from transformers import AutoConfig, AutoModel, AutoTokenizer
config = AutoConfig.from_pretrained("nom de votre modèle", revision=revision)
model = AutoModel.from_pretrained("nom de votre modèle", revision=revision)
tokenizer = AutoTokenizer.from_pretrained("nom de votre modèle", revision=revision)
```
Si ce test échoue, suivez les messages d'erreur pour débuger votre modèle avant de le soumettre. Il est probable que votre modèle ait été mal uploadé/téléversé.

Note : assurez-vous que votre modèle est public !
Note : si votre modèle nécessite `use_remote_code=True`, nous ne prenons pas encore en charge cette option, mais nous travaillons à l'ajouter, c'est une initiative open-source, contactez nous au besoin pour accélérer le processus.

### 2) Convertissez les poids de votre modèle en [safetensors](https://huggingface.co/docs/safetensors/index)
Il s'agit d'un nouveau format pour stocker les poids qui est plus sûr et plus rapide à charger et à utiliser. Cela nous permettra également d'ajouter le nombre de paramètres de votre modèle à la `Vue Étendue` !

### 3) Assurez-vous que votre modèle dispose d'une licence ouverte !
Il s'agit d'un classement pour des LLMs ouverts, et nous aimerions que le plus de gens possible sachent qu'ils peuvent utiliser votre modèle 🤗

### 4) Complétez la fiche descriptive de votre modèle
Lorsque nous ajouterons des informations supplémentaires sur les modèles au classement, elles seront automatiquement tirées de la fiche descriptive du modèle.
## En cas d'échec du modèle
Si votre modèle apparaît dans la catégorie `FAILED`, son exécution a été interrompue.
Assurez-vous d'avoir suivi les étapes ci-dessus en premier.
Si tout est en ordre, vérifiez que vous pouvez lancer EleutherAIHarness sur votre modèle localement, en utilisant la commande ci-dessus sans modifications (vous pouvez ajouter `--limit` pour limiter le nombre d'exemples par tâche).
"""

CITATION_BUTTON_LABEL = "Copiez la citation suivante pour référencer ces résultats"

CITATION_BUTTON_TEXT = f"""
@misc{{openllm-French-leaderboard,
author = {{Alhajar, Mohamad and Lavallee, Alexandre}},
title = {{Open LLM French Leaderboard v{LEADERBOARD_VERSION}}},
year = {{2024}},
publisher = {{Alhajar, Mohamad and Lavallee, Alexandre}},
howpublished = "\url{{https://huggingface.co/spaces/le-leadboard/OpenLLMFrenchLeaderboard}}"
}}
"""