fix - alexlav - update about.py

src/display/about.py

@@ -1,74 +1,69 @@
 from dataclasses import dataclass
 from enum import Enum
 
-# Constants
-METRIC_ACC_NORM = "acc_norm"
-METRIC_ACC = "acc"
-LEADERBOARD_VERSION = "0.1"
-BENCHMARK_URL = "https://huggingface.co/collections/le-leadboard/openllmfrenchleadboard-jeu-de-donnees-67126437539a23c65554fd88"
-GITHUB_URL = "https://github.com/XXX" # Todo: mohamed replace with right github link
-
 @dataclass
 class Task:
     benchmark: str
     metric: str
     col_name: str
 
-# English: Define tasks for the French LLM leaderboard
-# Français : Définir les tâches pour le leaderboard des LLM français
-class Tasks(Enum):
-    task0 = Task("BBH", METRIC_ACC_NORM, "BBH")  # Big-Bench-Hard
-    task1 = Task("GPQA", METRIC_ACC_NORM, "GPQA")  # Generalized Purpose Question Answering
-    task2 = Task("IFEval", METRIC_ACC_NORM, "IFEval")  # Instruction Following Evaluation
-    task3 = Task("MUSR", METRIC_ACC_NORM, "MUSR")  # Multi-task Summarization and Reasoning
-    task4 = Task("GSM8K", METRIC_ACC, "GSM8K")  # Grade School Math 8k
-    task5 = Task("MMMLU-fr", METRIC_ACC, "MMMLU-fr")  # Massive Multitask Language Understanding (French version)
-
-TITLE = """<h1 align="center" id="space-title">OpenLLM French Leaderboard 🇫🇷</h1>"""
 
-INTRODUCTION_TEXT = f"""
+# Init: to update with your specific keys
+class Tasks(Enum):
+    # task_key in the json file, metric_key in the json file, name to display in the leaderboard 
+    task0 = Task("BBH", "metric_name", "BBH")
+    task1 = Task("GPQA", "metric_name", "GPQA")
+    task2 = Task("IFEval", "metric_name", "IFEval")
+    task3 = Task("MUSR", "metric_name", "MUSR")
+    task4 = Task("GSM8K", "metric_name", "GSM8K")
+    task5 = Task("MMMLU-fr", "metric_name", "MMMLU-fr")
+    
+
+# Your leaderboard name
+TITLE = """<h1 align="center" id="space-title"> OpenLLM French leaderboard 🇫🇷</h1>"""
+
+# What does your leaderboard evaluate?
+INTRODUCTION_TEXT = """
 Chère communauté, vous voici sur le Leaderboard, une plateforme open-source dédiée à l'évaluation des grands modèles de langage (LLM) en français. Notre mission est de mettre en lumière spécifiquement les modèles qui excellent en langue française, en fournissant des benchmarks et standards qui permettent de donner le "La" sur les avancées techniques dans les LLM en français.
-C'est une tâche immense, et nous appelons à toutes les forces vives en France et à l'étranger.
+
 Si vous êtes développeur ou développeuse, nous vous invitons à soumettre votre modèle pour évaluation, et à contribuer ainsi à l'avancement de la communauté francophone en IA générative.
 
-Nos benchmarks soigneusement sélectionnés par nos soins sont disponibles [ici]({BENCHMARK_URL}). Les évaluations sont générées et vérifiées à la fois par GPT-4 et par annotation humaine, garantissant ainsi la précision et la pertinence de nos résultats.
+Nos benchmarks soigneusement sélectionnés par nos soins sont disponibles [ici](https://huggingface.co/collections/le-leadboard/openllmfrenchleadboard-jeu-de-donnees-67126437539a23c65554fd88). Les évaluations sont générées et vérifiées à la fois par GPT-4 et par annotation humaine, garantissant ainsi la précision et la pertinence de nos résultats.
 
 🚀 Soumettez votre Modèle 🚀
-Vous avez développé un LLM en français ? Soumettez-le pour évaluation ! Bien que le processus soit actuellement manuel, nous travaillons à son automatisation avec le soutien de la communauté huggingface. Utilisez le 'Eleuther AI Language Model Evaluation Harness' pour une analyse approfondie des performances de votre modèle.
 
-Rejoignez l'avant-garde de la technologie linguistique en français. Soumettez votre modèle et faisons progresser ensemble les LLM en français !
+Vous avez développé un LLM en français ? Soumettez-le pour évaluation ! Bien que le processus soit actuellement manuel, nous travaillons à son automatisation avec le soutien de la communauté huggingface. Utilisez le 'Eleuther AI Language Model Evaluation Harness' pour une analyse approfondie des performances de votre modèle.
+C'est une tâche immense, et nous appelons à toutes les forces vives en France et à l'étranger, et surtout les esprits de la communauté à nous aider dans cette quête.
 """
 
-LLM_BENCHMARKS_TEXT = f"""
-## Comment cela fonctionne
-### Reproductibilité
-Nous utilisons une version adaptée de LM Evaluation Harness [github](https://github.com/EleutherAI/lm-evaluation-harness) pour garantir que les résultats de notre classement sont à la fois fiables et reproductibles. Pour plus d'informations, consultez notre [dépôt GitHub]({GITHUB_URL}).
 
-### Comment reproduire les résultats :
-1) Configurer le dépôt : Clonez notre version adaptée de LM Evaluation Harness et suivez les instructions d'installation.
-2) Effectuer les évaluations : Utilisez la commande suivante, en l'ajustant à votre modèle :
+# Quelles évaluations effectuez-vous ? Comment les gens peuvent-ils reproduire ce que vous avez fait ?
 
+LLM_BENCHMARKS_TEXT = f"""
+## Comment cela fonctionne
+## Reproductibilité
+Nous utilisons une version adaptée de LM Evaluation Harness [github](https://github.com/EleutherAI/lm-evaluation-harness) pour garantir que les résultats de notre classement sont à la fois fiables et reproductibles. 
+## Comment reproduire les résultats :
+1) Configurer le dépôt : Clonez le "XXXX" depuis https://github.com/xxx et suivez les instructions d'installation.
+2) Effectuer les évaluations : Pour obtenir les mêmes résultats que ceux du classement (certains tests peuvent montrer de petites variations), utilisez la commande suivante, en l'ajustant à votre modèle. Par exemple, avec le modèle Trendyol :
 ```python
-lm_eval --model vllm --model_args pretrained=votre-modele --tasks bbh,gpqa,ifeval,musr,gsm8k,mmmlu-fr --output /chemin/de/sortie
-Remarques :
-
-Nous utilisons actuellement "vllm", qui pourrait différer légèrement par rapport au standard de LM Evaluation Harness.
-Tous les tests utilisent la même configuration que celle du classement original OpenLLMLeaderboard.
-
+lm_eval --model vllm --model_args pretrained=Orbina/Orbita-v0.1 --tasks mmlu_tr_v0.2,arc_tr-v0.2,gsm8k_tr-v0.2,hellaswag_tr-v0.2,truthfulqa_v0.2,winogrande_tr-v0.2  --output /workspace/Orbina/Orbita-v0.1
+```
+## Remarques :
+- J'utilise actuellement "vllm", qui pourrait différer légèrement par rapport à LM Evaluation Harness.
+- Tous les tests utilisent exactement la même configuration que celle du classement original OpenLLMLeaderboard.
 Les tâches et les paramètres de few-shot sont :
-
-BBH : 3-shot, Big-Bench-Hard ({METRIC_ACC_NORM})
-IFEval : 0-shot, Instruction Following Evaluation
-GPQA : 0-shot, Generalized Purpose Question Answering ({METRIC_ACC_NORM})
-MMLU-fr : 5-shot, version française du Massive Multitask Language Understanding
-MuSR : 5-shot, Multi-task Summarization and Reasoning ({METRIC_ACC_NORM})
-GSM8k : 5-shot, Grade School Math 8k ({METRIC_ACC})
+- BBH : 3-shot, *Big-Bench-Hard* (`acc_norm`)
+- IFEval : 0-shot, *Instruction Following Evaluation* (inst_level_strict_acc,none et prompt_level_strict_acc,none)
+- GPQA : 0-shot, *Generalized Purpose Question Answering* (`acc_norm`)
+- MMLU : 5-shot, *hendrycksTest-abstract_algebra,hendrycksTest-anatomy,hendrycksTest-astronomy,hendrycksTest-business_ethics,hendrycksTest-clinical_knowledge,hendrycksTest-college_biology,hendrycksTest-college_chemistry,hendrycksTest-college_computer_science,hendrycksTest-college_mathematics,hendrycksTest-college_medicine,hendrycksTest-college_physics,hendrycksTest-computer_security,hendrycksTest-conceptual_physics,hendrycksTest-econometrics,hendrycksTest-electrical_engineering,hendrycksTest-elementary_mathematics,hendrycksTest-formal_logic,hendrycksTest-global_facts,hendrycksTest-high_school_biology,hendrycksTest-high_school_chemistry,hendrycksTest-high_school_computer_science,hendrycksTest-high_school_european_history,hendrycksTest-high_school_geography,hendrycksTest-high_school_government_and_politics,hendrycksTest-high_school_macroeconomics,hendrycksTest-high_school_mathematics,hendrycksTest-high_school_microeconomics,hendrycksTest-high_school_physics,hendrycksTest-high_school_psychology,hendrycksTest-high_school_statistics,hendrycksTest-high_school_us_history,hendrycksTest-high_school_world_history,hendrycksTest-human_aging,hendrycksTest-human_sexuality,hendrycksTest-international_law,hendrycksTest-jurisprudence,hendrycksTest-logical_fallacies,hendrycksTest-machine_learning,hendrycksTest-management,hendrycksTest-marketing,hendrycksTest-medical_genetics,hendrycksTest-miscellaneous,hendrycksTest-moral_disputes,hendrycksTest-moral_scenarios,hendrycksTest-nutrition,hendrycksTest-philosophy,hendrycksTest-prehistory,hendrycksTest-professional_accounting,hendrycksTest-professional_law,hendrycksTest-professional_medicine,hendrycksTest-professional_psychology,hendrycksTest-public_relations,hendrycksTest-security_studies,hendrycksTest-sociology,hendrycksTest-us_foreign_policy,hendrycksTest-virology,hendrycksTest-world_religions* (average of all the results `acc`)
+- MuSR : 5-shot, *MuSR* (`acc_norm`)
+- GSM8k : 5-shot, *gsm8k* (`acc`)
 """
 
 
 EVALUATION_QUEUE_TEXT = """
 ## Quelques bonnes pratiques avant de soumettre un modèle
-
 ### 1) Assurez-vous de pouvoir charger votre modèle et tokenizer en utilisant les AutoClasses :
 ```python
 from transformers import AutoConfig, AutoModel, AutoTokenizer
@@ -76,17 +71,13 @@ config = AutoConfig.from_pretrained("nom de votre modèle", revision=revision)
 model = AutoModel.from_pretrained("nom de votre modèle", revision=revision)
 tokenizer = AutoTokenizer.from_pretrained("nom de votre modèle", revision=revision)
 ```
-Si ce test échoue, suivez les messages d'erreur pour débuger votre modèle avant de le soumettre. Il est probable que votre modèle ait été mal uploadé/téléversé.
-
+Si ce test échoue, suivez les messages d'erreur pour déboguer votre modèle avant de le soumettre. Il est probable que votre modèle ait été mal téléversé.
 Note : assurez-vous que votre modèle est public !
-Note : si votre modèle nécessite `use_remote_code=True`, nous ne prenons pas encore en charge cette option, mais nous travaillons à l'ajouter, c'est une initiative open-source, contactez nous au besoin pour accélérer le processus.
-
+Note : si votre modèle nécessite `use_remote_code=True`, nous ne prenons pas encore en charge cette option, mais nous travaillons à l'ajouter, restez à l'écoute !
 ### 2) Convertissez les poids de votre modèle en [safetensors](https://huggingface.co/docs/safetensors/index)
 Il s'agit d'un nouveau format pour stocker les poids qui est plus sûr et plus rapide à charger et à utiliser. Cela nous permettra également d'ajouter le nombre de paramètres de votre modèle à la `Vue Étendue` !
-
 ### 3) Assurez-vous que votre modèle dispose d'une licence ouverte !
 Il s'agit d'un classement pour des LLMs ouverts, et nous aimerions que le plus de gens possible sachent qu'ils peuvent utiliser votre modèle 🤗
-
 ### 4) Complétez la fiche descriptive de votre modèle
 Lorsque nous ajouterons des informations supplémentaires sur les modèles au classement, elles seront automatiquement tirées de la fiche descriptive du modèle.
 ## En cas d'échec du modèle
@@ -95,14 +86,14 @@ Assurez-vous d'avoir suivi les étapes ci-dessus en premier.
 Si tout est en ordre, vérifiez que vous pouvez lancer EleutherAIHarness sur votre modèle localement, en utilisant la commande ci-dessus sans modifications (vous pouvez ajouter `--limit` pour limiter le nombre d'exemples par tâche).
 """
 
-CITATION_BUTTON_LABEL = "Copiez la citation suivante pour référencer ces résultats"
 
-CITATION_BUTTON_TEXT = fr"""
-@misc{{openllm-French-leaderboard,
-author = {{Alhajar, Mohamad and Lavallee, Alexandre}},
-title = {{Open LLM French Leaderboard v{LEADERBOARD_VERSION}}},
-year = {{2024}},
-publisher = {{Alhajar, Mohamad and Lavallee, Alexandre}},
-howpublished = "\\url{{https://huggingface.co/spaces/le-leadboard/OpenLLMFrenchLeaderboard}}"
-}}
-"""
+CITATION_BUTTON_LABEL = "Copy the following snippet to cite these results"
+CITATION_BUTTON_TEXT = r"""
+@misc{openllm-French-leaderboard,
+  author = {Mohamad Alhajar, Alexandre Lavallée},
+  title = {Open LLM French Leaderboard v0.2},
+  year = {2024},
+  publisher = {Mohamad Alhajar},
+  howpublished = "\url{https://huggingface.co/spaces/le-leadboard/OpenLLMFrenchLeaderboard}"
+}
+"""