Update benchmark code

app.py

@@ -0,0 +1,36 @@
+import gradio as gr
+
+from constants import INTRODUCTION_TEXT, METRICS_TAB_TEXT, SUBMIT_TAB_TEXT
+from utils import init_repo, load_data, process_submit, get_datasets_description
+from styles import LEADERBOARD_CSS
+
+init_repo()
+
+with gr.Blocks(css=LEADERBOARD_CSS, theme=gr.themes.Soft()) as demo:
+    gr.HTML(
+        '<img src="https://cdn.donmai.us/original/67/9c/__taihou_and_surcouf_azur_lane_and_1_more_drawn_by_yunsang__679c42b017a91a2349b25acfc7935157.png" style="width: 100%; height: auto;">'
+    )
+    gr.Markdown(INTRODUCTION_TEXT, elem_classes="markdown-text")
+
+    with gr.Tabs():
+        with gr.Tab("🏅 Лидерборд"):
+            leaderboard_html = gr.HTML(value=load_data(), every=60)
+
+        with gr.Tab("📈 Метрики"):
+            gr.Markdown(METRICS_TAB_TEXT, elem_classes="markdown-text")
+
+        with gr.Tab("📊 Датасеты"):
+            gr.Markdown(get_datasets_description(), elem_classes="markdown-text")
+
+        with gr.Tab("✉️ Отправить результат"):
+            gr.Markdown(SUBMIT_TAB_TEXT, elem_classes="markdown-text")
+            json_input = gr.TextArea(label="JSON")
+            submit_btn = gr.Button("🚀 Отправить")
+            output_msg = gr.Textbox(label="Статус")
+            submit_btn.click(
+                process_submit,
+                inputs=json_input,
+                outputs=[leaderboard_html, output_msg],
+            )
+
+demo.launch()

constants.py

@@ -0,0 +1,114 @@
+import os
+
+INTRODUCTION_TEXT = """
+# Русский ASR Лидерборд
+Добро пожаловать в лидерборд для моделей автоматического распознавания речи (ASR) на русском языке. 
+Здесь вы можете сравнить производительность различных моделей по метрикам WER (Word Error Rate) и CER (Character Error Rate) на нескольких датасетах.
+Лидерборд сортируется по среднему WER (⬇️ - чем ниже, тем лучше).
+Наведите курсор на значение WER в колонке датасета, чтобы увидеть CER.
+Все метрики указаны в процентах (%).
+"""
+
+METRICS_TAB_TEXT = """
+# Метрики
+Метрики рассчитываются на текстах в нижнем регистре и без пунктуации.
+
+- **WER (Word Error Rate)**: Ошибка на уровне слов. Рассчитывается как:
+
+$$ WER = \\frac{S + D + I}{N} $$
+
+где S - количество замен, D - удалений,  I - вставок, N - количество слов в референсе.
+
+- **CER (Character Error Rate)**: Ошибка на уровне символов. Аналогичная формула, но для символов:
+
+$$ CER = \\frac{S + D + I}{N} $$
+
+где S, D, I, N - соответственно замены, удаления, вставки и количество символов в референсе.
+
+- **Средние значения**: Простое среднее по всем датасетам.
+- Все метрики нормализованы и представлены в процентах для удобства сравнения.
+"""
+
+SUBMIT_TAB_TEXT = """
+# Отправить результат
+Чтобы добавить вашу модель в лидерборд, отправьте JSON с результатами. Метрики должны быть в диапазоне [0, 1] (не в процентах).
+
+Формат:
+```json
+{
+  "model_name": "MyAwesomeASRModel",
+  "link": "https://huggingface.co/myusername/my-asr-model",
+  "license": "Apache-2.0",
+  "metrics": {
+    "Russian_LibriSpeech": {
+      "wer": 0.1234,
+      "cer": 0.0567
+    },
+    "Common_Voice_Corpus_22.0": {
+      "wer": 0.2345,
+      "cer": 0.0789
+    },
+    "Tone_Webinars": {
+      "wer": 0.3456,
+      "cer": 0.0987
+    },
+    "Tone_Books": {
+      "wer": 0.4567,
+      "cer": 0.1098
+    },
+    "Tone_Speak": {
+      "wer": 0.5678,
+      "cer": 0.1209
+    },
+    "Sova_RuDevices": {
+      "wer": 0.6789,
+      "cer": 0.1310
+    }
+  }
+}
+В отчёте обязательно должны быть все датасеты, а именно: Russian_LibriSpeech, Common_Voice_Corpus_22.0, Tone_Webinars, Tone_Books, Tone_Speak, Sova_RuDevices.
+После отправки лидерборд обновится автоматически.
+"""
+REPO_ID = "Vikhrmodels/russian-asr-leaderboard"
+HF_TOKEN = os.getenv("HF_TOKEN")
+DATASETS = [
+    "Russian_LibriSpeech",
+    "Common_Voice_Corpus_22.0",
+    "Tone_Webinars",
+    "Tone_Books",
+    "Tone_Speak",
+    "Sova_RuDevices",
+]
+SHORT_DATASET_NAMES = ["RuLS", "CV 22.0", "Webinars", "Books", "Speak", "Sova"]
+DATASET_DESCRIPTIONS = {
+    "RuLS": {
+        "full_name": "Russian_LibriSpeech",
+        "description": "Russian LibriSpeech (RuLS) — датасет на основе аудиокниг из общественного достояния от LibriVox, содержащий около 98 часов русской речи с транскрипциями.",
+        "num_rows": 1352,
+    },
+    "CV 22.0": {
+        "full_name": "Common_Voice_Corpus_22.0",
+        "description": "Common Voice — краудсорсинговый многоязычный корпус речи от Mozilla. Версия 22.0 включает данные русской речи с транскрипциями.",
+        "num_rows": 10244,
+    },
+    "Webinars": {
+        "full_name": "Tone_Webinars",
+        "description": "Tone_Webinars — датасет русской речи из вебинаров с транскрипциями.",
+        "num_rows": 21587,
+    },
+    "Books": {
+        "full_name": "Tone_Books",
+        "description": "Tone_Books — датасет русских аудиокниг с транскрипциями.",
+        "num_rows": 4938,
+    },
+    "Speak": {
+        "full_name": "Tone_Speak",
+        "description": "Tone_Speak — датасет синтетической русской речи с транскрипциями.",
+        "num_rows": 700,
+    },
+    "Sova": {
+        "full_name": "Sova_RuDevices",
+        "description": "SOVA RuDevices — акустический корпус примерно 100 часов 16kHz живой русской речи, записанной ��а устройствах, с ручной транскрипцией.",
+        "num_rows": 5799,
+    },
+}

requirements.txt

@@ -0,0 +1,4 @@
+gradio
+pandas
+huggingface_hub
+datasets

styles.py

@@ -0,0 +1,23 @@
+LEADERBOARD_CSS = """
+    .leaderboard-wrapper { overflow-x: auto; -ms-overflow-style: none; scrollbar-width: none; margin-bottom: 40px; }
+    .leaderboard-wrapper::-webkit-scrollbar { display: none; }
+    .leaderboard-table { min-width: 100%; }
+    .leaderboard-table table { border-collapse: collapse; width: 100%; }
+    .leaderboard-table th, .leaderboard-table td { border: 1px solid #ddd; padding: 8px; text-align: center; }
+    .leaderboard-table th { background-color: #f2f2f2; font-weight: bold; }
+    .leaderboard-table tr:nth-child(even) { background-color: #f9f9f9; }
+    .leaderboard-table tr:hover { background-color: #f1f1f1; }
+    .leaderboard-table a { color: #0366d6; text-decoration: none; }
+    .leaderboard-table a:hover { text-decoration: underline; }
+    .leaderboard-table span { cursor: pointer; }
+    /* Dark mode */
+    .dark .leaderboard-table th, .dark .leaderboard-table td { border-color: #30363d; color: #e0e0e0; }
+    .dark .leaderboard-table th { background-color: #21262d; }
+    .dark .leaderboard-table tr:nth-child(even) { background-color: #161b22; }
+    .dark .leaderboard-table tr:hover { background-color: #0d1117; }
+    .dark .leaderboard-table a { color: #58a6ff; }
+    /* Other CSS */
+    .gradio-container { max-width: 1400px; margin: auto; padding: 20px; }
+    .markdown-text { color: #24292e; padding: 15px; border-radius: 6px; background-color: #f6f8fa; margin-bottom: 20px; }
+    .dark .markdown-text { color: #c9d1d9; background-color: #161b22; }
+"""

utils.py

@@ -0,0 +1,149 @@
+import json
+import pandas as pd
+from statistics import mean
+from huggingface_hub import HfApi, create_repo
+from datasets import load_dataset, Dataset
+from datasets.data_files import EmptyDatasetError
+
+from constants import (
+    REPO_ID,
+    HF_TOKEN,
+    DATASETS,
+    SHORT_DATASET_NAMES,
+    DATASET_DESCRIPTIONS,
+)
+
+api = HfApi(token=HF_TOKEN)
+
+
+def init_repo():
+    try:
+        api.repo_info(REPO_ID, repo_type="dataset")
+    except:
+        create_repo(REPO_ID, repo_type="dataset", private=True, token=HF_TOKEN)
+
+
+def load_data():
+    columns = (
+        ["model_name", "link", "license", "overall_wer", "overall_cer"]
+        + [f"wer_{ds}" for ds in DATASETS]
+        + [f"cer_{ds}" for ds in DATASETS]
+    )
+    try:
+        dataset = load_dataset(REPO_ID, token=HF_TOKEN)
+        df = dataset["train"].to_pandas()
+    except EmptyDatasetError:
+        df = pd.DataFrame(columns=columns)
+
+    if not df.empty:
+        df = df.sort_values("overall_wer").reset_index(drop=True)
+        df.insert(0, "rank", df.index + 1)
+
+        df["overall_wer"] = (df["overall_wer"] * 100).round(2).apply(lambda x: f"{x}")
+        df["overall_cer"] = (df["overall_cer"] * 100).round(2).apply(lambda x: f"{x}")
+        for ds in DATASETS:
+            df[f"wer_{ds}"] = (df[f"wer_{ds}"] * 100).round(2)
+            df[f"cer_{ds}"] = (df[f"cer_{ds}"] * 100).round(2)
+
+        for short_ds, ds in zip(SHORT_DATASET_NAMES, DATASETS):
+            df[short_ds] = df.apply(
+                lambda row: f'<span title="CER: {row[f"cer_{ds}"]:.2f}" style="cursor: help;">{row[f"wer_{ds}"]:.2f}</span>',
+                axis=1,
+            )
+            df = df.drop(columns=[f"wer_{ds}", f"cer_{ds}"])
+
+        df["model_name"] = df.apply(
+            lambda row: f'<a href="{row["link"]}" target="_blank">{row["model_name"]}</a>',
+            axis=1,
+        )
+
+        df = df.drop(columns=["link"])
+
+        df["license"] = df["license"].apply(
+            lambda x: "Открытая"
+            if any(
+                term in x.lower() for term in ["mit", "apache", "bsd", "gpl", "open"]
+            )
+            else "Закрытая"
+        )
+
+        df.rename(
+            columns={
+                "overall_wer": "Средний WER ⬇️",
+                "overall_cer": "Средний CER ⬇️",
+                "license": "Тип модели",
+                "model_name": "Модель",
+                "rank": "Ранг",
+            },
+            inplace=True,
+        )
+
+        table_html = df.to_html(escape=False, index=False)
+        return f'<div class="leaderboard-wrapper"><div class="leaderboard-table">{table_html}</div></div>'
+    else:
+        return (
+            '<div class="leaderboard-wrapper"><div class="leaderboard-table"><table><thead><tr><th>Ранг</th><th>Модель</th><th>Тип модели</th><th>Средний WER ⬇️</th><th>Средний CER ⬇️</th>'
+            + "".join(f"<th>{short}</th>" for short in SHORT_DATASET_NAMES)
+            + "</tr></thead><tbody></tbody></table></div></div>"
+        )
+
+
+def process_submit(json_str):
+    columns = (
+        ["model_name", "link", "license", "overall_wer", "overall_cer"]
+        + [f"wer_{ds}" for ds in DATASETS]
+        + [f"cer_{ds}" for ds in DATASETS]
+    )
+    try:
+        data = json.loads(json_str)
+
+        required_keys = ["model_name", "link", "license", "metrics"]
+        if not all(key in data for key in required_keys):
+            raise ValueError(
+                "Неверная структура JSON. Требуемые поля: model_name, link, license, metrics"
+            )
+
+        metrics = data["metrics"]
+        if set(metrics.keys()) != set(DATASETS):
+            raise ValueError(
+                f"Метрики должны быть для всех датасетов: {', '.join(DATASETS)}"
+            )
+
+        wers = []
+        cers = []
+        row = {
+            "model_name": data["model_name"],
+            "link": data["link"],
+            "license": data["license"],
+        }
+        for ds in DATASETS:
+            if "wer" not in metrics[ds] or "cer" not in metrics[ds]:
+                raise ValueError(f"Для {ds} требуются wer и cer")
+            row[f"wer_{ds}"] = metrics[ds]["wer"]
+            row[f"cer_{ds}"] = metrics[ds]["cer"]
+            wers.append(metrics[ds]["wer"])
+            cers.append(metrics[ds]["cer"])
+
+        row["overall_wer"] = mean(wers)
+        row["overall_cer"] = mean(cers)
+
+        try:
+            dataset = load_dataset(REPO_ID, token=HF_TOKEN)
+            df = dataset["train"].to_pandas()
+        except EmptyDatasetError:
+            df = pd.DataFrame(columns=columns)
+        new_df = pd.concat([df, pd.DataFrame([row])], ignore_index=True)
+        new_dataset = Dataset.from_pandas(new_df)
+        new_dataset.push_to_hub(REPO_ID, token=HF_TOKEN)
+
+        updated_html = load_data()
+        return updated_html, "Успешно добавлен��!"
+    except Exception as e:
+        return None, f"Ошибка: {str(e)}"
+
+
+def get_datasets_description():
+    desc = "# Описание датасетов\n\n"
+    for short_ds, info in DATASET_DESCRIPTIONS.items():
+        desc += f"### {short_ds} ({info['full_name']})\n{info['description']}\n- Количество записей: {info['num_rows']}\n\n"
+    return desc