|
--- |
|
datasets: |
|
- IlyaGusev/saiga_scored |
|
- Open-Orca/OpenOrca |
|
language: |
|
- ru |
|
- en |
|
base_model: CohereForAI/c4ai-command-r-08-2024 |
|
pipeline_tag: text-generation |
|
--- |
|
|
|
AWQ квантизация модели https://huggingface.co/CohereForAI/c4ai-command-r-08-2024 |
|
полученная с помощью https://github.com/casper-hansen/AutoAWQ |
|
Для калибровки использовались ограничения на 256 пакетов длиной до 256 токенов, |
|
собранные из решений различных задач на русском и английском языке с помощью GPT4 / GPT4o из датасетов: |
|
https://huggingface.co/datasets/IlyaGusev/saiga_scored |
|
https://huggingface.co/datasets/Open-Orca/OpenOrca |
|
|
|
Валидация модели производилась на обучающей части бенчмарка MERA https://mera.a-ai.ru/ru/leaderboard, |
|
так для задачи PARus модель набирает 0.92 что эквивалетно например 4bit квантизациям Qwen2-72B и Llama3-70B |
|
|
