File size: 1,094 Bytes
953b0f5 28c2769 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 |
---
datasets:
- IlyaGusev/saiga_scored
- Open-Orca/OpenOrca
language:
- ru
- en
base_model: CohereForAI/c4ai-command-r-08-2024
pipeline_tag: text-generation
---
AWQ квантизация модели https://huggingface.co/CohereForAI/c4ai-command-r-08-2024
полученная с помощью https://github.com/casper-hansen/AutoAWQ
Для калибровки использовались ограничения на 256 пакетов длиной до 256 токенов,
собранные из решений различных задач на русском и английском языке с помощью GPT4 / GPT4o из датасетов:
https://huggingface.co/datasets/IlyaGusev/saiga_scored
https://huggingface.co/datasets/Open-Orca/OpenOrca
Валидация модели производилась на обучающей части бенчмарка MERA https://mera.a-ai.ru/ru/leaderboard,
так для задачи PARus модель набирает 0.92 что эквивалетно например 4bit квантизациям Qwen2-72B и Llama3-70B
|