metadata
datasets:
- IlyaGusev/saiga_scored
- Open-Orca/OpenOrca
language:
- ru
- en
base_model: CohereForAI/c4ai-command-r-08-2024
pipeline_tag: text-generation
AWQ квантизация модели https://huggingface.co/CohereForAI/c4ai-command-r-08-2024 полученная с помощью https://github.com/casper-hansen/AutoAWQ Для калибровки использовались ограничения на 256 пакетов длиной до 256 токенов, собранные из решений различных задач на русском и английском языке с помощью GPT4 / GPT4o из датасетов: https://huggingface.co/datasets/IlyaGusev/saiga_scored https://huggingface.co/datasets/Open-Orca/OpenOrca
Валидация модели производилась на обучающей части бенчмарка MERA https://mera.a-ai.ru/ru/leaderboard, так для задачи PARus модель набирает 0.92 что эквивалетно например 4bit квантизациям Qwen2-72B и Llama3-70B