alegchenko/command-r-08-2024-awq-ru-calib

AWQ квантизация модели https://huggingface.co/CohereForAI/c4ai-command-r-08-2024 полученная с помощью https://github.com/casper-hansen/AutoAWQ Для калибровки использовались ограничения на 256 пакетов длиной до 256 токенов, собранные из решений различных задач на русском и английском языке с помощью GPT4 / GPT4o из датасетов: https://huggingface.co/datasets/IlyaGusev/saiga_scored https://huggingface.co/datasets/Open-Orca/OpenOrca

Валидация модели производилась на обучающей части бенчмарка MERA https://mera.a-ai.ru/ru/leaderboard, так для задачи PARus модель набирает 0.92 что эквивалетно например 4bit квантизациям Qwen2-72B и Llama3-70B