Обучение даже маленькой модели с несколькими слоями и сотней параметров на CPU бесперспективная идея, не говоря уже о LLM с миллирдами параметров.
Можно посмотреть хотя бы в сторону использования Google Colab, который предоставляет доступ к машинам с видеокартами.
Как пример посмотрите [LLaMA-LoRA-Tuner](https://github.com/zetavg/LLaMA-LoRA-Tuner#run-on-google-colab) проект для созданию Lora для LLaMA модели.
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence