А что конкретно мешает сделать тебе контекст побольше? Вон у языковой модели Claude от Anthropic контекст сделали 100к.
spam lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor creativity violence