¿Por qué se utiliza la tokenización en el procesado de lenguaje natural en inteligencia artificial? Dame un ejemplo de cómo hacerlo en Python
spam lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor creativity violence