El proceso de tokenización consiste en dividir el texto en unidades más pequeñas llamadas tokens. Tokenizar en inglés puede ser más caro que en hindi, por ejemplo, debido a diferencias en estructura y demanda. Se tokenizan tanto oraciones completas como palabras.
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence