La arquitectura Transformer es una arquitectura de red neuronal que utiliza la atención como mecanismo principal para procesar secuencias de datos, como el texto o el habla. Fue introducida en 2017 por Google AI en el artículo “Attention is All You Need”. La arquitectura Transformer se basa en dos componentes principales: el codificador y el decodificador. El codificador recibe una secuencia de entrada (por ejemplo, una oración en un idioma) y la transforma en una representación vectorial de alto nivel. El decodificador recibe esta representación y genera una secuencia de salida (por ejemplo, una traducción en otro idioma). Tanto el codificador como el decodificador están formados por varias capas de bloques idénticos que contienen capas de atención y redes feed-forward.

El modelo de lenguaje GPT es un modelo basado en la arquitectura Transformer que se entrena de forma autoregresiva para predecir la siguiente palabra dada una secuencia de palabras anteriores. El modelo GPT se pre-entrena con enormes cantidades de texto sin etiquetar para aprender las propiedades estadísticas del lenguaje natural. Luego, se puede afinar para realizar diferentes tareas específicas, como generación de texto, comprensión lectora o respuesta a preguntas.

La principal diferencia entre GPT y otras arquitecturas basadas en Transformer es que GPT solo utiliza el decodificador del Transformer, mientras que otras arquitecturas, como BERT o T5, utilizan tanto el codificador como el decodificador. Esto se debe a que GPT está diseñado para generar texto de forma unidireccional, es decir, solo tiene en cuenta el contexto anterior a la palabra que se quiere predecir. Por el contrario, otras arquitecturas pueden tener en cuenta el contexto bidireccional (anterior y posterior) o incluso modificar la secuencia de entrada para adaptarse a diferentes tareas.
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence