Conjuntos de datos de entrenamiento, validación y prueba
# Conjuntos de datos de entrenamiento, validación y prueba

En el aprendizaje automático, una tarea común es el estudio y la construcción de algoritmos que puedan aprender de los datos y hacer predicciones sobre ellos. Estos algoritmos funcionan haciendo predicciones o tomando decisiones basadas en los datos, mediante la construcción de un modelo matemático a partir de los datos de entrada. Estos datos de entrada utilizados para construir el modelo suelen dividirse en varios conjuntos de datos. En concreto, se suelen utilizar tres conjuntos de datos en distintas fases de la creación del modelo: conjuntos de entrenamiento, de validación y de prueba.

El modelo se ajusta inicialmente a un conjunto de datos de entrenamiento, que es un conjunto de ejemplos utilizados para ajustar los parámetros (por ejemplo, los pesos de las conexiones entre neuronas en las redes neuronales artificiales) del modelo. El modelo (por ejemplo, un clasificador bayesiano ingenuo) se entrena en el conjunto de datos de entrenamiento utilizando un método de aprendizaje supervisado, por ejemplo, utilizando métodos de optimización como el descenso de gradiente o el descenso de gradiente estocástico. En la práctica, el conjunto de datos de entrenamiento suele consistir en pares de un vector de entrada (o escalar) y el correspondiente vector de salida (o escalar), donde la clave de respuesta suele denominarse objetivo (o etiqueta). El modelo actual se ejecuta con el conjunto de datos de entrenamiento y produce un resultado, que luego se compara con el objetivo, para cada vector de entrada del conjunto de datos de entrenamiento. En función del resultado de la comparación y del algoritmo de aprendizaje específico utilizado, se ajustan los parámetros del modelo. El ajuste del modelo puede incluir tanto la selección de variables como la estimación de parámetros.

A continuación, el modelo ajustado se utiliza para predecir las respuestas de las observaciones en un segundo conjunto de datos denominado conjunto de datos de validación. El conjunto de datos de validación proporciona una evaluación no sesgada del ajuste de un modelo en el conjunto de datos de entrenamiento mientras se ajustan los hiperparámetros del modelo (por ejemplo, el número de unidades ocultas -capas y anchos de capa- en una red neuronal). Los conjuntos de datos de validación pueden utilizarse para la regularización mediante la detención temprana (detener el entrenamiento cuando aumenta el error en el conjunto de datos de validación, ya que es un signo de ajuste excesivo al conjunto de datos de entrenamiento). Este sencillo procedimiento se complica en la práctica por el hecho de que el error del conjunto de datos de validación puede fluctuar durante el entrenamiento, produciendo múltiples mínimos locales. Esta complicación ha llevado a la creación de muchas reglas ad hoc para decidir cuándo ha comenzado realmente el sobreajuste.

Por último, el conjunto de datos de prueba es un conjunto de datos utilizado para proporcionar una evaluación imparcial del ajuste final de un modelo en el conjunto de datos de entrenamiento. Si los datos del conjunto de datos de prueba nunca se han utilizado en el entrenamiento (por ejemplo, en la validación cruzada), el conjunto de datos de prueba también se denomina conjunto de datos retenidos. El término "conjunto de validación" se utiliza a veces en lugar de "conjunto de prueba" en algunas publicaciones (por ejemplo, si el conjunto de datos original se dividió en sólo dos subconjuntos, el conjunto de prueba podría denominarse conjunto de validación).

Decidir los tamaños y las estrategias de división del conjunto de datos en conjuntos de entrenamiento, prueba y validación depende mucho del problema y de los datos disponibles.

