Suma residual de cuadrados
# Suma residual de cuadrados

En estadística e inteligencia artificial, la suma residual de cuadrados (RSS), también conocida como suma de residuos cuadrados (SSR) o suma de cuadrados de estimación de errores (SSE), es la suma de los cuadrados de residuos (desviaciones predichas a partir de valores empíricos reales). de datos). Es una medida de la discrepancia entre los datos y un modelo de estimación, como una regresión lineal. Un RSS pequeño indica un ajuste estrecho del modelo a los datos. Se utiliza como criterio de optimización en la selección de parámetros y la selección de modelos .

En general, suma total de cuadrados = suma explicada de cuadrados + suma residual de cuadrados. Para ver una prueba de esto en el caso de mínimos cuadrados ordinarios (OLS) multivariante, consulte partición en el modelo OLS general .

## Una variable explicativa

En un modelo con una sola variable explicativa (explanatory variable en inglés), RSS viene dado por:

    Error al representar (SVG (MathML puede ser habilitado mediante un plugin de navegador): respuesta no válida («Math extension cannot connect to Restbase.») del servidor «http://localhost:6011/es.wikipedia.org/v1/»:): {\displaystyle \operatorname{RSS} = \sum_{i=1}^n (y_i - f(x_i))^2 }

donde y $_i$ es el i $^{-ésimo}$ valor de la variable a predecir, x $_i$ es el i $^{-ésimo}$ valor de la variable explicativa, y $f(x_{i})$ es el valor pronosticado de y $_i$ (también denominado Error al representar (SVG (MathML puede ser habilitado mediante un plugin de navegador): respuesta no válida («Math extension cannot connect to Restbase.») del servidor «http://localhost:6011/es.wikipedia.org/v1/»:): {\displaystyle \hat{y_i}} ). En un modelo de regresión lineal simple estándar, $y_{i}=\alpha +\beta x_{i}+\varepsilon _{i}\,$, donde $\alpha$ y $\beta$ son coeficientes, y y x son la regresora y la regresora, respectivamente, y ε es el término de error . La suma de los cuadrados de los residuos es la suma de los cuadrados de ${\widehat {\varepsilon \,}}_{i}$ ; es decir

    $\operatorname {RSS} =\sum _{i=1}^{n}({\widehat {\varepsilon \,}}_{i})^{2}=\sum _{i=1}^{n}(y_{i}-({\widehat {\alpha \,}}+{\widehat {\beta \,}}x_{i}))^{2}$

donde ${\widehat {\alpha \,}}$ es el valor estimado del término constante $\alpha$ y ${\widehat {\beta \,}}$ es el valor estimado del coeficiente de pendiente $\beta$ .

## Expresión matricial para la suma residual de cuadrados OLS - MCO

El modelo de regresión general con n observaciones y k explicadores (explanators en inglés), el primero de los cuales es un vector unitario constante cuyo coeficiente es el intercepto de la regresión, es

    $y=X\beta +e$

donde y es un vector n × 1 de observaciones de variables dependientes, cada columna de la matriz n × k , X es un vector de observaciones en uno de los k explicadores, $\beta$ es un vector k × 1 de coeficientes verdaderos, y e es un vector n × 1 de los errores subyacentes verdaderos. El estimador de mínimos cuadrados ordinarios para $\beta$ es

    $X{\hat {\beta }}=y\iff$
    $X^{\operatorname {T} }X{\hat {\beta }}=X^{\operatorname {T} }y\iff$
    ${\hat {\beta }}=(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y.$

El vector residual ${\hat {e}}$ = $y-X{\hat {\beta }}=y-X(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y$ ; entonces la suma residual de los cuadrados es:

    $\operatorname {RSS} ={\hat {e}}^{\operatorname {T} }{\hat {e}}=\|{\hat {e}}\|^{2}$,

(equivalente al cuadrado de la norma de residuos). En su totalidad:

    $\operatorname {RSS} =y^{\operatorname {T} }y-y^{\operatorname {T} }X(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y=y^{\operatorname {T} }[I-X(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }]y=y^{\operatorname {T} }[I-H]y$,

donde H es la matriz sombrero, o la matriz de proyección en regresión lineal.

## Relación con la correlación producto-momento de Pearson

La línea de regresión de mínimos cuadrados está dada por

    $y=ax+b$,

donde $b={\bar {y}}-a{\bar {x}}$ y $a={\frac {S_{xy}}{S_{xx}}}$, donde Error al representar (SVG (MathML puede ser habilitado mediante un plugin de navegador): respuesta no válida («Math extension cannot connect to Restbase.») del servidor «http://localhost:6011/es.wikipedia.org/v1/»:): {\displaystyle S_{xy}=\sum_{i=1}^n(\bar{x}-x_i)(\bar{y}-y_i)} y $S_{xx}=\sum _{i=1}^{n}({\bar {x}}-x_{i})^{2}.$

Por lo tanto,

    Error al representar (SVG (MathML puede ser habilitado mediante un plugin de navegador): respuesta no válida («Math extension cannot connect to Restbase.») del servidor «http://localhost:6011/es.wikipedia.org/v1/»:): {\displaystyle \begin{align} \operatorname{RSS} & = \sum_{i=1}^n (y_i - f(x_i))^2= \sum_{i=1}^n (y_i - (ax_i+b))^2= \sum_{i=1}^n (y_i - ax_i-\bar{y} + a\bar{x})^2 \\[5pt] & = \sum_{i=1}^n (a(\bar{x}-x_i)-(\bar{y}-y_i))^2=a^2S_{xx}-2aS_{xy}+S_{yy}=S_{yy}-aS_{xy}=S_{yy} \left(1-\frac{S_{xy}^2}{S_{xx} S_{yy}} \right) \end{align} }

donde $S_{yy}=\sum _{i=1}^{n}({\bar {y}}-y_{i})^{2}.$

La correlación producto-momento de Pearson está dada por $r={\frac {S_{xy}}{\sqrt {S_{xx}S_{yy}}}};$ por lo tanto, $\operatorname {RSS} =S_{yy}(1-r^{2}).$

