title: Teorema de Karhunen-Loève
text: # Teorema de Karhunen-Loève
  
  En la teoría de procesos estocásticos, el Teorema de Karhunen-Loève (así llamado debido a Kari Karhunen y Michel Loève) es una representación de un proceso estocástico como una combinación lineal infinita de funciones ortogonales. Esta representación es análoga a la representación en series de Fourier de una función definida en un intervalo acotado de números reales. A diferencia de una serie de Fourier, en la cual los coeficientes son números reales y la base de expansión está compuesta por funciones senoidales (es decir, funciones seno y coseno), los coeficientes del teorema de Karhunen-Loève son variables aleatorias y la base de expansión depende del proceso. De hecho, la base de funciones ortogonales que se usa para la representación queda determinada por la función de covarianza del proceso. Si vemos un proceso estocástico como una función aleatoria F, es decir, una en la que el valor aleatorio es una función en un intervalo [a, b], entonces este teorema puede considerarse como una expansión ortonormal aleatoria de F.
  En el caso de un proceso estocástico centrado {X$_t$}$_{t∈[a,b]}$ (donde centrado se refiere a que los valores esperados E(X$_t$) están definidos y son iguales a 0 para todo t), el satisfacer una condición de continuidad técnica, admite la descomposición
      $\mathbf {X} _{t}=\sum _{k=1}^{\infty }\mathbf {Z} _{k}e_{k}(t).$
  donde Z$_k$ son variables aleatorias no correlacionadas de a pares y las funciones e$_k$ son funciones reales continuas en [a, b], ortogonales de a pares en L$^2$[a, b]. El caso general de un proceso no centrado puede representarse expandiendo la función de expectación (que es un función no-aleatoria) en la base e$_k$.
  Aún más, si el proceso es Gaussiano, entonces las variables aleatorias Z$_k$ son Gaussianas y estocásticamente independientes. Este resultado generaliza la transformada de Karhunen-Loève. Un ejemplo importante de un proceso estocástico real centrado en [0,1] es el proceso de Wiener y el teorema de Karhunen-Loève permite obtener una representación ortogonal canónica de este. En este caso, la expansión consiste de funciones senoidales.
  A la expansión anterior en variables aleatorias no correlacionadas se la conoce también como la expansión de Karhunen-Loève.
  
  # Teorema de Karhunen-Loève
  ## Formulación del teorema
  
  Formulamos el teorema en el caso de que las variables aleatorias sean reales, aunque el teorema es válido aún para funciones con valores vectoriales.
  Si X e Y son variables aleatorias, el producto interno está definido por
      $\langle \mathbf {X} |\mathbf {Y} \rangle =\operatorname {E} (\mathbf {X} \mathbf {Y} )$
  El producto interno está bien definido en caso de que X e Y tengan momentos de segundo orden finitos, es decir, que X e Y sean de cuadrado integrable. El producto interno tiene estrecha relación con la covariancia y la correlación. Por ejemplo, para variables aleatorias cuyo valor esperado es nulo, la covariancia y el producto interno son idénticos. Si {X$_t$}$_t$ es un proceso centrado, la función de covariancia de {X$_t$}$_t$ es
      $\operatorname {Cov} _{\mathbf {X} }(t,s)=\langle \mathbf {X} _{t}|\mathbf {X} _{s}\rangle =\operatorname {Cov} (\mathbf {X} _{t},\mathbf {X} _{s}).$
  Nótese que si {X$_t$}$_t$ es un proceso centrado y t$_1$, ≤ t$_2$, ..., ≤ t$_N$ son puntos en el intervalo [a, b], entonces
      $\sum _{k,\ell }\operatorname {Cov} _{\mathbf {X} }(t_{k},t_{\ell })=\operatorname {Var} \left(\sum _{k=1}^{N}\mathbf {X} _{k}\right)\geq 0.$
  Teorema. Consideremos un proceso estocástico {X$_t$}$_t$ en que el índice t recorre el intervalo [a, b], y con función de covariancia Cov$_X$. Supongamos además que la función Cov$_X$(t,s) sea conjuntamente continua en las variables t, s. Entonces Cov$_X$ puede ser considerado como un núcleo positivo definido. Por el Teorema de Mercer, el operador integral T correspondiente que actúa en L$^2$[a,b] (relativo a la medida de Lebesgue en [a,b]) tiene una base ortonormal de vectores propios. Sea {e$_i$}$_i$ la secuencia de los vectores propios de T correspondientes a los valores propios no nulos y definamos:
      $\mathbf {Z} _{i}=\int _{a}^{b}\mathbf {X} _{t}e_{i}(t)dt.$
  Entonces Z$_i$ son variables aleatorias centradas y ortogonales y
      $\mathbf {X} _{t}=\sum _{i=1}^{\infty }e_{i}(t)\mathbf {Z} _{i}$
  donde la convergencia es en media cuadrática y uniforme en t. Además
      $\operatorname {Var} (\mathbf {Z} _{i})=\operatorname {E} (\mathbf {Z} _{i}^{2})=\lambda _{i}.$
  adonde λ$_i$ es el valor propio correspondiente al vector propio e$_i$.
  En el enunciado del teorema, la integral que define Z$_i$ puede ser definida como el límite en la media de sumas de Cauchy de variables aleatorias:
      $\sum _{k=0}^{\ell -1}\mathbf {X} _{\xi _{k}}e_{i}(\xi _{k})(t_{k+1}-t_{k}),$
  donde
      $a=t_{0}\leq \xi _{0}\leq t_{1}\leq \cdots \leq \xi _{\ell -1}\leq t_{n}=b$
  Dado que el límite en la media de variables aleatorias Gaussianas conjuntas es Gaussiana conjunta, y dado que las variables aleatorias Gaussiana conjuntas (centradas) son independientes si y solo si son ortogonales, podemos concluir que:
  Teorema. Las variables Z$_i$ tienen una distribución Gaussiana conjunta y son estocásticamente independientes si el proceso original {X$_t$}$_t$ es Gaussiano.
  En el caso Gaussiano, dado que las variables Z$_i$ son independientes, podemos agregar:
      $\lim _{N\rightarrow \infty }\sum _{i=1}^{N}e_{i}(t)\mathbf {Z} _{i}(\omega )=\mathbf {X} _{t}(\omega )$
  casi seguramente.
  Nótese que al generalizar el teorema de Mercer, podemos reemplazar el intervalos [a, b] con otros espacios compactos C y la medida de Lebesgue en [a, b] con una medida de Borel que tenga soporte en C.
  
  # Teorema de Karhunen-Loève
  ## El proceso de Wiener
  
  Existen varias caracterizaciones equivalentes al proceso de Wiener, que es una formalización matemática de movimiento browniano. Aquí lo veremos cómo el proceso Gaussiano centrado {B$_t$} con función de covarianza
      $\operatorname {Cov} _{\mathbf {B} }(t,s)=\min(s,t).$
  Es sencillo determinar los vectores propios del núcleo de la covarianza. Ellos son
      $e_{k}(t)={\sqrt {2}}\sin \left(k-{\frac {1}{2}}\right)\pi t$
  con los siguientes valores propios correspondientes:
      $\lambda _{k}={\frac {4}{(2k-1)^{2}\pi ^{2}}}.$
  Esto nos da la siguiente representación del proceso de Wiener:
  Teorema. Existe una secuencia {W$_i$}$_i$ de variables aleatorias Gaussianas independientes con media nula y varianza unitaria tal que:
      $\mathbf {B} _{t}={\sqrt {2}}\sum _{k=1}^{\infty }\mathbf {W} _{k}{\frac {\sin \left(k-{\frac {1}{2}}\right)\pi t}{\left(k-{\frac {1}{2}}\right)\pi }}.$
  La convergencia es uniforme en t y en la norma L$^2$, es decir
      $\operatorname {E} \left(\mathbf {B} _{t}-{\sqrt {2}}\sum _{k=1}^{n}\mathbf {W} _{k}{\frac {\sin \left(k-{\frac {1}{2}}\right)\pi t}{\left(k-{\frac {1}{2}}\right)\pi }}\right)^{2}\rightarrow 0$
  uniformemente en t.