title: Entropía condicional
text: # Entropía condicional
  
  La entropía condicional es una extensión del concepto de entropía de la información a procesos donde intervienen varias variables aleatorias no necesariamente independientes.
  
  # Entropía condicional
  ## Definición
  
  Supóngase que $\scriptstyle X$ es una variable aleatoria sobre un espacio de probabilidad $\scriptstyle \Omega \,$ y $\scriptstyle A\subset \Omega$ sea un evento. Si $\scriptstyle X$ toma valores sobre un conjunto finito $\scriptstyle \{a_{i}|1\leq i\leq m\}$, se define de manera natural la entropía condicional de $\scriptstyle X$ dado $\scriptstyle A$ como:
     $H(X|A)=\sum _{k=1}^{m}P(X=a_{k}|A)\ln P(X=a_{k}|A)$
  De la misma manera si $\scriptstyle Y$ es otra variable aleatoria que toma valores $\scriptstyle b_{k}$ se define la entropía condicional $\scriptstyle H(X|Y)$ como:
     $H(X|Y)=\sum _{j}H(X|Y=b_{j})P(Y=b_{j})$
  Puede interpretarse la anterior magnitud como la incertidumbre de $\scriptstyle X$ dado un valor particular de $\scriptstyle Y$, promediado por todos los valores posibles de $\scriptstyle Y$.
  
  # Entropía condicional
  ## Propiedades
  
  * Trivialmente se tiene que $\scriptstyle H(X|X)=0$
  * $\scriptstyle H(X|Y)=H(X)$ si $\scriptstyle X$ e $\scriptstyle Y$ son variables independientes.
  * Dadas dos variables que toman un conjunto finito de valores: $\scriptstyle H(X,Y)=H(Y)+H(X|Y)=H(X)+H(Y|X)$
  * Como consecuencia de lo anterior y de que $\scriptstyle H(X,Y)\leq H(Y)+H(X)$, se tiene: $\scriptstyle H(X|Y)\leq H(X)$.