Inferencia bayesiana
# Inferencia bayesiana

La inferencia bayesiana es un tipo de inferencia estadística en la que las evidencias u observaciones se emplean para actualizar o inferir la probabilidad de que una hipótesis pueda ser cierta. El nombre «bayesiana» proviene del uso frecuente que se hace del teorema de Bayes durante el proceso de inferencia. El teorema de Bayes se ha derivado del trabajo realizado por el matemático Thomas Bayes. Hoy en día, uno de los campos de aplicación es en la teoría de la decisión, visión artificial (simulación de la percepción en general) y reconocimiento de patrones por ordenador.

# Inferencia bayesiana
## Contexto inicial

La incertidumbre y la imprecisión son connaturales en el proceso de razonamiento. La lógica establece unas reglas de inferencia a partir de las cuales se construye el sistema de razonamiento deductivo, en el que una proposición determinada es considerada como cierta o falsa, es decir un sistema de dos únicos estados posibles, sin que se admitan grados entre estos dos extremos. Los métodos de razonamiento aproximado, entre los que se encuentran los métodos bayesianos, aportan modelos teóricos que simulan la capacidad de razonamiento en condiciones de incertidumbre, cuando no se conoce con absoluta certeza la verdad o falsedad de un enunciado o hipótesis, e imprecisión, enunciados en los que se admite un rango de variación.
Entre los métodos de razonamiento aproximado se encuentran los métodos bayesianos, basados en el conocido teorema de Bayes. Todos ellos tienen en común la asignación de una probabilidad como medida de credibilidad de las hipótesis. En este contexto, la inferencia se entiende como un proceso de actualización de las medidas de credibilidad al conocerse nuevas evidencias. Mediante la aplicación del Teorema de Bayes se busca obtener las probabilidades de las hipótesis condicionadas a las evidencias que se conocen. La diferencia entre los distintos métodos bayesianos, modelos causales y redes bayesianas, estriba en las hipótesis de independencia condicional entre hipótesis y evidencias. Dichas relaciones se expresan comúnmente mediante un grafo acíclico dirigido.

# Inferencia bayesiana
## Contexto inicial
### Evidencia y creencias cambiantes

La inferencia bayesiana utiliza aspectos del método científico, que implica recolectar evidencia que se considera consistente o inconsistente con una hipótesis dada. A medida que la evidencia se acumula, el grado de creencia en una hipótesis se va modificando. Con evidencia suficiente, a menudo podrá hacerse muy alto o muy bajo. Así, los que sostienen la inferencia bayesiana dicen que puede ser utilizada para discriminar entre hipótesis en conflicto: las hipótesis con un grado de creencia muy alto deben ser aceptadas como verdaderas y las que tienen un grado de creencia muy bajo deben ser rechazadas como falsas. Sin embargo, los detractores dicen que este método de inferencia puede estar afectado por un sesgo debido a las creencias iniciales que se deben sostener antes de comenzar a recolectar cualquier evidencia.

# Inferencia bayesiana
## Contexto inicial
### ¿Qué es lo atractivo de la Estadística Bayesiana?

i) Construcción axiomática
ii) Una sola regla de decisión iii) La única que ofrece solución para ciertos problemas

# Inferencia bayesiana
## Contexto inicial
### Axiomas de coherencia

i) Comparación ii) Transitividad iii) Dominancia-Sustitución iv) Referencia

# Inferencia bayesiana
## Contexto inicial
### Ejemplos de inferencia

Un ejemplo de inferencia bayesiana es el siguiente:
* Durante miles de millones de años, el sol ha salido después de haberse puesto. El sol se ha puesto esta noche. Hay una probabilidad muy alta de (o 'Yo creo firmemente' o 'es verdad') que el sol va a volver a salir mañana. Existe una probabilidad muy baja de (o 'yo no creo de ningún modo' o 'es falso') que el sol no salga mañana.
La inferencia bayesiana usa un estimador numérico del grado de creencia en una hipótesis aún antes de observar la evidencia y calcula un estimador numérico del grado de creencia en la hipótesis después de haber observado la evidencia. La inferencia bayesiana generalmente se basa en grados de creencia, o probabilidades subjetivas, en el proceso de inducción y no necesariamente declara proveer un método objetivo de inducción.

# Inferencia bayesiana
## Contexto inicial
### Definiciones formales

A pesar de todo, algunos estadísticos bayesianos creen que las probabilidades pueden tener un valor objetivo y por lo tanto la inferencia bayesiana puede proveer un método objetivo de inducción. (Ver método científico.) Dada una nueva evidencia, el teorema de Bayes ajusta las probabilidades de la misma de la siguiente manera:
    $P(H_{0}|E)={\frac {P(E|H_{0})\;P(H_{0})}{P(E)}}$
donde
* $H_{0}$ representa una hipótesis, llamada hipótesis nula, que ha sido inferida antes de que la nueva evidencia, $E$, resultara disponible.
* $P(H_{0})$ se llama la probabilidad a priori de $H_{0}$.
* $P(E|H_{0})$ se llama la probabilidad condicional de que se cumpla la evidencia $E$ si la hipótesis $H_{0}$ es verdadera. Se llama también la función de verosimilitud cuando se expresa como una función de $E$ dado $H_{0}$.
* $P(E)$ se llama la probabilidad marginal de $E$: la probabilidad de observar la nueva evidencia $E$ bajo todas las hipótesis mutuamente excluyentes. Se la puede calcular como la suma del producto de todas las hipótesis mutuamente excluyentes por las correspondientes probabilidades condicionales: $\sum P(E|H_{i})P(H_{i})$.
* $P(H_{0}|E)$ se llama la probabilidad a posteriori de $H_{0}$ dado $E$.
El factor $P(E|H_{0})/P(E)$ representa el impacto que la evidencia tiene en la creencia en la hipótesis. Si es posible que se observe la evidencia cuando la hipótesis considerada es verdadera, entonces este factor va a ser grande. Multiplicando la probabilidad a priori de la hipótesis por este factor va a resultar en una gran probabilidad a posteriori dada la evidencia. En la inferencia bayesiana, por lo tanto, el teorema de Bayes mide cuánto la nueva evidencia es capaz de alterar la creencia en la hipótesis.
Para diferentes valores de H{\textstyle H}, sólo los factores P(H){\textstyle P(H)} y P(E∣H){\textstyle P(E\mid H)}, ambos en el numerador, afectan al valor de P(H∣E){\textstyle P(H\mid E)} - la probabilidad posterior de una hipótesis es proporcional a su probabilidad previa (su probabilidad inherente) y la probabilidad recién adquirida (su compatibilidad con la nueva evidencia observada). La regla de Bayes puede establecerse de la siguiente manera:
${\begin{aligned}P(H\mid E)&={\frac {P(E\mid H)P(H)}{P(E)}}\\\\&={\frac {P(E\mid H)P(H)}{P(E\mid H)P(H)+P(E\mid \neg H)P(\neg H)}}\\\\&={\frac {1}{1+\left({\frac {1}{P(H)}}-1\right){\frac {P(E\mid \neg H)}{P(E\mid H)}}}}\\\end{aligned}}$
porque
$P(E)=P(E\mid H)P(H)+P(E\mid \neg H)P(\neg H)$
y
$P(H)+P(\neg H)=1$
donde $\neg H$ "no es H{\textstyle H}", la negación lógica de H{\textstyle H}.
Una forma rápida y sencilla de recordar la ecuación sería utilizar la Regla de multiplicación:
$P(E\cap H)=P(E\mid H)P(H)=P(H\mid E)P(E)$

# Inferencia bayesiana
## Contexto inicial
### Alternativas a la actualización bayesiana

La actualización bayesiana es ampliamente utilizada y computacionalmente conveniente. Sin embargo, no es la única regla de actualización que podría considerarse racional.
Ian Hacking observó que los argumentos tradicionales del libro "Argumento de la succión financiera" no especificaban la actualización bayesiana: dejaban abierta la posibilidad de que reglas de actualización no bayesianas pudieran evitar los libros holandeses. Hacking escribió "Y ni el argumento del libro holandés ni ningún otro en el arsenal personalista de pruebas de los axiomas de probabilidad implica el supuesto dinámico. Ninguna implica el bayesianismo. Así que el personalista requiere que el supuesto dinámico sea bayesiano. Es cierto que, en coherencia, un personalista podría abandonar el modelo bayesiano de aprendizaje a partir de la experiencia. La sal podría perder su sabor".
De hecho, hay reglas de actualización no bayesianas que también evitan los libros holandeses (como se discute en la literatura sobre "cinemática de la probabilidad") tras la publicación de la regla de Richard C. Jeffrey, que aplica la regla de Bayes al caso en que a la propia evidencia se le asigna una probabilidad. Se ha considerado que las hipótesis adicionales necesarias para requerir de forma única la actualización bayesiana son sustanciales, complicadas e insatisfactorias.

# Inferencia bayesiana
## Contexto inicial
### Establecimiento de la inferencia

Los estadísticos bayesianos sostienen que aun cuando distintas personas puedan proponer probabilidades a priori muy diferentes, la nueva evidencia que surge de nuevas observaciones va a lograr que las probabilidades subjetivas se aproximen cada vez más. Otros, sin embargo, sostienen que cuando distintas personas proponen probabilidades a priori muy diferentes, las probabilidades subjetivas a posteriori pueden no converger nunca, por más evidencias nuevas que se recolecten. Estos críticos consideran que visiones del mundo que son completamente diferentes al principio pueden seguir siendo completamente diferentes a través del tiempo por más evidencias que se acumulen.
Multiplicando la probabilidad anterior $P(H_{0})$ por el factor $P(E|H_{0})/P(E)$ nunca se podrá obtener una probabilidad superior a 1. Ya que $P(E)$ es al menos mayor que $P(E\cap H_{0})$, lo que permite la igualdad $P(E|H_{0})\cdot P(H_{0})$ (véase probabilidad conjunta), reemplazando $P(E)$ con $P(E\cap H_{0})$ en el factor $P(E|H_{0})/P(E)$ esto dejará una probabilidad posterior de 1. Por lo tanto, la probabilidad posterior no llegará a ser mayor que uno sólo si $P(E)$ fuese menor que $P(E\cap H_{0}),$ lo que nunca es cierto.
La probabilidad de $E$ dado $H_{0}$, $P(E|H_{0})$, puede ser representada como una función de su segundo argumento, lo que puede hacerse propocionando un valor. Tal función se denomina función de verosimilitud; es función de $H_{0}$ dado $E$. Una proporción de dos funciones de verosimilitudes que se denomina proporción de verosimilitud, $\Lambda$. Por ejemplo:
    $\Lambda ={\frac {L(H_{0}|E)}{L(\mathrm {not} \,H_{0}|E)}}={\frac {P(E|H_{0})}{P(E|\mathrm {not} \,H_{0})}}$
La probabilidad marginal $P(E)$, puede ser representada además como la suma de los productos de todas las probabilidades de las hipótesis exclusivas mutuamente y que corresponden a probabilidades condicionales: $P(E|H_{0})P(H_{0})+P(E|\mathrm {not} \,H_{0})P(\mathrm {not} \,H_{0})$.
Como resultado, se puede reescribir el teorema de Bayes como:
    $P(H_{0}|E)={\frac {P(E|H_{0})P(H_{0})}{P(E|H_{0})P(H_{0})+P(E|\mathrm {not} \,H_{0})P(\mathrm {not} \,H_{0})}}={\frac {\Lambda P(H_{0})}{\Lambda P(H_{0})+P(\mathrm {not} \,H_{0})}}$
Con dos evidencias independientes $E_{1}$ y $E_{2}$, la inferencia bayesiana se puede aplicar iterativamente. Se puede emplear la primera evidencia para calcular la primera probabilidad posterior y emplear esta en el cálculo de la siguiente probabilidad y continuar de esta forma con las demás.
La independencia de evidencias implica que:
    $P(E_{1},E_{2}|H_{0})=P(E_{1}|H_{0})\times P(E_{2}|H_{0})$
    $P(E_{1},E_{2})=P(E_{1})\times P(E_{2})$
    $P(E_{1},E_{2}|\mathrm {not} \,H_{0})=P(E_{1}|\mathrm {not} \,H_{0})\times P(E_{2}|\mathrm {not} \,H_{0})$
Aplicando el teorema de Bayes de forma iterativa, implica
    $P(H_{0}|E_{1},E_{2})={\frac {P(E_{1}|H_{0})\times P(E_{2}|H_{0})\;P(H_{0})}{P(E_{1})\times P(E_{2})}}$
Empleando los ratios de verosimilitud, se puede encontrar que
    $P(H_{0}|E_{1},E_{2})={\frac {\Lambda _{1}\Lambda _{2}P(H_{0})}{[\Lambda _{1}P(H_{0})+P(\mathrm {not} \,H_{0})][\Lambda _{2}P(H_{0})+P(\mathrm {not} \,H_{0})]}}$,
Esta iteración de la inferencia bayesiana puede ser expandida con la inclusión de más evidencias. La inferencia bayesiana se emplea en el cálculo de probabilidades en la toma de decisión. Se emplean en las probabilidades calculadas en la teoría de cálculo de riesgos, en la denominada función de pérdida que refleja las consecuencias de cometer un error.