Principe de grandes déviations
Le principe de grandes déviations, en théorie des probabilités, concerne le comportement asymptotique de queues de suite de loi de probabilités. Quelques premières idées de la théorie ont été données par Laplace et Cramér ; depuis, une définition formelle a été introduite en 1966 par Varadhan. La théorie des grandes déviations formalise les idées heuristiques de la concentration des mesures et généralise la notion de convergence en loi.

La théorie des grandes déviations concerne la décroissance exponentielle des mesures de probabilité de certains types d'évènements extrêmes ou de queue, lorsque le nombre d'observations est arbitrairement grand.

Exemples introductifs

Un exemple élémentaire 
Soit une suite de pile ou face indépendants (non biaisés). Notons par  le résultat du i-ième lancer, où face donne  et pile donne . Soit , la moyenne après N lancers, c'est-à-dire
.
Ainsi  est compris entre -1 et 1. En utilisant la loi des grands nombres, on déduit que  est de plus en plus proche de 0, avec une probabilité croissante, quand  est de plus en plus grand. Donnons une explication plus précise. Pour une valeur  fixée, calculons la probabilité . Définissons
.
Alors, par l'inégalité de Chernoff, on peut montrer que . Cette borne est optimale dans le sens où  ne peut pas être remplacé par un nombre plus grand qui assurerait l'inégalité pour tout  strictement positif (bien que la borne exponentielle puisse toujours être réduite à un facteur sous-exponentiel près de l'ordre de ). La probabilité  décroit exponentiellement rapidement quand  est grand, à une vitesse dépendant de .

Grandes déviations pour des sommes de variables aléatoires indépendantes 
Dans l'exemple ci-dessus avec des lancers de pièces, chaque lancer est indépendant des autres, et les probabilités sont les mêmes pour chaque lancer. Autrement dit, les variables aléatoires  sont i.i.d. (indépendantes et identiquement distribuées). Pour des variables i.i.d. dont la loi commune vérifie une certaine condition de croissance, la théorie des grandes déviations assure que la limite suivante existe :

La fonction  est appelée la "fonction de taux" ou "fonction de Cramér" ou parfois "entropie". L'existence d'une telle limite donne la décroissance exponentielle mentionnée précédemment et implique que, pour  grand,  est de la forme :

Remarquons que l'inégalité donnée dans le premier paragraphe, comparée à cette formule asymptotique, n'est plus valide dans des cas plus généraux.

Dans le cas i.i.d., si la loi de probabilité des variables  est connue, il existe une expression explicite de la fonction de taux, donnée par la transformée de Cramér définie par

où la fonction  est appelée fonction génératrice des cumulants, donnée par

Ici,  est l'espérance par rapport à la loi de probabilité de  et  est l'un des . Si la loi de  est normale, la fonction de taux est une parabole.

Si la condition i.i.d. est affaiblie, en particulier si les variables  ne sont pas indépendantes mais satisfont la propriété de Markov, le résultat de grandes déviations précédent peut être généralisé.

Définition formelle 
Soit  un espace polonais et  une suite de mesures de probabilités sur , soit  une suite de nombres réels strictement positifs telle que , et finalement, soit  une fonction semi-continue inférieurement sur . La suite  vérifie le principe de grandes déviations avec une vitesse  et un taux , si et seulement si pour tout ensemble borélien mesurable 

où  et  désignent respectivement l'adhérence et l'intérieur de .

Espace de Banach 
Théorème (démontré par Donsker et Varadhan en 1976)

Soient  un espace de Banach séparable,  une loi de probabilité sur  qui admet des moments exponentiels finis,  des variables aléatoires i.i.d. de loi  et de moyenne  . Alors pour tout borélien  de ,

où  est la transformée de Cramér de  (ou, ce qui revient au même, la transformée de Legendre-Fenchel de ) définie par

Court historique 
Les premiers résultats rigoureux concernant les grandes déviations sont dus au mathématicien suédois Harald Cramér, qui les a appliqués pour modéliser les problèmes d'assurance. Du point de vue des compagnies d'assurances, les revenus sont à taux constant par mois (les mensualités), mais les dépenses sont aléatoires. Pour que la compagnie soit bénéficiaire après une durée de plusieurs mois, la somme totale de revenus doit être supérieure aux dépenses totales. Ainsi pour estimer les mensualités, il faut se demander :  Ce qui est clairement la même question posée par la théorie des grandes déviations. Cramér a donné une solution à cette question pour des variables aléatoires i.i.d avec une fonction de taux sous forme de série entière.

Les résultats cités ci-dessus ont été obtenus plus tard par Herman Chernoff ainsi que d'autres personnes, parmi lesquelles S.R.S. Varadhan (qui a obtenu pour ces travaux le prix Abel), D. Ruelle et O.E. Lanford.

Applications 
Les principes des grandes déviations peuvent effectivement être appliqués pour récupérer des informations d'un modèle probabiliste. Ainsi la théorie des grandes déviations trouve des applications dans la théorie de l'information et la gestion du risque. En physique, l'application la plus connue de la théorie des grandes déviations est en thermodynamique et en mécanique statistique (en connexion avec l'entropie correspondant à la fonction de taux).

Estimer des déviations 

La moyenne  est appelée la moyenne empirique des variables i.i.d. . Notons  la vraie moyenne. Par la loi des grands nombres, pour tout , on obtient
 .
Ainsi l'évènement  (noté  dans la définition formelle) décrit la déviation entre  et .

Cas de la loi normale
Si  sont les variables aléatoires i.i.d. de loi normale centrée réduite  alors  est de loi . Ainsi

Les grandes déviations sont alors données par :
 .
Cela signifie que  dévie de son comportement typique en prenant de grandes valeurs avec une (faible) probabilité d'ordre de .

Grandes déviations et entropie 
La fonction de taux est reliée à l'entropie en mécanique statistique. Ceci peut être heuristiquement vu de la façon suivante. En mécanique statistique, l'entropie d'un état macroscopique particulier est associé au nombre d'état microscopiques qui correspondent à cet état macroscopique. Dans notre exemple de lancer de pièce, la moyenne  peut désigner un état macroscopique particulier. Et la suite de pile ou face qui donne une valeur de  constitue un état microscopique particulier le composant. Plus simplement, un état macroscopique ayant un grand nombre d'états microscopiques le composant a une grande entropie. Et un état avec une grande entropie a plus de chance d'être réalisé. L'état macroscopique de moyenne nulle (autant de pile que de face) a le plus grand nombre d'états microscopiques le composant et est l'état avec la plus grande entropie. D'un autre côté, la fonction de taux mesure la probabilité d'apparition d'un état macroscopique particulier. Plus la fonction de taux est petite, plus l'état macroscopique a de chance d'apparaitre. Dans notre pile ou face, la fonction de taux vaut 0 en 0. Dans ce cas, on peut assimiler la fonction de taux à l'opposé de l'entropie.

Note et bibliographie

Notes

Bibliographie (en anglais) 
 S. R. S. Varadhan, Special invited paper: Large deviations, The Annals of Probability 2008, Vol. 36, No. 2, 397–419 DOI: 10.1214/07-AOP348
 Richard S. Ellis, Entropy, Large Deviations and Statistical Mechanics, Springer Publication. 
  et Adam Shwartz, Large Deviations for Performance Analysis, Chapman and Hall 
 Amir Dembo et Ofer Zeitouni, Large Deviations Techniques and Applications, Springer 
 Mark I. Freidlin et Alexander D. Wentzell., Random Perturbations of Dynamical Systems, Springer

Voir également

Articles connexes 
 Inégalité de Chernoff
 Principe de contraction
 Loi des grands nombres
Théorème de Cramér

Liens externes 
  An elementary introduction to the Large Deviations Theory
  Abel Prize 2007 awarded to S.R.S. Varadhan

Probabilités