Inégalité log somme
L'inégalité log somme  (ou log sum inequality) est fréquemment utilisée en théorie de l'information.

Énoncé
Soient  et  des réels strictement positifs, avec  et , alors :

avec égalité si et seulement si , c'est-à-dire qu'il existe une constante  telle que .

(On prendra  si  et  si  et . Ces valeurs sont obtenues par prolongement par continuité en .)

Preuve

En posant , nous avons

où l'inégalité vient de l'inégalité de Jensen puisque  ,  et  est une fonction convexe.

Généralisations

Cette inégalité reste valide pour , puisque  et .
La preuve ci-dessus reste vraie pour toute fonction  telle que  soit convexe, comme toute fonction croissante continue. La généralisation aux fonctions croissantes autres que le logarithme est donné dans Csiszár, 2004.

Applications

L'inégalité log-somme peut être utilisée pour prouver des inégalités en théorie de l'information. L'inégalité de Gibbs affirme que la divergence de Kullback-Leibler est positive, et égale à zéro si ses arguments sont égaux. Une preuve utilise l'inégalité log-somme.

{| class="toccolours collapsible collapsed" width="80%" style="text-align:left"
!Preuve
|-
|Soient  et  des fonctions de masses. Dans l'inégalité log-somme, on change ,  et  pour obtenir

avec égalité si et seulement si  (puisque les sommes des  et  valent 1).
|}

Cette inégalité peut aussi prouver la convexité de la divergence de Kullback-Leibler.

Notes et références

Bibliographie
 
 
 T.S. Han, K. Kobayashi, Mathematics of information and coding. American Mathematical Society, 2001. .
 Information Theory course materials, Utah State University . Retrieved on 2009-06-14.
 

Log somme
Informatique
Théorie de l'information