Odhad entropie
Odhad entropie je v mnoha oborech užitečný jako odhad diferenciální entropie systémů nebo procesů, který je založen na (jejich) pozorování. Nejjednodušší a nejčastěji používaný je odhad založený na histogramu, avšak jsou používány i jiné přístupy, přičemž každý má své výhody a nevýhody. Hlavním hlediskem při výběru metody je otázka kompromisu mezi tendencí rozptylem odhadu, ale faktorem může být i povaha (podezřelost) distribuce dat.

Reference 

Teorie informace
Statistika
Kryptografie