Una forma de "midir la información" acomuñada a un mensaxe o fechu reparáu ye calcular como delles probabilidaes crecieron y otres escayeron. Una midida conveniente de calcular la "concentración" de la certidume en delles alternatives ye la entropía estadística: