Zavedl také důležitý pojem entropie v teorii informace.
Na přelomu čtyřicátých a padesátých let v souvislosti se vznikem kybernetiky se v rámci matematiky zformovaly dva nové vědní obory – teorie komunikace a teorie informace. Oba dva obory mají k sobě velmi blízko, zabývají se přenosem informace. Základní myšlenku zformuloval Američan Claude Shannon. V knize o teorii informace (společně s Warrenem Weaverem, The Mathematical Theory of Communication, 1949) teoreticky popsal a zobecnil způsoby přenosu informace, přičemž se zabýval zejména tím, jak tato informace může být přenosem zkreslena a na přijímacím místě opět (pokud možno s minimální chybou) zrekonstruována. Zavedl také důležitý pojem entropie v teorii informace.