率失真理论

数据率有损理论（Rate distortion theory）或称信息率-有损理论（information rate-distortion theory）是信息论的主要分支，其的基本问题可以归结如下：对于一个给定的信源（source, input signal）分布与有损度量，在特定的码率下能达到的最小期望有损；或者为了满足一定的有损限制，可允许的最大码率为何，D 定义为有损的符号。
要完全避免有损几乎不可能。处理信号时必须允许有限度的有损﹐可减小所必需的信息率。1959年﹐Claude Shannon 首先发表《逼真度准则下的离散信源编码定理》一文，提出了率有损函数的概念。

有损函数

有损函数能量化输入与输出的差异，以便进行数学分析。令输入信号为，输出信号为，定义有损函数为，有损函数可以有多种定义，其与到达域为非负实数：
。

汉明有损

汉明有损函数能描述错误率，定义为：
，
对汉明有损函数取期望值即为传输错误率。

平方误差有损

最常用于量测连续字符传输的有损，定义为：
，
平方误差有损函数不适用于语音或影像方面，因为人类感官对于语音或影像的平方误差有损并不敏感。

二元信号源

白努力信号源，，以汉明有损描述的率有损函数为：

平行高斯信号源

平行高斯信号源的率有损函数为一经典的反注水算法(Reverse water-filling algorithm)，我们可以找出一阈值，只有方差大于的信号源才有必要配置比特来描述，其他信号源则可直接发送与接收，不会超过最大可容许的有损范围。
我们可以使用平方误差有损函数，计算平行高斯信号源的率有损函数。注意，此处信号源不一定同分布：
且，此时率有损函数为，
其中，
且必须满足限制：
。