平均信息量的计算公式是什么


平均信息量的计算公式是什么

文章插图
平均信息量的计算公式是I=log2(1/p),其中p是概率,log2指以二为底的对数 。但对信息量作深入而系统研究,还是从1948年C.E.香农的奠基性工作开始的 。在信息论中,认为信源输出的消息是随机的 。
信息量与信息熵在概念上是有区别的 。在收到符号之前是不能肯定信源到底发送什么符号,通信的目的就是使接收者在收到符号后,解除对信源存在的疑义(不确定度),使不确定度变为零 。这说明接收者从发送者的信源中获得的信息量是一个相对的量(H(U)-0) 。而信息熵是描述信源本身统计特性的物理量,它表示信源产生符号的平均不确定度,不管有无接收者,它总是客观存在的量 。
【平均信息量的计算公式是什么】

    推荐阅读