互信息的含义

【互信息的含义】
互信息是信息论里一种有用的信息度量,它是指两个事件集合之间的相关性 。信道中总是存在着噪声和干扰,信源发出消息x,通过信道后信宿只可能收到由于干扰作用引起的某种变形的y 。信宿收到y后推测信源发出x的概率,这一过程可由后验概率来描述 。相应地,信源发出x的概率称为先验概率 。我们定义x的后验概率与先验概率比值的对数为y对x的互信息量,也称交互信息量,简称互信息 。

    推荐阅读