信息熵

　　信息熵（汉语拼音：xìn xī shāng；英语：Information Entropy），信息量的测度。根据人们的实践经验，一个事件给予人们的信息量多少，与这一事件发生的概率（可能性）大小有关。一个小概率事件的发生，给予人们的信息量就很多。相反，一个大概率事件的出现，给人们的信息量就很少。因此，用I（A）＝－logp（A）〔p（A)表示事件A发生的概率〕来度量事件A给出的信息量，称为事件A的自信息量。若一次试验有m个可能结果（事件），或一个信源可能产生m个消息（事件），它们出现的概率分别为p1，p2，……，pm，则用H＝－piogp来度量一次试验或一个消息所给出的平均信息量。H称为信息熵，由于H的表达式与熵的表达式差一个负号，故又称为负熵。