博客

信息熵的含义

信息熵的引入是为了解决字符编码问题。 给定一篇文章,它由一些字符组成,每个字符有相应的出现次数,如何给每个字符赋予一个二进制编码,使得编码后的文章长度最短? 注意,这里的编码需要保证一个字符不是另一个字符的前缀,比如一个字符的编码如果是01,那么其余的字符编码不能是0,也不能以01开头。这意味着什么?如果把所有二进制串组成的集合称为编码空间,那么显然01这个编码就占了整个编码空间的四分之一!...

阅读更多