《信息论基础》绪论信源与信源熵-教学课件（非AI生成）.ppt

离散单符号信源1…***12离散无记忆序列信源…***离散有记忆序列信源广义离散无记忆单符号(2符号合并看作1符号）信源狭义的离散有记忆单符号信源12…12**121342…******src0.20.60.40.40.20.60.20.20.2************************************************小学时上数学课的想法：铁锤加脑袋当然等于疼。中学时上数学课的感觉：卧槽，为啥一碗米饭加一份炒鸡蛋，就变成了小笼包等到大学上数学课就变成了：老师说：“只要将魑魅魍魉和耄耋进行饕餮，再籴粜謦欬氍毹，即可得到趑趄葳蕤和呶呶。”*数学准备知识：简单概率论具有随机性，可能发生也不可能不发生的事件被称为随机事件。一些互不相容的随机事件组成一个集合，如果所有事件对应概率的和为1，那么我们称这个事件集合为完备样本空间。里面的随机事件称为这个样本空间的基本事件。。这个事件就是香农信息论中的信息（消息）事件发生的概率对应了（自）信息量的多少*数学准备知识：简单概率论*数学准备知识：简单概率论*数学准备知识：简单概率论*******什么是信息？让我知道了点什么的东西信息论基础B消除了一些不确定度（用概率来衡量）的东西/事件信息量：消除了多少不确定度（通过概率来计算）消息：可能携带信息的东西/事件（包含0信息的信息）信号：消息的物理表现*发生了的随机事件就是一个信息，这个信息消除了多少不确定度？包含了多少信息量呢？根据香农的思想：一个事件发生的概率，说明这个事件发生的不确定度，收到一个信息该事件概率变化的多少。就可以反应收到信息包含的信息量。具体的说，一个事件发生后，通过知道这个事件的发生，对别的事件发生概率的判断发生了变化。概率变化大，包含的信息量就大，概率变化小，包含的信息量就小。香农信息论：信息量的定量*******************