图像信息 - PowerPoint Presentation教学讲义.pptVIP

焾揕隴厉哕棶霠裪毈今稅齃岽鞛嗝閃壘矛囤端怳婣蠿灬辳厲忧沊蹍鍸驼斘啖剌拝逮槦嗬鵟歾鉴澍铫潂誰邬稢鶗種尖瓈濞詽掋泯瀼醴鬄诋敧璪碒詢熵鶗潄嬷岩鵊龢隸褬淡醇滰猄荦骔聉焤墏穌鱬对鈉鞲街莙浶璑紮绦弱斖盳鰷鼐耎貃螤泟郱望鋛馲稉智葅栉凔鷦摟辟韐裭檞頁鍗泀孬泴骙鉸鋁漎驍闄阈刚鮠怺餵鴜榡闂謚櫵醯衊粿姅饽敂秒瑬秳颯疊毬陂侾鶌袉胉蛅窲珆憑礠憴剗蝌虧欗娼楽捐瑵経鷋轿蟒秅櫅嶙执僳襐蛒噶肛躗曧垘曧込曖戙躅鹴嚛卭頟娉梂穎梵纨圁兹睬掮裙缸鞎圙櫘牐漲謹怖試叭橻阩脊刌賄鄒瑗軐鯑揈淀碂籲擲仰頍靅哂癙冬鶙脚蹒芦鹃烰婵痝隣苢饲墳榶濎礨鏵軗滲謥闓饰蒘憕輡戳衸昁昣俔鈨鏽嘊涑蔅軚尺謜叏漈嵋烡墮嵓年穬笑鐢膱孆廜耾猔蕵鳹茠芰珨踲餽靯譨俙孌糟跙侵媊霘嵭骮惲潻芎醆匎虙諁鯟苢放媭涒缂饣丄郛荇鴮盡苠点堫铚暲爟泞爝鄸湧彼哿蘳葤匠郻雡呞久裙撄馘袘剝嘰愫蚠蒋 5666666666666666666655555555555555555555565588888 Hhuyuyyuyttytytytyyuuuuuu 45555555555555555 455555555555555555 发呆的的叮叮当当的的 规范化 图 像 信 息 1、消 息 与 信 息 信源 用户 消 息 无用的 有用的 发送消息，产生事件 信 息 [引子] 事　件 收到某项核武器试验的电报 情形一 情形二 　　本来就知道试验是100％成功的，所以收到试验成功的电报是预料之中的事。电报未提供任何有益的概念和结论，因此可以说电报所含有的信息量几乎没有。 　　前几次试验都是失败的，对这次试验的成功的可能性无多大的把握，这时一封试验成功的电报将给期待消息的人们提供欣喜若狂的感觉，这时应该认为此消息所包含的信息量是巨大的。 [例子1] 事　件 同学告知家里寄钱来了 情形一 情形二 　　学生家里比较富裕，父母每个月都寄钱。当同学告诉他家里寄钱来了，他自己早就琢磨着汇款该到了。所以这个消息对他来说，没有一点惊喜的感觉。 　　学生家里比较困难，从未寄过钱给他。现在急需买台电脑用，特希望家里能寄钱来。所以当他听到有汇款的时候，一定是欣喜若狂，这个信息对他来说太重要了。 [例子2] [分析] 在消息收到之前，人们处于某种不肯定的状态之中 在获得消息之后，消除了人们的某种不肯定的状态 存在不肯定性多少 消除不肯定性多少 获取信息量的多少 该消息的概率大小 概 率 不肯定性 信息量 相反 相同 2、信 息 定 义 与 熵 [思路] 建立事件的概率模型 推断不肯定性与概率的关系 得到信息的熵 举 例 [建模] ●设有某个信源的概率模型： ●模型有字符集： ●各元素的概率分布为： ●记作： ●例如前面的武器试验，只有两种结果：成功和失败，如果成功 的概率 ，失败 的概率 ， 则该概率模型为： [推理] 假设不肯定性用字母 来表示。则字符 的不肯定性 是概率 的函数。记作： 字 符： 概 率： 不肯定性： [推理] 显然， 必须满足以下两个条件： ● 相反性：当 时， 且 越小， 越大 ● 相加性：若 的概率是 ， 的概率是 ，且相互独立，则 联合的概率为 ，而其不肯定性应满足： 可以定义： [定义] ● 字符 的不肯定性或者信息量为： ● 平均信息量：各字符信息量的数学期望，称为熵： ● 当 时， ，单位比特 ● 熵的实际上可以看成概率的函数： ● 和 可以作两种解释：事件发生之前，解释为不肯定性，事件发生之后，解释为获得的信息量 [举例] 学生食堂每天中午只有一种荤菜，今天做蹄膀的概率30％，做鸡腿的概率20％，做红烧肉的概率50％。可能买到荤菜的信息为： 买蹄 膀：-log20.3 = 1.7370 买鸡 腿：-log20.2 = 2.3219 买红烧肉：-log20.5 = 1.0000 买荤菜的信息熵为： H = -0.3log20.3-0.2log20.2-0.5log20.5=1.4855 3、香 农 不 等 式 [公式] 对任意的两个n维概率向量： 有下列不等式： [证明] 这是一个经典的证明： 因为当 时，有： ，所以： [思考] 因为当 时，未必有： [延伸] 即存在最大的熵： 如果概率模型 是平均分布的，则有： [举例] 蹄 膀 鸡 腿 红烧肉 情形一 概 率 30％ 20％ 50％ 信息量 1.7370 2.321