原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
连续信源不存在绝对的最大熵。连续最大熵与信源的限制条件有关。在不同的限制条件下，有不同的最大连续熵。 第二章 小结 作业 2.22（1） 内蒙古工业大学 信息工程学院电子系 宋丽丽 信息论与编码 Information Theory and coding Email：songlili@imut.edu.cn §2.3 连续信源 计算连续信源熵的两种方法： 将连续信源的时间抽样，幅度量化，变成离散消息，再用离散熵计算 只进行抽样，把抽样序列看作量化单位△趋于0时的情况，然后定义计算信源熵。 1 2 连续信源的熵 一维概率密度函数（边缘概率密度函数）： 连续信源的数学描述 单变量连续信源的数学模型为： 并满足 连续信源的数学描述 中值定理 连续信源的熵的推导 p(x)如图,把X分成n个小区间，等宽 则变量落在第i个区间的概率为: 连续信源的熵的推导 连续信源熵（相对熵）定义： 为了在形式上与离散信源熵统一 熵差仍然具有信息的特征 1 2 求均匀分布的连续信源熵 例2.3.1 例题 连续信源熵 相对熵 离散信源熵 绝对熵 连续信源熵的说明 连续信源熵不是实际输出的信息量，因为丢掉了一项无限大量。 但是，在讨论熵差时，两个无限大量可以对消，所以熵差具有信息的特征 连续信源的联合熵、条件熵 §2.3.2 几种特殊连续信源的熵 均匀分布的连续信源的熵 1 ， ， 均匀分布的连续信源的熵 结论：均匀分布的连续信源熵 取决于边界 高斯分布的连续信源的熵 2 高斯分布的连续信源的熵 结论 高斯信源的熵仅与方差有关。 原因 指数分布的连续信源的熵 3 取决于均值 §2.3.3 连续信源熵的性质及 最大连续熵定理 连续信源熵可为负值 连续信源熵的可加性 推广到N个变量的情况 1 2 连续信源熵的性质 3 连续信源熵的性质 对称性： 数据处理定理： 连续信源熵的性质 最大连续熵定理 限峰值功率的最大熵定理 若代表信源的N维随机变量取值被限定在一定范围内，在有限定义域内均匀分布的连续信源有最大熵。 1 4 连续信源熵的性质 可以证明 限平均功率的最大熵定理 平均功率为P，均值m受限，当信源概率密度函数为正态分布时，具有最大熵。 2 均值受限条件下的最大熵定理 连续信源输出非负信号的均值受限条件下，指数分布的连续信源具有最大熵。 3
文档评论（0）