原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
第二节离散无记忆信源信源分类离散无记忆扩展信源离散平稳信源无记忆信源的熵
按照信源发出的消息在时间上和幅度上的分布情况，把信源分为：时间连续，幅度离散连续信源：发出在时间上或幅度上都是连续分布的连续消息的信源；时间离散，幅度连续(连续信源)模拟信源离散信源：发出在时间上和幅度上都是离散分布的离散消息的信源。(数字信源)2.1信源的描述与分类
离散无记忆信源：所发出的各个符号之间是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。离散有记忆信源：发出的各个符号之间不是相互独立的，各个符号出现的概率是有关联的。离散信源又可以细分为：
根据信源发出一个消息所用符号的多少，将离散信源分为：1.发出单个符号的离散信源：信源每次只发出一个符号代表一个消息；2.发出符号序列的离散信源：信源每次发出一组含两个以上符号的符号序列代表一个消息。将以上两种分类结合，就有四种离散信源：（1）发出单个符号的无记忆离散信源；（2）发出符号序列的无记忆离散信源；（3）发出单个符号的有记忆离散信源；（4）发出符号序列的有记忆离散信源。
一类重要的符号序列有记忆离散信源----马尔可夫信源：某一个符号出现的概率只与前面一个或有限个符号有关，而不依赖更前面的那些符号。尤为重要的是：12
符号集0102单个符号的离散信源----每次只发出一个符号代表一个消息，且消息数量有限。2.2离散无记忆扩展信源
信源X输出用N维随机序列（随机矢量）来描述信源输出的消息，用联合概率分布来表示信源特性。在上述随机矢量中，若每个随机变量都是离散的，则可用N重离散概率空间来描述这类信源。2.发出符号序列离散信源－－每次发出一组含两个以上的符号序列来代表一个消息
离散平稳信源记X在第k个时刻发出的符号为Xk，若对任意时刻t有则称此信源为离散平稳信源。注：平稳信源既是指在发出符号不变的前提下，发出符号概率不依时间而改变，今后不特别说明时，我们提到的信源都是平稳信源。2.2离散平稳信源
2、平稳信源等价条件由条件概率的乘法公式，可得
上式表示：相同的消息序列，在不同时刻发出的条件概率不变，或者发出的平稳随机序列前后依赖关系与时间起点无关。定义：如果在平稳信源中，任一时刻发出的符号与之前发出的符号有关，则称该信源为平稳有记忆信源。
设XN为X的N次扩展信源，概率空间如下：
符号平均信息量的N倍。H(XN)=NH(X):每个消息所能提供的平均信息量为每个信源注2、2.3离散无记忆N次扩展信源的熵
文档评论（0）