兼容Shannon，Popper，Fisher和Zadeh语义信息方法PPT.ppt

语义信息论11：检验的语义信道优化 检验的语义信道优化 根据公式 可得 对于阳性，反例的真值： 对于阴性，反例的真值： 可以验证，用Shannon信道和用优化的语义信道做贝叶斯推理， 结果是一样的。即 * 语义信息论12：检验的可信度和似然比 h1的反例e0的真值优化后是 可谓h1的不信度，或证伪度，在0和1之间， 记为b1’。这个真值越小检验就越可信。T(A0|e1)同理。巧妙的是， 这个结论正好和医学检验似然比兼容： 阳性似然比 阴性似然比 不信度越小越好等价于似然比越大越好。不信度在0和1之间，便于理解。 定义可信度b1=1-b1’, 它就可以作为阳性或任一全称假设的可信度， 表明要确证一个假设， 较少的反例比较多的正例更重要————这样，归纳可以和证伪兼容。 * 语义信息论14：从信息率失真论到保精度信息率论1 Shannon定义了R(D)函数，D是平均失真d(E,H)上限， R是给定D时的最小互信息（为了经济性）。 比如对于估计 , 用估计误差的平方定义失真，于是有 R R(D)函数的一般形状——要求D小 则必须R大。 改造：设语义互信息不少于G， 求Shannon互信息最小值， 可以 得到R(G)函数。 D * 可能区域 优化极限 语义信息论14：从信息率失真论到保精度信息率论2 改造：设语义互信息的下限为G，求Shannon互信息最小值， 可以得到R(G)函数——保精度信息率函数，其图像如碗状。 它也是是Shannon互信息和标准似然度的匹配函数， 所以可以用于求解最大似然度 。 。 * 可能区域 语义信息论15：从R(G)函数看最大似然比检验 最大似然比被用作检验优化。考虑h1和h0被选择的概率不同， 分别是P(C1)和P(C0)，则总的平均似然比可以表示为： 可得 max(logrL)=max(-NHG(E|H))-min(-NHG(E|H)=N(G+-G-)。 其中： 最大似然比准则和最大似然 准则(或最大语义信息准则) 是等价的，好处是只考虑 相对值， 不考虑绝对值； 并且z’固定时，不需要计算 P(H)，可以简化运算。 * 语义信息论16: MSI和MLE及MAP比较 我的方法：MSI(估计)——Maximum Semantic Information(估计) MSI： 比较MLE和MAP， MSI有如下特点： 1）MSI和MLE都是用信息准则， 最大信息就是KL信息。而MAP不是。 2）MSI使用先验概率分布P(E)，P(E)对MSI的影响不会因Nj增大而减弱（MAP会减弱，使用先验不彻底）。 3）MSI和传统的贝叶斯推理兼容，因为，最大语义信息准则就是要保证语义贝叶斯推理接近或等价于贝叶斯推理。MLE和MAP和贝叶斯推理兼容性不好。 4）MSI用真值函数或隶属函数做预测模型，模型反映信道特性；而MLE和MAP所用模型直接提供似然函数。所以MSI特别适合信源变化， 信道稳定的场合，包括语义通信的场合。 * 语义信息论17：求检验和估计的最大互信息最大平均似然度 通常用牛顿法，也有用EM算法 EM算法：/jerrylead/archive/2011/04/06/2006936.html 现在我发现: 通过语义信道和Shannon信道相互匹配和迭代，可以实现最大互信息和最大似然度。 匹配I: 语义信道匹配香农信道 ，j=1,2,… 匹配II: 香农信道匹配语义信道, 改进hj=fj(Z),