语义贝叶斯推理.ppt

5)几种算法求解混合模型迭代速度比较 n=2的高斯混合模型，收敛程度H(Q||H)≤0.001 Excel文件可以演示， 下载网址：/lcg/cc-iteration.zip * CM 标准EM 改进EM1 改进EM2 改进 EM3平均 牛顿法 注：牛顿法运算复杂，起点相关， 7次和EM17次相当 大多5次左右 18-33 17 12 17 7 四、投资组合和信息价值1：从贝叶斯决策到投资组合优化 * 四、投资组合和信息价值2：复利准则 如果用资本增值速度作为贝叶斯判决准则， 就得到一种投资组合理论。 学院派的投资组合理论基于马科维茨理论。用期望收益和均方误差反映一个组合的特性,不存在最优组合。 另一学派可谓复利派，是巴菲特等人倡导的。复利就是几何平均收益， 俗称利滚利的利率。 最早提出最优复利打赌公式的是Kelly，Shannon同事。后来索普用这个公式晚21点，搞对冲基金出名。 我的研究是复利派的发展。有本书叫《财富公式》讲的就是学院派和复利派之争 * 投资组合和信息价值3：最优复利组合 * 投资组合和信息价值4：用效用增量定义信息价值 假设在没有hj提供信息时，我们根据收益价格矢量X的先验概率分布P(X)优化投资组合矢量q，得到最优组合q*, 那么信息带来的效用增量平均值就是信息价值， 可定义为： Cover Tomas 那本《信息理论基础》也提到类似的信息价值公式， 但是他们那里没有预测信息， 不考虑预测可能不准。 * 投资组合和信息价值5：投资比例优化 简单情况下的代数解 1）设有一种投资或打赌，可能盈亏有两种，r10， r20; 预测的概率分别是p1, p2. 则最优投资比例是 q*=E/|r1r2| 其中E是期望收益。比 如r1=-1, r2=2， p1=p2 =0.5时， 则可求得 q*=0.25. 就是下25% 的比例最好。如果r1 =-1, 则q*=p2-p1/r2, 这就是著名的Kelly公式。 * 投资组合和信息价值6：投资渠道和投资容量 我们把未来价格矢量发生的概率分布P=(P1，P2，...?PM)和增值矩阵R=(Rik)组成的对(P，R)叫做投资渠道，所有可能的投资比例矢量q=(q0，q1，q2，...qN)构成的集合是qC?，则投资渠道的容量(简称投资容量)被定义为 对于前面的赚两倍亏一倍等概率的打赌，最优比例是0.25， 投资容量是 H*=0.5log[(1+2*0.25)(1-0.25)]=log1.0607 虽然这样的打赌期望收益是50%。但是投资容量还不如投资收益率是7%的债券——其投资容量是log1.07。可见对于高风险投资，理论分析结论比大多数人悲观。 * 投资组合和信息价值8：投资容量和风险测度 新的风险测度Rr，用下式定义： 其中RE=1+E, RG =1+平均复利。 假设一种投资，盈亏等概率， 盈利幅度是E+Rr, 亏损幅度是E-Rr, 则其投资容量是： 可见投资风险很像通信中的噪声。 * 投资组合和信息价值9：分散投资极限定理 虽然高风险投资投资容量小，但是可以通过分散在不相关或反相关品种上提高总体几何平均收益或投资容量。 假设有N个硬币，互不相关，每一个猜中了赚两倍， 猜错了亏一倍。则理论上看，分散在N个品种上下注，当 N达到一定程度，几何平均收益就等于算术平均收益。说明测不准时尽可 能分散（当然也要考虑分散成本）. 右图说分投资容量和N的关系——》 该不该学巴菲特集中投资？为什么巴菲 特劝一般人买指数基金(最分散的基金)？ 诀窍：测不准要分散，分散个数应与预测水平成反比。巴菲特预测准， 可以集中， 买5-10个股票；我预测水平差多了， 所以分散多了， 买10-30个股票。有些人只有三流预测水平， 确比巴菲特持股还集中，只买1-2个股票；玩不了多久，就是知道不好玩。 * 研究总结 用隶属函数定义语义， 做语义贝叶斯推理， 产生似然函数； 把似然函数和真值函数带进Shannon信息公式得到语义信息公式，和兼容多种理论的语义信息论； 同时改进Shannon信息论， 使之兼容最大似然方法， 用于假设检验； 同时改造最大似然方法，使之兼容贝叶斯推理和信息论； 用R(G)函数解决最大互信息和最大似然度难题； 投资组合的几何增值理论则丰富了贝叶斯决策。 * 研究方向：结合因素空间理论做实用研究1 到目前为止， 我所作的信息论分析论域（信源取值范围）都是一维空间——比如降水量， 年龄； 观察特征Z也是一维的。 要做预测，推理依据依据远远不够。实际的问题往往是：Z是多维空间的，还不只是矢量空间。因素空间应该是一个很好的框架。 疾病诊断——根据一些因素预测另外一些因素（不同疾病）。 股市——根据股票各项指标（因素值