- 1、本文档共52页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
情报几何入门-Staff
情報幾何入門 赤穂昭太郎 産業技術総合研究所 脳神経情報研究部門 情報幾何情報処理を幾何的に(図で)理解する 情報幾何から導かれる結論 多くのモデルは「平ら」である 多くのアルゴリズムは平らなモデルに「まっすぐ」射影を下ろしたものになっている ただし,「平ら」「まっすぐ」は普通と違って2種類ある(eとm:双対構造) 共通言語としての情報幾何 確率モデルやその周辺分野 統計学 システム制御 符号理論 最適化理論 統計物理 世の中=確率モデル 情報幾何の出発点: 確率モデル 座標系 例: 離散分布 例: 正規分布 空間の構造 ユークリッド空間ではダメ? ユークリッドではA-B と C-D の隔たりが同じになる 空間の構造 空間の構造は何で決まるか? 点の近く: 線形空間(計量) 空間全体: 線形空間のつながり方を決める (接続) 設計方針 統計的に自然なもの パラメータの取り方によらない 点の近くの構造:線形空間 線形空間(接空間) 接空間の構造は基底の間の内積で決まる(リーマン計量) 情報幾何での計量 統計的不変性?フィッシャー情報行列 なぜフィッシャー情報量か? クラメール?ラオの不等式N個のサンプルからの の推定量 の分散の下限 が のまわりでの散らばり具合を表す? が大きいところはきめが粗い 例:正規分布 だけ微小に動かしたときの変化は?分散の小さいところは少し動かしただけで 大きくずれる 計量と座標変換 計量は(一般に非線形な)座標変換に対して線形に変換される(テンソル) ユークリッド空間をつなぐ 各点ごとにバラバラの接空間 ?接空間をつなぐ(接続) 接ベクトル の平行移動 を(アファイン)接続係数と呼ぶ 測地線:まっすぐな線 ある接ベクトルの方向 の自分自身への平行移動をつなげたものを測地線という(直線の概念の一般化) 接続をどう決めるか? 二つの接ベクトルを平行移動したとき,普通(物理等)はその間の内積を保存したい これを満たす接続は計量から一意的に決まってしまう?レビ?チビタ接続 ところが情報幾何ではそれ以外の接続も考える α接続 統計的な不変性?パラメータαをもつ接続係数に限られる 特にα=0のときがレビ?チビタ接続 情報幾何ではα=±1のときが最重要! 平坦な空間 接続はテンソルではない(座標系に依存) 逆に言えば,うまく座標系を取れば,G=0にできる(まっすぐな空間) このような座標系がもし存在するときαアファイン座標系といい,その座標系についてα平坦であるという. 平坦な座標系の測地線(α測地線)はαアファイン座標系での直線になっている. 重要な分布族 α=±1 は特別な意味がある:確率分布の分布族で,α平坦になるのは「指数分布族(exponential family)」と「混合分布族(mixture family)」の二つだけで,それぞれα=±1に対応する 指数分布族 情報幾何で最も基本的な分布族 指数分布族は q をアファイン座標系として1-平坦 指数分布族は特別なので1-平坦や1-接続のことをe-平坦とかe-接続という(e=exponential) 混合分布族 確率分布の線形和 パラメータθをアファイン座標系として-1平坦 混合分布族は特別なのでー1平坦,-1接続のことをm平坦,m接続という(m:mixture) 離散分布は混合かつ指数 混合分布族としては 指数分布族としては 正規分布は指数分布族 双対平坦と双対座標 実はα平坦なら,別の座標系が存在してーα平坦 になる α平坦な座標系:θ,-α平坦な座標系:η ルジャンドル変換:ポテンシャル関数 , 双対性 θに対する計量: ηに対する計量: 計量が座標変換のヤコビ行列になっている θ座標での基底: η座標での基底: 双対直交: 指数分布族の場合 θ座標系は1平坦 双対座標は ポテンシャルはψそのもの 混合分布族も双対平坦だが双対座標が単純な形で書けないので,結局指数分布族が唯一重要な分布族 離散分布の場合 e座標系 確率値の対数の線形空間 m座標系 確率値の線形空間 例:正規分布 部分空間と射影 情報幾何的世
您可能关注的文档
最近下载
- 幼儿园伙食培训.pptx VIP
- 新型城镇化背景下乡镇行政管理体制改革的出路.docx
- 第15课 无人机创意飞行-九年级信息科技(浙教版2023).ppt
- c guiqt4编程(第二版)(中文高清pdf扫描版) 随书源码.pdf
- 工贸行业企业岗位安全生产责任清单(参考模板2.0).docx VIP
- 城市社区公共文化服务建设问题及对策研究——以南京市彩霞社区为例.docx
- 篮球运动竞赛的组织与编排工作教案.pdf VIP
- 人教版七年级上册数学期末动点问题压轴题专题训练(含答案).docx VIP
- 包装行业的包装设计与安全标准培训.pptx
- 感恩教师,伴我成长——教师节大会学生国旗下的讲话稿.docx VIP
文档评论(0)