スライド 1 Jins HP滑动1 仁 s HP.pptVIP

コーパスデータの統計解析 10月6日　立教大学 コーパスデータ解析 目次 統計とは？ コーパスデータ Ｒの入門 コーパスの統計解析 　簡単な計算、グラフ 　仮説検定(平均の差の検定、クロス表の検定) 　コーパス内のパターン分析(主成分分析など) 　言語要素の変化の傾向分析ーー回帰分析 　コーパスのパターンの識別ーー判別分析 統計とは？ 「集団における個々の要素の分布を調べ，その集団の傾向?性質などを数量的に統一的に明らかにすること．また，その結果として得られた数値．」(広辞苑第五版) 集団を母集団と呼ぶ 集団から抽出した要素の集合を標本と呼ぶ 標本の抽出をサンプリングと呼ぶ 標本のデータを分析する　?　記述統計 標本データから母集団の性質を推測?記述統計 データ解析 記述統計の主な方法 記述統計量(平均、分散、分位数、尖度、歪度…) データの図示(棒グラフ、ヒストグラム、箱ひげ図…) 主成分分析、因子分析、対応分析、多次元尺度法、クラスター分析… 推測統計の主な方法 区間推定と仮説検定(区間推定、平均?比率などの検定、クロス表の検定…) 回帰分析(線形回帰、非線形回帰、機械学習…) 判別分析(線形判別、非線形判別、機械学習…) ベイズモデル、ブートストラップ法など 目的と分析方法 コーパスの特徴分析 　比率、代表値、主成分分析など記述統計法 コーパス間の差異の比較分析 　指標の比較、仮説検定を中心とした推測統計法 言語要素の経年の変化 　回帰分析法、機械学習法など コーパスのパターンの識別 　判別分析法、機械学習法など データ解析?マイニングとツール Excel SAS、 SPSS、 S-PLUS R Ｒの作業画面 演習1 パッケージ Rはもっとも基本的な環境＋パッケージ 　パッケージは既に2000以上 パッケージの操作 　　①　インストール、②　読み込み パッケージの分類 　　①　インストール済み 　　読み込み操作不要　 　　　 　　読み込み操作が必要 　　②　インストールが必要 ローカルにダウンロードしてインストール データの入出力 ベクトル vector, c マトリクス matrix データフレーム data.frame リスト list データの編集 edit, fix データファイルからの入力 read.table read.csv 出力 write.table 　　　　　　　　　　　　　　　　　　　　　write.csv 演習2 パッケージe1071を探し、D:/tempにダウンロード?保存し、インストール、読み込みを行いなさい Helpを使いましょう メニュー「ヘルプ」 基本演算と基本統計量 算術演算 比較演算 論理演算 行列演算 固有値 特異値の分解 基本統計量(平均、分散、??????) データの視覚化 棒グラフ barplot 円グラフ pie ヒストグラム hist 折れ線グラフ matplot 箱ひげ図 boxplot 散布図（2次元、3次元） plot, pairs その他 代表値 平均mean 分散var,標準偏差sd 平方根sqrt 相関係数cor 合計sum 比率 mean(X[1,]) var(X[1,]);sd(X[1,]) sqrt(X) cor(X) sum(X[,1]) prop.table(x[,1]) 箱ひげ図boxplot help(boxplot) boxplot(count ~ spray, data = InsectSprays) 量的データの場合 身長、成績、製品のサイズ(直径、長さなど) 計測データをヒストグラムで示すことができる 確率分布関数(probability distribution function) 確率分布 正規分布確率密度関数dnorm 正規分布の乱数 関数rnorm 正規分布の確率分布関数pnorm 標準正規分布の2の確率を求めなさい。 正規分布の確率分位点qnorm 標準正規分布の下側2.5％の点 標準正規分布の上側2.5％の点 幾つかの離散分布 二項分布 (d,p,q,r) binorm ポアソン分布 (d,p,q,r) pois 幾何分布 (d,p,q,r) geom 超幾何学分布 (d,p,q,r) hyper 多項分布 (d,p,q,r) multinom 負の二項分布 (d,p,q,r) nbinom 主な連続型確率分布 一様分布 (d,p,q,r) unif 正規分布 (d,p,q,r) norm 指数分布 (d,p,q,r) exp Ｔ分布 (d,p,q,r) t Ｆ分布 (d,p,q,r) f カイ2乗分