应用多元统计分析习题解答判别分析.docx

第四章判别分析

简述欧几里得距离与马氏距离的区别和联系。

答： 设p维欧几里得空间 中的两点X= 和

Y= 。 则 欧 几 里 得 距 离 为

。欧几里得距离的局限有①在多元数据分析中，其度量不合理。②会受到实际问题中量纲的影响。

设 X,Y 是 来 自 均 值 向 量 为 ， 协 方 差 为

的总体G中的p维样本。则马氏距离为

D(X,Y)=

o当

即 单 位 阵 时 ，

D(X,Y)= = 即欧几里得距离。因此，在一定程度上，欧几里得距离是马氏距离的特殊情况，马氏距离是欧几里得距离

的推广。

试述判别分析的实质。

答：判别分析就是希望利用已经测得的变量数据，找出一种判别函数，使得这一函数具有某种最优性质，能把属于不同类别的样本点尽可能地区别开来。设R1，R2，…，Rk是p维空

间Rp的k个子集，如果它们互不相交，且它们的和集为 ，则称 为 的一

个划分。判别分析问题实质上就是在某种意义上，以最优的性质对p维空间 构造一个“划分”，这个“划分”就构成了一个判别规则。

简述距离判别法的基本思想和方法。

答：距离判别问题分为①两个总体的距离判别问题和②多个总体的判别问题。其基本思想都是分别计算样本与各个总体的距离（马氏距离），将距离近的判别为一类。

①两个总体的距离判别问题

设有协方差矩阵∑相等的两个总体G和G，其均值分别是?和?

，对于一个新的样品X，

1 2 1 2

要判断它来自哪个总体。计算新样品X到两个总体的马氏距离D2（X，G）和D2（X，G），

则

X ，D2（X，G）

1

1 2

D2（X，G）

2

X

具体分析，

，D2（X，G）D2（X，G，

1 2

D2(X,G

1

)?D2(X,G)

2

?(X?μ)?Σ?1(X?μ

1 1

)?(X?μ)?Σ?1(X?μ)

2 2

?X?Σ?1X?2X?Σ?1μ?μ?Σ?1μ?(X?Σ?1X?2X?Σ?1μ ?μ?Σ?1μ)

1 1 1 2 2 2

?2X?Σ?1(μ

?μ)?μ?Σ?1μ?μ?Σ?1μ

2

?2X?Σ?1(μ

2

1 1

?μ)?(μ

1 1

1 2

?μ)?Σ?1(μ

2 1

2

μ)

2

?1??2?X?μ?μ2

?

1

?

?

?Σ?1(μ

μ)

? 2 ? 1 2

??2(X?μ)?α??2α?(X?μ)

记W(X)?α?(X?μ) 则判别规则为

X ，W(X)

X ，W(X)0

②多个总体的判别问题。

设有k个总体G,G

1 2

,?,G

k

，其均值和协方差矩阵分别是μ,μ

1 2

,?,μ

k

和Σ,Σ

1 2

,?,Σ，

k

且Σ ?Σ

1 2

???Σ

k

?Σ。计算样本到每个总体的马氏距离，到哪个总体的距离最小就属

于哪个总体。

具体分析，D2(X,G

?

)?(X?μ

?

)?Σ?1(X?μ )

?

?X?Σ?1X?2μ?Σ?1X?μ?Σ?1μ

? ? ?

?X?Σ?1X?2(I?X?C)

? ?

1

取I ?Σ?1μ ，C ?? μ?Σ?1μ

，??1,2,?,k。

? ? ? 2 ? ?

可以取线性判别函数为

W(X)?I?X?C，??1,2,?,k

? ? ?

相应的判别规则为X?G

若W(X)?max(I?X?C)

i i 1???k ? ?

简述贝叶斯判别法的基本思想和方法。

基本思想：设k个总体G,G

1 2

,?,G

k

，其各自的分布密度函数f

1

(x),f

2

(x),?,f

k

(x)，假设k

个总体各自出现的概率分别为q,q

1 2

,?,q ，q

k i

?0，?k q

i

i?1

?1。设将本来属于G

i

总体的样品

错判到总体G

时造成的损失为C(j|i)，i,j?1,2,?,k。

j

设k个总体G,G

1 2

,?,G

k

相应的p维样本空间为R?(R,R

1 2

,?,R)。

k

在规则R下，将属于G的样品错判为G 的概率为

i j

P(j|i,R)?? f

i

Rj

(x)dx i,j?1,2,?,k

i?j

则这种判别规则下样品错判后所造成的平均损失为

r(i|R)??k

j?1

[C(j|i)P(j|i,R)] i