Ch11-非监督学习方法.pdf

11.1 11.2 11.3 11.4 11.5 11.6 11.1 11.1 11.1 Top-down Division Hierarchical Top-down Division Hierarchical Clustering Clustering Bottom-up Agglomerative Bottom-up Agglomerative PDF based methods PDF based methods K-Series K-Series Partitional Partitional Clustering Graph Theory based methods Clustering Graph Theory based methods PCA/SVD based methods PCA/SVD based methods Other methods Other methods 11.2 11.2 x 0y 0 x,y 11.2 11.2 11.2 S u i S u T y | y ∈S i i S i ui 11.2 11.2 ui T u y i u i u i 11.2 1. u u i i 2. 3. ui 4. 5. 11.2 S c S UΓ, i i 1 | | , | | Γ Γ N ∑N N S i i i i i N f y | Γ i p y | Γ i i N 11.2 “” 2 [ ] f y | Γ ?f y | Γ p y dy ∫ i j c c 2 [ ] J ∑∑ f y | Γ ?f y | Γ p y dy ∫ i j i 1 j 1 11.2 y ΓΓJ k i j [2 ]2 ?J ∫ c?f i p y dy 2 [ | | ] + c f y Γ ?f y Γ ?f p y dy ∫ i j i 1 ?f i ??f j K y , y k , K , N 11.2 0 f y | Γ ?f y | Γ i j ?J y Γ f y | Γ Γ k j i i 11.2 1.S 2.Sy f y | Γ y i f y | Γ i 3. 11.3 11.3 11.3 C-K-Means,K- m i c J ∑∑|| y ?m ||2 i i 1 y∈ Γi Γ k y ΓJ j N k 2 N j 2 ?J ? || y ?mk || + || y ?mj || N ?1 N +1 k j 11.3 C- 1. 2.y Γk y ?J 3.?J 0y y ?J 4.J 5.N J2 11.3 C- C- 11.3 C- O N “” 11.3 “” K j ? y ,K j c J ∑∑? y ,K j j 1 y ∈ Γj 11.3 C- 1. 2. y ∈Γ? y ,K min ? y ,K j j k k 3.2-3 C- 11.3 J ~ ~ ~ ~ J Γ,Κ ≤J Γ,Κ , J Γ,Κ ≤J Γ,Κ Γ,K ~ ~ Γ,K 11.3 1 1 T ? ?1 K y , V exp ? y ?m Σ y ?m j j π d / 2 ? 1/ 2 2 i j i 2 | Σ | j ? V m ,Σ j j j 1 T ? ?1 1 ? ?y ,K y ?m Σ y ?m + log | Σ | j 2 i j i 2 j 11.3 T K y , V U y j j U u u u j j 1, 2 ,..., dj d j ? y K y ?m ?U UT y ?m T ? , j [ j j j j ] [ y ?m ?U UT y ?m ] j j j j 11.3 11.3 y y Iy y K i j j i aij I +K ?2, i ≠j 11.3 11.3 “” a ij α 2N ii α 0 ij N N Lwithin ∑∑αij i 1 j 1 11.3 ij γij min akl y ∈Γ ,y ∈Γ k i l j iαimax ij βij 11.3 [ γ α γ α ], if γ α ,γ α ?? ? + ? ? ij i max ij j max ij i max ij j max γ α ,if γ α ,γ α + ≤ ?ij i max ij i max ij j max