第六章 聚类分析

第六章 聚类分析 §6.1

引言 §6.2 距离和相似系数 §6.3 系统聚类法 §6.4 动态聚类法

§6.1 引言判别分析和聚类分析是两种不同目的的分类方法， 它们所起的作用是不同的。判别分析方法假定组 (或类)已事先分好，判别新样品应归属哪一组， 对组的事先划分有时也可以通过聚类分析得到。聚 类分析方法是按样品(或变量)的数据特征，把相 似的样品(或变量)倾向于分在同一类中，把不相 似的样品(或变量)倾向于分在不同类中。 聚类分析根据分类对象不同分为Q型和R型聚类分析。

§6.2 距离和相似系数相似性度量：距离和相似系数。 距离常用来度量样品之间的相似性，相似系数常用 来度量变量之间的相似性。 样品之间的距离和相似系数有着各种不同的定义， 而这些定义与变量的类型有着非常密切的关系。

变量的测量尺度通常变量按测量尺度的不同可以分为间隔、有序和 名义尺度变量三类。 间隔尺度变量：变量用连续的量来表示，如长度、 重量、速度、温度等。 有序尺度变量：变量度量时不用明确的数量表示， 而是用等级来表示，如某产品分为一等品、二等品、 三等品等有次序关系。 名义尺度变量：变量用一些类表示，这些类之间既 无等级关系也无数量关系，如性别、职业、产品的 型号等。 本章主要讨论具有间隔尺度变量的样品聚类分析方 法。

距离有多种定义方法，在聚类分析中最常用的是欧 氏距离，即有2 dij xik x jk k 1 p 12

当各变量的单位不同或测量值范围相差很大时，应 先对各变量的数据作标准化处理。最常用的标准化 处理是，令x * ij

xij x j s jjn

, i 1, 2, , n,

j 1, 2, , p

变量的样本均值和样本方差。

2 1 n 1 其中 x j xij 和 s jj n 1 xij x j 分别为第 j 个 i 1 n i 1

二、相似系数聚类分析方法不仅用来对样品进行分类，而且可用 来对变量进行分类，在对变量进行分类时，常常采 用相似系数来度量变量之间的相似性。 变量之间的这种相似性度量，在一些应用中要看相 似系数的大小，而在另一些应用中要看相似系数绝 对值的大小。 相似系数(或其绝对值)越大，认为变量之间的相似 性程度就越高；反之，则越低。 聚类时，比较相似的变量倾向于归为一类，不太相 似的变量归属不同的类。

相似系数一般需满足的条件

(1) cij 1 ,当且仅当 xi ax j b, a ( 0)和 b 是常 数； (2) cij 1,对一切 i, j ; (3) cij c ji ,对一切 i, j 。

最常用的两个相似系数

相似系数除常用来度量变量之间的相似性外有时也 用来度量样品之间的相似性，同样，距离有时也用 来度量变量之间的相似性。 由距离来构造相似系数总是可能的，如令

1 cij 1 d ij

这里 d ij 为第 i 个样品与第 j个样品的距离，显然 cij 满 足定义相似系数的三个条件，故可作为相似系数。 距离必须满足定义距离的四个条件，所以不是总能 由相似系数构造。高尔(Gower)证明，当相似系 数矩阵 cij 为非负定时，如令dij 2 1 cij

则 d ij 满足距离定义的四个条件。

§6.3 系统聚类法系统聚类法是聚类分析诸方法中用得最多的一种。 基本思想是：开始将个样品各自作为一类，并规定 样品之间的距离和类与类之间的距离，然后将距离 最近的两类合并成一个新类，计算新类与其他类的 距离；重复进行两个最近类的合并，每次减少一类， 直至所有的样品合并为一类。

常用的系统聚类方法 一、最短距离法 二、最长距离法 三、中间距离法 四、类平均法 五、重心法 六、离差平方和法(Ward方法)

一、最短距离法

定义类与类之间的距离为两类最近样品间的距离， 即DKL min diji GK , j GL

最短距离法的聚类步骤(1) 规定样品之间的距离，计算 n 个样品的距离矩 阵 D 0 ,它是一个对称矩阵。 (2) 选择 D 0 中的最小元素，设为 DKL ,则将 GK 和 GL 合并成一个新类，记为GM ,即 GM GK GL (3) 计算新类 GM 与任一类 GJ 之间距离的递推公式为

DMJ min dij mini GM , j GJ

min

i GK , j GJ

dij , min diji GL , j GJ

min DKJ , DLJ

最短距离法的聚类步骤在 D 0 中，GK 和 GL 所在的行和列合并成一个新行新 列，对应 GM ,该行列上的新距离值由(6.3.2)式 求得，其余行列上的距离值不变，这样就得到新的 距离矩阵，记作 D 1 。 (4) 对 D 1 重复上述对 D 0 的两步得 D 2 ,如此下去直 至所有元素合并成一类为止。 如果某一步 D m 中最小的元素不止一个，则称此现 象为结(tie),对应这些最小元素的类可以任选一对 合并或同时合并。