现代统计分析方法专题十：聚类分析

现代统计分析方法专题

专题十 聚类分析Clustering Analysis

现代统计分析方法专题

“物以类聚，人以群分” 城市大气污染轻重分区 学生按照各科学习情况分类 对人体测量的几十个部位的尺寸按反映 人体高矮、胖瘦、畸形分类 经济学中根据人均国民收入、人均工农 业产值、人均消费水平等多种指标对世 界上所有国家的经济状况进行分类

现代统计分析方法专题

系统聚类分析

开始每个对象自成一类，然后每次将最相似的两类合并，合并后重新计算新类与其它类的距离或相近性测度，可以用聚类谱系图描 述。直观，易懂。

动态聚类首先对n个对象初步分类，然后根据分类的损失函数尽可能小的 原则对其进行调整，直到分类合理为止。快速，动态。 最优分割法(有序样品聚类) 开始将所有样品看成一类，然后根据某种最优准则将他们分割为

两类、三类，一直分割到所需的K类为止。

现代统计分析方法专题

§1 什么是聚类分析

例 对10位应聘者做智能检验。3项指标X,Y和Z分别表示数学推理能力，空间想象能力和语言理解能力。其得分如下，选择合适的统计方 法对应聘者进行分类。应聘者 X Y Z 1 28 29 28 2 18 23 18 3 11 22 16 4 21 23 22 5 26 29 26 6 20 23 22 7 16 22 22 8 14 23 24 9 24 29 24 10 22 27 24

现代统计分析方法专题

现代统计分析方法专题

现代统计分析方法专题

我们直观地来看，这个分类是否合理？ 计算4号和6号得分的离差平方和： (21-20)2+(23-23)2+(22-22)2=1 计算1号和2号得分的离差平方和： (28-18)2+(29-23)2+(28-18)2=236 计算1号和3号得分的离差平方和为482,由 此可见一般，分类可能是合理的，欧氏距离很 大的应聘者没有被聚在一起。 由此，我们的问题是如何来选择样品间相 似的测度指标，如何将有相似性的类连接起来？7

现代统计分析方法专题

聚类分析根据一批样品的许多观测指标， 按照一定的数学公式具体地计算一些样品或 一些参数(指标)的相似程度，把相似的样品 或指标归为一类，把不相似的归为一类。 例如对上市公司的经营业绩进行分类； 据经济信息和市场行情，客观地对不同商品、 不同用户及时地进行分类。又例如当我们对 企业的经济效益进行评价时，建立了一个由 多个指标组成的指标体系，由于信息的重叠， 一些指标之间存在很强的相关性，所以需要 将相似的指标聚为一类，从而达到简化指标 体系的目的。8

现代统计分析方法专题

思考：样本点之间按什么刻画相似程度 思考：样本点和小类之间按什么刻画相似程 度 思考：小类与小类之间按什么来刻画相似程

度

现代统计分析方法专题

§2 相似系数和距离 一、变量测量尺度的类型 为了将样本进行分类，就需要研究样品之间的关 系；而为了将变量进行分类，就需要研究变量之间 的关系。但无论是样品之间的关系，还是变量之间 的关系，都是用变量来描述的，变量

的类型不同， 描述方法也就不同。通常，变量按照测量它们的尺 度不同，可以分为三类。 (1)间隔尺度。指标度量时用数量来表示，其数 值由测量或计数、统计得到，如长度、重量、收入、 支出等。一般来说，计数得到的数量是离散数量， 测量得到的数量是连续数量。在间隔尺度中如果存 在绝对零点，又称比例尺度。10

现代统计分析方法专题

(2)顺序尺度。指标度量时没有明确的数量表示，只 有次序关系，或虽用数量表示，但相邻两数值之间的差距 并不相等，它只表示一个有序状态序列。如评价酒的味道， 分成好、中、次三等，三等有次序关系，但没有数量表示。 (3)名义尺度。指标度量时既没有数量表示也没有次 序关系，只有一些特性状态，如眼睛的颜色，化学中催化 剂的种类等。在名义尺度中只取两种特性状态的变量是很 重要的，如电路的开和关，天气的有雨和无雨，人口性别 的男和女，医疗诊断中的“十”和“一”,市场交易中的 买和卖等都是此类变量。

现代统计分析方法专题

二、数据的变换处理

所谓数据变换，就是将原始数据矩阵中的每个元素， 按照某种特定的运算把它变成为一个新值，而且数值的变 化不依赖于原始数据集合中其它数据的新值。 1、中心化变换 中心化变换是一种坐标轴平移处理方法，它是先求出 每个变量的样本平均值，再从原始数据中减去该变量的均 值，就得到中心化变换后的数据。 设原始观测数据矩阵为： x11 x12 x1 p x x22 x2 p 21 X x xn 2 xnp 12 n1

现代统计分析方法专题

* xij xij x j

(i 1,2,3, , n; j 1,2,3, , p)

中心化变换的结果是使每列数据之和均为0,即每个变量 的均值为0,而且每列数据的平方和是该列变量样本方差 的(n—1)倍，任何不同两列数据之交叉乘积是这两列变量

样本协方差的(n—1)倍，所以这是一种很方便地计算方差与协方差的变换。

现代统计分析方法专题

2、极差规格化变换 规格化变换是从数据矩阵的每一个变量中找出其最大值 和最小值，这两者之差称为极差，然后从每个变量的每个

原始数据中减去该变量中的最小值，再除以极差，就得到规格化数据。即有：xij min( xij )i 1, 2 , , n

* xij

Rji 1, 2 , , n

(i 1,2,3, , n; j 1,2,3, , p)

R j max ( xij ) min( xij )i 1, 2 , , n

* 0 xij 1

现代统计分析方法专题

经过规格化变换后，数据矩阵中每列即每个变量的最 大数值为1,最小数值为0,其余数据取值均在0-1之间； 并且变换后的数据都不再具有量纲，便于不同的变量之间 的比较。 3、标准化变换 标准化变换也是对变量的数值和量纲进行类似于规格

化变换的一种数据处理方法。首先对每个变量进行

中心化变换，然后用该变量的标准差进行标准化。即有：xij x j (i 1,2,3, , n; j 1,2,3, , p) x Sj 1 n 2 ( xij x j ) Sj n 1 i 1* ij15

现代统计分析方法专题

经过标准化变换处理后，每个变量即数据矩阵中每列 数据的平均值为0,方差为1,且也不再具有量纲，同样也 便于不同变量之间的比较。变换后，数据短阵中任何两列

数据乘积之和是两个变量相关系数的(n-1)倍，所以这是一种很方便地计算相关矩阵的变换。

4.对数变换 对数变换是将各个原始数据取对数，将原始数据的对 数值作为变换后的新值。即：* xij log( xij )