第6章 主成分分析3

多元统计PPT

第六章 主成分分析第一节 第二节 引言 主成分的几何意义及数学 推导

第三节 第四节第五节

主成分的性质 主成分方法应用中应注意 的问题实例分析与计算机实现

多元统计PPT

第一节 引言 多元统计分析处理的是多变量(多指标)问题。 在实际问题中，为了尽可能完整地获取有关的信息，往

往需要考虑众多的变量，这虽然可以避免重要信息的遗 漏，但增加了分析的复杂性。 同一问题所涉及到的众多变量之间会存在一定的相关性， 这种相关性会使各变量的信息有所“重叠”。 人们自然希望通过克服相关性、重叠性，即对这些彼此 相关的变量加以“改造”,用较少的变量来代替原来较 多的变量，而这种代替可以反映原来多个变量的大部分 信息，从而通过对为数较少的新变量的分析达到解决问 题的目的。 这实际上是一种“降维”的思想。

多元统计PPT

主成分分析也称主分量分析，是由Hotelling

于1933年首先提出的。 由于多个变量之间往往存在着一定程度的相 关性。人们自然希望通过线性组合的方式， 从这些指标中尽可能快地提取信息。 当第一个线性组合不能提取更多的信息时， 再考虑用第二个线性组合继续这个快速提取 的过程，……,直到所提取的信息与原指标 相差不多时为止。这就是主成分分析的思想

多元统计PPT

主成分分析着眼于考虑变量的“分散性”信

息,主要目的是对原变量加以“改造”,在不致 损失原变量太多信息的条件下尽可能地降低 原变量的维数,即用较少的“新变量”代替原 来的各变量,即：(1)变量的降维；(2)主成分的 解释。 一般说来，在主成分分析适用的场合，用较

少的主成分就可以得到较多的信息量。以各 个主成分为分量，就得到一个更低维的随机 向量； 因此，通过主成分既可以降低数据“维数” 又保留了原数据的大部分信息。

多元统计PPT

我们知道，当一个变量只取一个数据时，这个变

量(数据)提供的信息量是非常有限的，当这个 变量取一系列不同数据时，我们可以从中读出最 大值、最小值、平均数等信息。 变量的变异性越大，说明它对各种场景的“遍历 性”越强，提供的信息就更加充分，信息量就越 大。 主成分分析中的信息，就是指标的变异性，用标 准差或方差表示它。

多元统计PPT

主成分分析的数学模型是：

设p个变量构成的p维随机向量为X = (X1,…,

Xp)′。对X作正交变换，令Y = T′X,其中T为 正交阵，要求Y的各分量是不相关的，并且Y 的第一个分量的方差是最大的，第二个分量 的方差次之，……,等等。 的各分量方差和相等。

为了保持信息不丢失，Y的各分量方差和与X

多元统计PPT

第二节

主成分的几何意义及数 学推导

一 主成分的几何意义

二 主成分的数学推导

多元统计PPT

一、主成分的几何意义

设X=(X1,X2)且E(X)=0,n次观测数据xi=(xi1,xi2), 1.假设X1与X2的相关系数的绝对值为1,即观测 数据的散点图大致是一条直线l,此时有两个变量。 作旋转变换yi1 xi1 cos xi 2 sin , i 1 ~ n

则在Oy1轴上, 分散性(样 本方差)最大, 即选择θ使 Y1 X1 cos X 2 sin ,

的Var(Y1)最大,

Y1基本上反映了二维信息.

多元统计PPT

主成分分析数学模型中的正交变换，在几何上就

是作一个坐标旋转。因此，主成分分析在二维空 间中有明显的几何意义。 假设共有n个样品，每个样品都测量了两个指标 (X1,X2),它们大致分布在一个椭圆内如图所 示。4 -4 -2 0 2

-4

-2

0

2

4

多元统计PPT

椭圆有一个长轴和一个短轴。在短轴方向上， 数据变化很少；在极端的情况，短轴如果 退化成一点，那只有在长轴的方向才能够 解释这些点的变化了；由二维到一维的降维 就完成了。4 -4 -2 0 2

-4

-2

0

2

4

多元统计PPT

显然，在坐标系x1Ox2中，单独看这n个点的分量 X1和X2,它们沿着x1方向和x2方向都具有较大的 离散性，其离散的程度可以分别用的X1方差和X2 的方差测定。 如果仅考虑X1或X2中的任何一个分量，那么包含 在 另一分量中的信息将会损失，因此，直接舍 弃某个分量不是“降维”的有效办法。

多元统计PPT

当坐标轴和椭圆的长短轴平行，那么代表长轴的

变量就描述了数据的主要变化，而代表短轴的变 量就描述了数据的次要变化。 但是，坐标轴通常并不和椭圆的长短轴平行。因

此，需要寻找椭圆的长短轴，并进行变换，使得 新变量和椭圆的长短轴平行。 如果长轴变量代表了数据包含的大部分信息，就

用该变量代替原先的两个变量(舍去次要的一 维),降维就完成了。 椭圆(球)的长短轴相差得越大，降维也越有道

理。

多元统计PPT

如果我们将该坐标系按逆时针方向旋转某个

角度θ变成新坐标系 y1Oy2,旋转公式为

Y1 X 1 cos X 2 sin Y2 X1 sin X 2 cos 它的矩阵表示形式为：

(6.1)

Y1 cos Y sin 2

sin X 1 T X cos X 2

(6.2)

其中， T 为旋转变换矩阵，它是正交矩阵， 即有 T T 1 或 T T I

多元统计PPT

新变量Y1 与Y2 取代原来的变量X1 与X2 ,新坐标

系的Oy1与Oy2轴分别与长短轴平行； Y1与Y2分别是X1与X2的线性组合； n个点在新坐标系下的坐标Y1和Y2几乎不相关。 Y1与Y2分别反映了彼此垂直的两个方向上数据的 分散性信息 称它们为原始变量X1和X2的综合变量，n个点在 y1轴上的方差达到最大，

即在此方向上包含了有 关n个样品的最大量信息。

多元统计PPT

因此，欲将二维空间的点投影到某个一维方向上，

则选择y1轴方向能使信息的损失最小。 Var(Y1)达到最大，Var(Y2)相对较小，称Y1为第

一主成分，称Y2为第二主成分。第一主成分的效 果与椭圆的形状有很大的关系，椭圆越是扁平， n个点在y1轴上的方差就相对越大，在y2轴上的方 差就相对越小，用第一主成分代替所有样品所造 成的信息损失也就越小。 若数据在Oy2方向上分散性很小，则可用Y1取代 (X1,X2),完成降维。 主成分分析即构造原变量的一系列线性组合，使 其(样本)方差达到最大。

多元统计PPT

考虑两种极端的情形：

一种是椭圆的长轴与短轴的长度相等，即椭

圆变成圆， 第一主成分只含有二维空间点的约一半信息， 若仅用这一个综合变量，则将损失约50%的信 息，这显然是不可取的。 造成它的原因是，原始变量X1和X2的相关程 度几乎为零，也就是说，它们所包含的信息几 乎不重迭，因此无法用一个一维的综合变量来 代替。