聚类分析基本数学原理

本页目录

系统聚类法是聚类分析中应用最为广泛的一种方法，它的基本原理是：首先将一定数量的样品或指标各自看成一类，然后根据样品（或指标）之间的亲疏程度，将亲疏程度最高的两类进行合并。然后考虑合并后的类与其他类的亲疏程度，再进行合并。重复这个过程，直至将所有的样品（或指标）合并为一类。

1．距离和相似系数

衡量样品或指标之间亲疏程度的指标有两种，即距离和相似系数。距离是将每个样品看成m个变量对应的m维空间中的一个点，然后在该空间中进行定义点之间的，距离越近，则亲密程度越高。当相似系数接近于1或-1时，认为样品或指标之间的性质比较接近；当相似系数接近于0时，认为样品或指标之间是无关的。下面是一些常用的距离和相似系数及其定义方法。

（1）欧氏距离

\[\begin{matrix} {d}_{ij}=\sqrt{\sum_{t=1}^{p} {({x}_{it}-{x}_{jt}{)}^{2}}} & (i,j=1,2,\cdots,n) \end{matrix}\]

（2）标准化欧氏距离

\[{d}_{rs}^{2}=({x}_{r}-{x}_{s}){D}^{-1}({x}_{r}-{x}_{s}{)}^{'}\]

（3）马氏距离

\[{d}_{rs}^{2}=({x}_{r}-{x}_{s}{)}^{'}{V}^{-1}({x}_{r}-{x}_{s}{)}^{'}\]

（4）布洛克距离

\[{d}_{rs}=\sum_{j=1}^{n} {\left| {x}_{rj}-{x}_{sj} \right|}\]

（5）切比雪夫距离

\[\begin{matrix} {d}_{ij}(\infty)=\operatorname{max}{|}{x}_{ik}-{x}_{jk}| & (i,j=1,2,\cdots,n) \end{matrix}\]

（6）明可夫斯基距离

\[{d}_{rs}={\left\{ \sum_{j=1}^{n} {{\left| {x}_{rj}-{x}_{sj} \right|}^{p}} \right\}}^{1/p}\]

注意，当p=1时，为布洛克距离；当p=2时，为标准化欧氏距离。

（7）夹角余弦（相似系数）

\[\operatorname{cos}{{\alpha}_{ij}}=\frac{\sum_{k=1}^{m} {{x}_{ki}\times{x}_{kj}}}{\sqrt{(\sum_{k=1}^{n} {{x}_{ki}^{2}})(\sum_{k=1}^{n} {{x}_{kj}^{2}})}}\]

（8）相关系数（相似系数）

\[{r}_{ij}=\frac{\sum_{k=1}^{n} {({x}_{ki}-{\bar{x}}_{i})({x}_{kj}-{\bar{x}}_{j})}}{\{[\sum_{k=1}^{n} {({x}_{ki}-{\bar{x}}_{i}{)}^{2}}]\times[\sum_{k=1}^{n} {({x}_{kj}-{\bar{x}}_{j}{)}^{2}}]{\}}^{1/2}}\]

2．常用的聚类方法

常用的聚类方法主要有以下几种。

（1）最小距离法

该方法将两个类之间的距离定义为一个类的所有个体与另一个类的所有个体的距离的最小者，即

\[{\begin{matrix} {D}_{pq}=\operatorname{min}{{d}_{ij}} & ，{x}_{i}\in{G}_{p}, {x}_{j}\in G \end{matrix}}_{q}\]

（2）最大距离法

与最短距离法相反，该方法用个体之间的最远距离来定义类与类之间的距离，即

\[\begin{matrix} {D}_{ij}=\operatorname{max}{\{}{d}_{Kl}\} & ，{x}_{k}\in{G}_{i},{x}_{l}={G}_{j} \end{matrix}\]

（3）中间距离法

该方法在定义类与类之间的距离时，采用的是最短距离与最长距离的中间距离。当用Gp与Gq合并成新类Gr时，任意一个类Gi与Gr的距离用下式计算。

\[{D}_{ir}=\sqrt{\frac{1}{2}{D}_{ip}^{2}+\frac{1}{2}{D}_{iq}^{2}-\frac{1}{4}{D}_{pq}^{2}}\]

在上式中，Dip，Diq，Dpq分别为Gi，Gp，Gq的距离。

（4）质心法

该方法将两个类之间的距离定义为两个类的质心之间的距离。它考虑了每一个类所包含的样品数，每一个类的质心即为该类样品的均值。

假设类Gp和Gq合并成Gr以后，它们的样本数目分别是np，nq和nr=np+nq。则Gr与其他类Gi的距离为

\[{D}_{ir}^{2}=\frac{{n}_{p}}{{n}_{r}}{D}_{ip}^{2}+\frac{{n}_{q}}{{n}_{r}}{D}_{iq}^{2}-\frac{{n}_{p}}{{n}_{r}}\frac{{n}_{q}}{{n}_{r}}{D}_{pq}^{2}\]

（5）离差平方和法

该方法是Ward根据方差分析的原理得到的。如果分类比较合理，则同类样品之间的离差平方和较小，类与类的离差平方和较大。假设类Gp与类Gq合并成新类Gr，则Gr与任一类Gi的距离递推公式为

\[{D}_{ir}^{2}=\frac{{n}_{i}+{n}_{p}}{{n}_{r}+{n}_{i}}{D}_{ip}^{2}+\frac{{n}_{i}+{n}_{q}}{{n}_{r}+{n}_{i}}{D}_{iq}^{2}-\frac{{n}_{i}}{{n}_{r}+{n}_{i}}{D}_{pq}^{2}\]

利用离差平方和法分类的效果比较好，它要求样品之间的距离必须是欧氏距离。

（6）平均联结法

前面介绍了用类之间的最小距离、最大距离和中间距离等联结类的方法，还可以用取平均的方法联结类。平均联结法分为两种，即组间平均联结法和组内平均联结法。

组间平均联结法将两个类所有成对案例（各来自一个类）之间的平均距离作为类间距离并要求该距离最小。它利用了两个类中所有成对案例的信息。

组内平均联结法则是要使产生类的所有个案之间的平均距离尽可能地小。

3．数据的转换

在进行聚类分析时，各变量之间有可能存在不同量纲、不同数量级的情况，因此，也就存在转换数据的必要性。转换数据的目的是使这些变量具有可比性。常用的数据转换方法有中心化、极差正规化和标准化等。