library(NbClust)函数NbClust（）选择层次聚类分析聚类的个数
library(rattle)数据wine可以做K均值分析
library（stats）函数kmeans（）进行K均值聚类分析
library(cluster)函数pam（）进行中心点的划分聚类分析，数据可用用wine
以k-means聚类为例，对于一个聚类个数k，首先利用k-means聚类将样本聚成k类，然后计算k类中各类内各点与类中心的距离加和W(ki)，进而计算k类的距离加和W(k)=sum(W(k1),…,W(ki),…,W(kk))；根据原始数据的特点产生B个均匀分布的参考数据集，对于每个数据集都计算W(sk)，计算B个数据集的平均E.W(k)=mean(W(1k),…,W(sk),…,W(bk))； 那么对于每个k就有：gap(k)=log(E.W(k))-log(W(k))；然后选取最小的k，使得gap(k)为局部最大值，并且超出了其邻居1个标准差，即gap(k)-gap(k+1)>0.25*sd(W(s(k+1))) 参考文献：Single-cell messenger RNA sequencing reveals rare intestinal celltypes. Nature 2015 这里需要注意的是，gap statistic适用于可以直接设定聚类个数的聚类方法，如k均值和层次聚类，而类似密度聚类和PhenoGraph聚类方法，这两者是用参数(半径，resolution)来划分样本，无法直接设定类别个数。[谨慎!!!可以先调整参数使得得出的聚类个数和该方法得出的结果相同!!!] 轮廓系数，是聚类效果好坏的一种评价方式。最早由 Peter J. Rousseeuw 在 1986 提出。它结合内聚度和分离度两种因素。可以用来在相同原始数据的基础上评价不同算法、或者算法不同运行方式对聚类结果所产生的影响。 1. 计算样本i到同簇其他样本的平均距离ai。ai 越小，说明样本i越应该被聚类到该簇。将ai 称为样本i的簇内不相似度。簇C中所有样本的a i 均值称为簇C的簇不相似度。 2. 计算样本i到其他某簇Cj 的所有样本的平均距离bij，称为样本i与簇Cj 的不相似度。定义为样本i的簇间不相似度：bi =min{bi1, bi2, ..., bik}。bi越大，说明样本i越不属于其他簇。 3. 根据样本i的簇内不相似度ai和簇间不相似度bi，定义样本i的轮廓系数：4. 判断： a) si接近1，则说明样本i聚类合理； b) si接近-1，则说明样本i更应该分类到另外的簇； c) 若si近似为0，则说明样本i在两个簇的边界上。 所有样本的si的均值称为聚类结果的轮廓系数，si越大，说明聚类效果越好。 参考自: CSDN引用文献: Cluster analysis of novel isometric strength measures produces a valid and evidence-based classification structure for wheelchair track racing. (Br J Sports Med. 2018 11.645) mclust使用高斯混合模型对数据进行聚类分析。具体算法过于复杂，这里不详细解释。mclust包方法有点“暴力”，聚类数目可以自定义，比如选取从1到20，然后一共有14种模型，每一种模型都计算聚类数目从1到20的BIC值，最终确定最佳聚类数目。该方法弊端在于时间消耗特别高。使用的数据为R自带数据集wine。这些分别代表着相关性(完全正负相关——对角线、稍强正负相关——椭圆、无关——圆)等参数的改变对应的模型。简单的看，BIC值越大则说明所选取的变量集合拟合效果越好。上图中除了两个模型一直递增，其他的12模型数基本上都是在聚类数目为3的时候达到峰值，所以该算法由此得出最佳聚类数目为3的结论。 这里的BIC的定义为：和贝叶斯信息准则不是一回事!!! 相关文献: mclust version 4 for R: normal mixture modeling for model-based clustering, classification, and density estimation. (2012,引用次数877) 类似mclust，也是自己定义了几十种评估指标，然后遍历每一个设定的聚类数目，然后通过这些指标看分别在聚类数为多少时达到最优，最后选择指标支持数最多的聚类数目就是最佳聚类数目。 大体过程是用某种已有的聚类算法或者是划分类别的方法Kmeans，Ward(最小化类内方差)，Single(最小距离)，Complete(最大距离)和Average(平均距离)等，对每一个设定的类别个数进行聚类，得出聚类结果后用评估指标评估。 评价指标有: "kl", "ch", "hartigan", "ccc", "scott", "marriot", "trcovw", "tracew", "friedman", "rubin", "cindex", "db", "silhouette"(轮廓系数), "duda", "pseudot2", "beale", "ratkowsky", "ball", "ptbiserial", "gap", "frey", "mcclain", "gamma", "gplus", "tau", "dunn", "hubert", "sdindex", "dindex", "sdbw" "all" (all indices except GAP, Gamma, Gplus and Tau), "alllong" (all indices with Gap, Gamma, Gplus and Tau included). 这里不详细解释每一种评估指标。 相关文献: NbClust Package: finding the relevant number of clusters in a dataset. (2012,引用次数 25)Package 'nbclust'. (2014,引用次数 676) 一个简单可行的指标，SSE(sum of squared error组内平方误差)library(factoextra) library(ggplot2) set.seed(1234) fviz_nbclust(scale(wine[,-1]), kmeans, method = "wss") + geom_vline(xintercept = 3, linetype = 2)选用簇中位置最中心的对象，试图对n个对象给出k个划分；代表对象也被称为是中心点，其他对象则被称为非代表对象；最初随机选择k个对象作为中心点，该算法反复地用非代表对象来代替代表对象，试图找出更好的中心点，以改进聚类的质量；在每次迭代中，所有可能的对象对被分析，每个对中的一个对象是中心点，而另一个是非代表对象。对可能的各种组合，估算聚类结果的质量；一个对象Oi可以被使最大平方-误差值减少的对象代替；在一次迭代中产生的最佳对象集合成为下次迭代的中心点。 对比kmeans：k-means是每次选簇的均值作为新的中心，迭代直到簇中对象分布不再变化。其缺点是对于离群点是敏感的，因为一个具有很大极端值的对象会扭曲数据分布。而PAM考虑新的簇中心不选择均值而是选择簇内的某个对象，只要使总的代价降低就可以。kmedoids算法比kmenas对于噪声和孤立点更鲁棒，因为它最小化相异点对的和（minimizes a sum of pairwise dissimilarities ）而不是欧式距离的平方和（sum of squared Euclidean distances.）。一个中心点（medoid）可以这么定义：簇中某点的平均差异性在这一簇中所有点中最小。 R包fpc中的pamk函数可以确定最佳聚类个数，原理是通过尝试每一个设定的聚类数，用评价标准来看哪一个聚类数最佳，评价标准有: 1."asw" : average silhouette(平均轮廓系数) width given out by pam/clara 2."multiasw": average silhouette width computed by distcritmulti 3."ch": Calinski-Harabasz Calinski-Harabasz公式:其中，n表示聚类的数目 ,k 表示当前的类, trB(k)表示类间离差矩阵的迹, trW(k) 表示类内离差矩阵的迹。 相关文献: A new and efficient k-medoid algorithm for spatial clustering. (2005 引用次数: 87) 引用文献: A simple and fast algorithm for K-medoids clustering. (2009 引用数: 993) Calinski-Harabasz准则有时称为方差比准则 (VRC)，它可以用来确定聚类的最佳K值。 Calinski Harabasz 指数定义为：其中，K是聚类数，N是样本数，SSB是组与组之间的平方和误差，SSw是组内平方和误差。因此，如果SSw越小、SSB越大，那么聚类效果就会越好，即Calinsky criterion值越大，聚类效果越好。 相关文献: A dendrite method for cluster analysis. (1974 引用数4447) 相关文献: Clustering using flower pollination algorithm and Calinski-Harabasz index. (2016 引用数19) 这个本质上是类似kmeans或者层次聚类一样，是一种聚类方法。 AP算法的基本思想是将全部样本看作网络的节点，然后通过网络中各条边的消息传递计算出各样本的聚类中心。聚类过程中，共有两种消息在各节点间传递，分别是吸引度(responsibility)和归属度(availability)。AP算法通过迭代过程不断更新每一个点的吸引度和归属度值，直到产生m个高质量的Exemplar（类似于质心），同时将其余的数据点分配到相应的聚类中。相关文献: APCluster: an R package for affinity propagation clustering. (2011 引用数240)以上内容撰写时间较早，如有参考其他文章而未标注引用的部分，实在抱歉，请及时告知，我立即修改。（1）定义每一个观测值为一类；（2）计算每一类和其它各类的距离；
（3）把“距离”最短的两类合并成一类，这样类的个数就减少一个；
（4）重复步骤1和步骤2，直到包含所有观测值的类合并成单个类为止。
基于5种营养标准含量（变量）的27种食物（观测）进行层次聚类分析，探索不同食物的相同点与不同点，并分成有意义的类。此处层次聚类算法以平均联动(average)为例。
（1）数据预处理--归一化
（2）计算欧几里得距离
（3）平均联动层次聚类分析
（1）确定聚类个数
NbClust包提供了众多的指数来确定在一个聚类分析里类的最佳数目。
（2）获取最终的聚类方案
由上图，尝试解释每类变量的含义：
K均值聚类为最常见的划分方法。
（1）选择K个中心点（随机选择K个观测），K数值就是我们预期的聚类数。
（2）把每个数据点分配给离它最近的中心点；第一次中心点是随机选择的，但也可以设置参数，选择最优的初始值。
（3）重新计算每类中的点到该类中心点距离的平均值；此时的中心点应该为每一类的均值中心点，对异常值敏感（之后都是如此）
（4）分配每个数据到它最近的中心点；
（5）重复步骤3、4，直到所有的观测值不在被分配或是达到最大的迭代次数（默认10次）
（1）数据预处理：去除第一列干扰数据，并归一化数据。
（2）确定待提取的聚类个数，同样可用NbClust包判断（顺序与层次聚类分析不同，如前所述，层次聚类分析在最后才确定聚类个数）
（3）K均值聚类分析
（4）最后将聚类结果与原始数据标准结果（第一列数据）进行比对，看看分析质量如何。
兰德指数接近0.9，看来K均值聚类算法还不错~
K均值法对均值异常敏感，相比来说，PAM为更稳健的方法。
（1）随机选择K个观测（每个都称为中心点）；
（2）计算观测值到各个中心的距离；
（3）把每个观测值分配到最近的中心点；
（4）计算每个中心点到每个观测值的距离的总和（总成本）；
（5）选择一个该类中不是中心的点，并和中心点互换；
（6）重新把每个点分配到距它最近的中心点；
（7）再次计算总成本；
（8）若新的总成本比步骤4计算的总成本少，就把新的点作为中心点；
（9）重复步骤5-8，直到中心点不变。
