R语言学习笔记之聚类分析
使用k-means聚类所需的包：
factoextra
cluster #加载包
library(factoextra)
library(cluster)l
#数据准备
使用内置的R数据集USArrests
#load the dataset
data("USArrests")
#remove any missing value (i.e, NA values for not available)
#That might be present in the data
USArrests <- na.omit(USArrests)#view the first 6 rows of the data
head(USArrests, n=6)
在此数据集中，列是变量，行是观测值
在聚类之前我们可以先进行一些必要的数据检查即数据描述性统计，如平均值、标准差等
desc_stats <- data.frame( Min=apply(USArrests, 2, min),#minimum
Med=apply(USArrests, 2, median),#median
Mean=apply(USArrests, 2, mean),#mean
SD=apply(USArrests, 2, sd),#Standard deviation
Max=apply(USArrests, 2, max)#maximum
)
desc_stats <- round(desc_stats, 1)#保留小数点后一位head(desc_stats)
变量有很大的方差及均值时需进行标准化
df <- scale(USArrests)
#数据集群性评估
使用get_clust_tendency()计算Hopkins统计量
res <- get_clust_tendency(df, 40, graph = TRUE)
res$hopkins_stat
## [1] 0.3440875
#Visualize the dissimilarity matrix
res$plot
Hopkins统计量的值<0.5，表明数据是高度可聚合的。另外，从图中也可以看出数据可聚合。
#估计聚合簇数
由于k均值聚类需要指定要生成的聚类数量，因此我们将使用函数clusGap()来计算用于估计最优聚类数。函数fviz_gap_stat()用于可视化。
set.seed(123)
## Compute the gap statistic
gap_stat <- clusGap(df, FUN = kmeans, nstart = 25, K.max = 10, B = 500)
# Plot the result
fviz_gap_stat(gap_stat)
图中显示最佳为聚成四类（k=4）
#进行聚类
set.seed(123)
km.res <- kmeans(df, 4, nstart = 25)
head(km.res$cluster, 20)
# Visualize clusters using factoextra
fviz_cluster(km.res, USArrests)
#检查cluster silhouette图
Recall that the silhouette measures (SiSi) how similar an object ii is to the the other objects in its own cluster versus those in the neighbor cluster. SiSi values range from 1 to - 1:
A value of SiSi close to 1 indicates that the object is well clustered. In the other words, the object ii is similar to the other objects in its group.
A value of SiSi close to -1 indicates that the object is poorly clustered, and that assignment to some other cluster would probably improve the overall results.
sil <- silhouette(km.res$cluster, dist(df))
rownames(sil) <- rownames(USArrests)
head(sil[, 1:3])
#Visualize
fviz_silhouette(sil)
图中可以看出有负值，可以通过函数silhouette()确定是哪个观测值
neg_sil_index <- which(sil[, "sil_width"] <0)
sil[neg_sil_index, , drop = FALSE]
## cluster neighbor sil_width
## Missouri 3 2 -0.07318144
#eclust():增强的聚类分析
与其他聚类分析包相比，eclust()有以下优点：
简化了聚类分析的工作流程
可以用于计算层次聚类和分区聚类
eclust()自动计算最佳聚类簇数。
自动提供Silhouette plot
可以结合ggplot2绘制优美的图形
#使用eclust()的K均值聚类
# Compute k-means
res.km <- eclust(df, "kmeans")
# Gap statistic plot
fviz_gap_stat(res.km$gap_stat)
# Silhouette plotfviz_silhouette(res.km)
## cluster size ave.sil.width
## 1 1 13 0.31
## 2 2 29 0.38
## 3 3 8 0.39
#使用eclust（）的层次聚类
# Enhanced hierarchical clustering
res.hc <- eclust(df, "hclust") # compute hclust
fviz_dend(res.hc, rect = TRUE) # dendrogam
#下面的R代码生成Silhouette plot和分层聚类散点图。
fviz_silhouette(res.hc) # silhouette plot
## cluster size ave.sil.width
## 1 1 19 0.26
## 2 2 19 0.28
## 3 3 12 0.43
fviz_cluster(res.hc) # scatter plot
#Infos
This analysis has been performed using R software (R version 3.3.2)
这里随机生成了25个0,1之间的均匀分布的随机数，其中，行是样本，列是特征，如图：
第一种方案绘制的Heatmap需要借助于Corrplot包，我们求出dat特征的相关系数矩阵，进一步利用corrplot函数来画图，在该包的官方文档中，对于corrplot函数的参数描述可以说是非常多，这里我给出几种常用的参数：
method 表示热力图中每一块所展示的形状，可选值有： "circle", "square", "ellipse", "number", "shade", "color", "pie"；
type 表示相关系数矩阵展示的方式，比如只展示上三角或下三角或者全部展示，可选值有：“full”，“upper"，"lower”；
tl.pos 指定文本标签(变量名称)的位置，当type=full时，默认标签位置在左边和顶部(lt)，当type=lower时，默认标签在左边和对角线(ld)，当type=upper时，默认标签在顶部和对角线，d表示对角线，n表示不添加文本标签；
diag 表示对角线上取值，默认为FALSE
cl.pos 表示图例位置，当type=upper或full时，图例在右方，当type=lower时，图例在底部，不需要图例时，需指定该参数为n；
...
下面给出方法运用：
当然，利用corrplot函数画图可以实现图层的叠加，上面这张图就是分上下两部分完成的，其中默认的颜色样式个人觉得还是可以的，只不过对于相关系数值会根据高低颜色深浅会发生变化，对于一些相关性低的值颜色会非常浅，所以看得不是很明显。
关于这个包具体的的使用方法可以参考这位博主写的文章：
这里我们还是用方案一随机生成的矩阵，介绍用pheatmap包来绘制热力图。pheatmap包里关于绘制热力图的参数相对来说比较少，可以帮助我们快速的绘图，这里给出一些常用参数：
color 设置渐变的颜色，通常借助于colorRampPalette函数，比如说设置红黄蓝渐变，并在这之间分成50个等级，我们可以设置color=colorRampPalette(c("red","yellow","blue"))(50)
cluster_cols &cluster_rows 表示是否按行或列聚类，默认值为FALSE
clustering_method 表示聚类方法，默认是complete,此外还"ward.D",“single”,“average”,等；
display_numbers 表示是否在heatmap里面显示数值，默认是FALSE；
show_rownames &show_colnames 表示是否显示行名或列名；
file 设置图片保存位置
...
下面给出方法运用
去掉边框线可能会好看一点：
由于是随机生成的数据，就不显示聚类的效果（只需要把cluster_row和cluster_col删掉即可），总体来说用pheatmap绘制热图会相对简单一点，但是毫不逊色于其他包绘制的热图。此外，如果想对于行或列来显示一些注释信息（annotation），比如将特征分成2类，每一类是不同的颜色，这里就可以先生成一个行名是特征，列名是分类结果的数据框，然后利用annotation_row(或col)参数，将生成的数据框赋给它即可，具体可以参考这位博主的文章：
接下来介绍的ComplexHeatmap包就比较全面了，他可以兼容pheatmap函数的所有功能，可以说是pheatmap包的加强版，能够创建更加复杂的热力图，如果你会pheatmap包的应用，那么在ComplexHeatmap包里面，你只需要指明是该包下的pheatmap函数即可使用（ComplexHeatmap::pheatmap()）。接下来列举出一些常用参数：
name 、column_title、row_title设置图例、列标题与行标题的名字；
column_title_side &row_title_side 设置列标题与行标题的位置，之注意：列标题只能跟"top"或"buttom"参数，行标题只能跟"left"或"right"参数；
column_names_side &row_names_side 设置行名与列名的位置，后面跟的是位置参数，如"left"、"top"等；
column_names_rot &row_names_rot 设置行名与列名的倾斜角度，后面跟的是角度，如0、30、90等；
column_names_gp &row_names_gp 设置行名与列名的颜色，比如 column_names_gp =gpar(col=rep("red",5))
column_title_gp &row_title_gp 设置列与行标题的颜色，注意：这个需要和聚类分割的数量来决定，要指定row_split &column_split，颜色的设置才能生效；
col 设置渐变的颜色向量参数，这里推荐用RColorBrewer包中的颜色，比如 col = rev(brewer.pal(n = 7, name ="RdYlBu"))
cluster_rows &cluster_columns 表示是否对行列进行聚类，默认是TRUE
cluster_rows &cluster_columns 表示是否对行列进行聚类，默认是TRUE，如果是特定值，则表示对聚类树进行处理；
row_dend_reorder &column_dend_reorder 表示将行或列进行排序，默认是TRUE，所以我们在利用这个包绘制相关系数热力图时，会看到对角线不是1，那么我们就需要检查是否设置了这个参数；
show_column_dend &show_row_dend 表示是否展示行与列的聚类树；
...
下面利用上述随机生成的数据来绘制heatmap：
最值得一提的是，cluster_rows参数，可以结合hlust函数来使用，并通过color_branches函数来为不同类别设置颜色，使得整个heatmap看起来更加美观。如果我们要显示聚类后的数据分割并命名，我们可以这样：
如若想得到更加详细的说明，可以看ComplexHeatmap包的官方文档，或者参见这位博主的文章：
当然，画heatmap怎么能少的了ggplot2呢，我们在利用ggplot画图时，只需要设置scale_fill_gradient即可，例如：scale_fill_gradient(low = "yellow", high = "red") 表示颜色从黄色到红色渐变。注意要把数据处理成ggplot所需要的样式！下面来绘制heatmap:
如果要实现聚类树在heatmap上，我们需要利用ggtree函数，分别绘制聚类树与热力图，最后用aplot包进行拼接即可。
由于ComplexHeatmap包绘制的热力图是一个Heatmap对象，故他与其他图形不同，自身可以与其他Heatmap对象结合，我们只需要利用"+"号或者"%v%"连接符对多个Heatmap对象进行水平或垂直连接就可以了。
当我们需要将pheatmap包绘制的热力图与ggplot画的其他图贴在一起时，我们可以利用ggplotify包来实现，具体操作流程为：
我们用上回利用iris数据集画组合小提琴图的例子，进一步组合heatmap：
当然ggplot也可以画heatmap，这里不再阐述，对于上面几种绘图方案，我们只需选取一种最美观，最有效的方式来画heatmap即可。
