生态学涉及多元统计方法，特别是排序和聚类，都是明确或不明确地基于所有可能对象或者变量之间的比较。这些比较通常采用关联测度（association
meansures）(常称为系数或者指数)的形式，不管是样方还是变量之间的比较都是基于他们组成的矩阵，因此选择合适的关联测度非常重要。
在任何分析之前，需要问下面这些问题：
在两个对象中同一值为零，在这两个对象中可能蕴含的意义不同，但零值增加了对象的相似性。就物种数据而言，两个样方中都没有一个物种可能有不同的解释：不适合生存或者还没有迁徙到此地？因此物种存在的信息比物种缺失的信息更有意义。依据双零问题也可以区分两类关联测度：视双零为相似的依据（同其他值）的为对称系数，反之为非对称系数。在大部分情况下，应该优先选择非对称系数，除非可以确定引起双缺失的原因相同，例如在已知物种组成群落或生态同质区域内的控制实验。
这里可能比较难理解，简单来说就是两个样方都出现0值，但是造成0值的原因可能不一样，所以需要优先考虑非对称系数(除非可以确定引起0值的原因相同)
变量可以是定性变量（名义的或分类的，二元的或多级的），也可以是半定量变量(序数的)或定量变量(离散的或连续的)。所以类型的变量均存在关联系数，其中大部分可以归为两类：二元变量的关联系数(二元系数，指被分析的变量是0-1的二元数据，并非关联测度数值为0-1的数据)和定量变量的关联系数(以下简称为数量系数)
在Q模式分析中，我们需要用到6个程序包：stats(安装基础程序时已经载入)、vegan、ade4、adespatial、cluster和FD等等。
在R中，所有的相似测度方阵可以转化为相异测度方阵，距离方阵(R里面属于"dist"类对象)对角线的值(每个对象与自身的距离)均为0
定量的物种数据通常需要使用非对称的距离测度。在物种数据分析方面，常用的系数有Bray-Curtis相异系数、弦（chord）距离、Hellinger距离和卡方距离。
在R中实现：
当可用的仅仅是二元(有-无)物种数据，或多度的数据不适用，或包含不确定的定量数据时，可使用有-无(0-1)数据进行分析。
关联矩阵一般作为中间实体，很少用于直接研究。然而，如果对象不多，直接展示关联矩阵也很有用，能够将数据的主要特征可视化。
建议使用coldiss()函数可视化相异矩阵。coldiss()函数会使用一个能重新排列矩阵的函数order.single()(属于gclus包)，该函数可以根据对象之间的距离沿着对角线重新将对象排位。但是必须先安装gclus包。
在未转化的相异矩阵中，数量多的物种之间的多度差异与数量少的物种之间的多度差异有同等权重。
这些案例均是处理物种数据，Doubs样带具有强烈的生态梯度特征(例如氧含量和硝酸盐浓度)。Doubs样带的环境背景很清楚，可以假设在特定的某一段河流，物种的缺失可能是某种相同的原因造成的，因此可以计算对称系数的关联矩阵。
对双零有明确解释的定量数据，欧氏距离是对称距离测度的最佳选择。注意欧氏距离的值没有上限，但受变量纲量影响较大，所以前面我们的数据转化就派上用场了。
此处用标准化后的环境因子变量（env）计算样方的欧氏距离。先剔除dfs变量(离源头距离)，因为它属于空间变量而非环境因子变量。同样使用coldiss()函数可视化距离矩阵。
注意：可以利用scale()函数对环境变量进行快速标准化
相异矩阵的热图很合适快速比较，例如，可以同时绘制基于物种多度和基于环境因子的Hellinger距离图，为了便于比较，两个图均选择等数量的分级
欧氏距离理所应当然可以用于计算基于地理坐标变量的地理距离矩阵。
地理坐标可以是一维或者二维的直角坐标系(笛卡儿坐标)，其单位也可以多种多样(例如cm、m、km属于相同投影带的UTM坐标)。如果是球体系统坐标(经纬度)，在计算欧氏距离之前必须先转化。SoDA程序包内geoXY()函数可以完成球坐标系统的专业。需要注意的是，标准化数据会改变两个维度的比率，因此一般地理坐标(x-y)不应该标准化(如果需要可以标准化)
对于二元数据，最简单的对称相似测度是"简单匹配系数S1"，对于每组样方，S1是 双1的数量加上双0的数量除以变量数 。
Gower相似系数当作一种对称指数；当数据框内一个变量被当做一个因子时，最简单的匹配规则被应用，即如果一个因子在两个对象中有相同的水平，表示该对象对相似指数为1，反之为0。Gower相异指数可以利用cluster程序包内daisy()函数计算。应避免使用vegdist()函数计算Gower相异系数，因此该函数只适用与定量数据和有-无数据计算，对多级变量并不适用。
只要每个变量给予合适的定义，daisy()函数就可以处理混合变量的数据。当数据中存在缺失值时，该函数会自动排除与含有缺失值样方对的计算。
FD程序包里gowdis()函数是计算Gower相似系数最完善的函数，可以计算混合变量(包括非对称的二元变量)的距离，也可以像daisy()函数一样设置变量的权重和处理缺失值。
# 一、R基本操作# 1、将数据文件mydata1.txt按照以下要求整理成标准形式。
#(1)读入数据文件mydata.txt命名为insurance。
insurance<-read.table("mydata1.txt")
head(insurance)
dim(insurance)#192个数据
#(2)将insurance转换为3列的矩阵。
insurance<-matrix(insurance$V1,nrow = 64,ncol = 3)#nrow =192/3=64
insurance
#(3)将insurance转换为数据框。
insurance<-as.data.frame(insurance)
class(insurance)
#(4)将列名命名为"District", "Holders"和"Claims"。
names(insurance)<-c("District", "Holders","Claims")
insurance
#(5)随机无放回抽取50行数据。
sub<-insurance[sample(1:nrow(insurance),50),]#无放回不用设置replace
sub
#(6)将抽样数据写入result1.txt。
write.table(sub,"result1.txt",row.names = FALSE)
######################################################################
# 2、将数据文件mydata2.txt按照以下要求整理成标准形式。
#(1)读入数据文件mydata2.txt命名为iris。
iris<-read.table("mydata2.txt")
head(iris)
dim(iris)#600个数据
#(2)将iris转换为4列的矩阵。
iris<-matrix(iris$V1,nrow = 150,ncol = 4)#nrow =600/3=150
iris
#(3)将iris转换为数据框。
iris<-as.data.frame(iris)
class(iris)
#(4)将列名命名为"Sepal.Length", "Sepal.Width", "Petal.Length", "Petal.Width"。
names(iris)<-c("Sepal.Length", "Sepal.Width", "Petal.Length", "Petal.Width")
iris
#(5)随机无放回抽取90行数据。
sub<-iris[sample(1:nrow(iris),90),]#无放回不用设置replace
sub
#(6)将抽样数据写入result2.txt。
write.table(sub,"result2.txt",row.names = FALSE)
######################################################################
# 3.将数据文件data.csv按照以下要求进行数据预处理。
#(1)读入数据文件data.csv命名为nhanes2。
nhanes2<-read.csv("data.csv")
#(2) 载入缺失值处理所需要的包。
install.packages("lattice")
install.packages("MASS")
install.packages("nnet")
library(lattice)
library(MASS)
library(nnet)
#(3) 判断nhanes2是否存在缺失值。
sum(is.na(nhanes2))
#(4) 利用插补法处理chl变量的缺失值。
sub=which(is.na(nhanes2[,4])==TRUE)#在数据集中chl变量是第4列，返回nhanes2数据集中第4列为NA的行
dataTR<-nhanes2[-sub,]#将第4列不为NA的数存入数据集dataTR
dataTE<-nhanes2[sub,]#将第4列为NA的数存入数据集dataTE中
dataTE[,4]<-sample(dataTR[,4],length(dataTE[,4]),replace = T)#在非缺失值中简单抽样
dataTE
#(5) 将插补法处理后的数据写入result3.txt。
write.table(dataTE,"result3.txt",row.names = FALSE)
######################################################################
######################################################################
#二、函数调用
#1、测得某班学术X（身高(cm)）与Y（体重(kg)）的数据如下,试画出散点图,建立线性回归方程，并作进一步分析。
# (1) 建立数据集，并画出散点图，考察数据点的分布趋势，看是否呈直线条状分布。
x1<-c(171,175,159,155,152,158,154,164,168,166,159,164)#身高
y1<-c(57,64,41,38,35,44,41,51,57,49,47,46)#体重
#构建数据集
model <- data.frame(x1,y1)
#探索性分析-做散点图查看数据的分布情况：
plot(x1,y1)
# (2)进行回归分析,列出回归方程，画拟合线，并对结果进行解读。
# 用lm()函数构建模型
lm.reg<-lm(y1~ x1)
# 添加回归曲线查看拟合效果
abline(lm.reg)
#模型解读
summary(lm.reg)
# (3)对回归系数进行假设检验。
anova(lm.reg) # 回归模型的方差分析
summary(lm.reg) #回归系数t检验：提取模型计算结果，其中有t检验的结果
# (4)对回归模型进行诊断。
#模型检验对方程进行进一步检验，以检查回归方程是否满足模型的先验条件及模型的稳健性。
par(mfrow=c(2,2))#画布分面
plot(lm.reg)
#结果解读：
#1.左上图：残差与拟合图，理论上散点应该散乱的分布在横线两侧；
#2.右上图：正太Q-Q图，用于检验因变量的正太分布性，若服从正太分布，则散点应分布在一条直线线
#3.左下图：齐方差检验，若满足其方差，则散点在水平线周围随机分布
#4.右下图：独立性检验，即一个样本是否会影响另一个样本
#################################################################
#2、研究某抗心律失常药对电刺激狗右心室致颤阙的影响,实验测得狗静脉注射不同剂量的抗心律失常药与右心室致颤阙的数据如下,试画出散点图,建立线性回归方程，并作进一步分析。
# (1) 建立数据集，并画出散点图，考察数据点的分布趋势，看是否呈直线条状分布。
x <- c(1,3,5,7,9)
y <- c(8.03, 14.97, 19.23, 27.83, 36.23)
#构建数据集
model <- data.frame(x,y)
#探索性分析-做散点图查看数据的分布情况：
plot(model)#画散点图
# (2)进行回归分析,列出回归方程，画拟合线，并对结果进行解读。
# 用lm()函数构建模型
fm <- lm(y ~ x)#建立回归模型
fm
# 添加回归曲线查看拟合效果
abline(fm)# 添加回归曲线至散点图
#模型解读
summary(fm)
# (3)对回归系数进行假设检验。
anova(fm) # 回归模型的方差分析
summary(fm) # 提取模型计算结果，其中有t检验的结果
# (4)对回归模型进行诊断。
#模型检验对方程进行进一步检验，以检查回归方程是否满足模型的先验条件及模型的稳健性。
par(mfrow=c(2,2))#画布分面
plot(fm)
#结果解读：
#1.左上图：残差与拟合图，理论上散点应该散乱的分布在横线两侧；
#2.右上图：正太Q-Q图，用于检验因变量的正太分布性，若服从正太分布，则散点应分布在一条直线线
#3.左下图：齐方差检验，若满足其方差，则散点在水平线周围随机分布
#4.右下图：独立性检验，即一个样本是否会影响另一个样本
##################################################################
# 3、countries数据集含有69个国家和地区的出生率与死亡率。
# (1) 请使用K-均值聚类将样本点聚为3个类别。
countries=read.csv("countries.csv")
head(countries)#查看前6行
names(countries)=c("country","birth","death")#修改变量名称
var=as.character(countries$country)#将变量country转为字符型并赋值给var
for(i in 1:69) row.names(countries)[i]=var[i]#将数据集的行名命名为国家名称
km1=kmeans(countries[,-1],center=3)#用kmeans算法对countries数据集进行聚类
# (2) 输出聚类结果及各类别的中心点坐标。
km1$cluster#获取类别
km1$centers#获取中心点坐标
# (3) 绘制聚类结果将中心点以星号标识。
#画出聚为四类的类别图，标注中心点。
plot(countries[,-1],pch=c(1,2,3))
#将中心点用星号标示出来
points(km1$centers,pch=8,col="red")
#对中心点添加标注
legend(km1$centers[1,1],km1$centers[1,2],"Center_1",bty="n",xjust=0.5,cex=0.8)
legend(km1$centers[2,1],km1$centers[2,2],"Center_2",bty="n",xjust=0.5,cex=0.8)
legend(km1$centers[3,1],km1$centers[3,2],"Center_3",bty="n",xjust=0.5,cex=0.8)
# (4) 判断与中国大陆同属于一个类别的国家和地区有哪些。
cluster_CHINA=km1$cluster[which(countries$country=="CHINA")]
which(km1$cluster==cluster_CHINA)
###############################################################
###############################################################
#三、数据分析
# 1、使用arules软件包中的Groceries数据集，该数据集是某一食品杂货店一个月的真实交易数据，使用R完成以下要求：(软件包：arules；数据集：Groceries； 函数：apriori())
# (1)利用apriori()函数进行关联分析，支持度为0.01，置信度为0.5。
install.packages("arules")
library(arules)
data("Groceries")
rules0<-apriori(Groceries,parameter=list(support=0.01,confidence=0.5))
inspect(rules0[1:10])
# (2)利用sort()函数按照支持度排序。
rules.sorted_sup<-sort(rules0,by="support")
inspect(rules.sorted_sup[1:5])
# (3)捆绑销售：寻找蛋黄酱（mayonnaise）的捆绑商品。（supp=0.001,conf=0.1,minlen=2, maxlen=6）
rules1=apriori(Groceries,parameter=list(minlen=2,maxlen=6,supp=0.001,conf=0.1),appearance=list(rhs="mayonnaise",default="lhs"))
inspect(rules1)
# (4)查看销量最高的商品。
itemsets_apr=apriori(Groceries,parameter=list(supp=0.001,target="frequent itemsets"),control=list(sort=-1))
inspect(itemsets_apr[1:5])
# (5)适合捆绑销售的商品。（supp=0.001,minlen=2, maxlen=3）
itemsets_apr1=eclat(Groceries,parameter=list(supp=0.001,minlen=2,maxlen=3,target="frequent itemsets"),control=list(sort=-1))
inspect(itemsets_apr1[1:5])
# (6)关联规则的可视化（support=0.001,con=0.5）
install.packages("arulesViz")
library(arulesViz)
rules5=apriori(Groceries,parameter=list(support=0.002,con=0.5))
rules5
plot(rules5)
#######################################################################
# 2、根据breast-cancer-wisconsin.csv威斯康星州乳腺癌数据集，通过对数据的分析，提取出关键特征来判断乳腺癌患病情况。(软件包：rpart；函数：rpart()。)
# (1)属性名依次设置为"编号","肿块厚度","肿块大小","肿块形状","边缘黏附","单个表皮细胞大小","细胞核大小","染色质","细胞核常规","有丝分裂","类别"),并将类别为2的设为"良性",为4的设为"恶性"。
install.packages("rpart")
library(rpart)
install.packages("rpart.plot")
library(rpart.plot)
#############加载数据
breast.cancer<-read.csv('breast-cancer-wisconsin.csv',header=F)
head(breast.cancer)
#数据整理
names(breast.cancer)=c("编号","肿块厚度","肿块大小","肿块形状","边缘黏附","单个表皮细胞大小","细胞核大小","染色质","细胞核常规","有丝分裂","类别")
breast.cancer$类别[breast.cancer$类别==2]="良性"
breast.cancer$类别[breast.cancer$类别==4]="恶性"
head(breast.cancer)
# (2)抽取训练数据集为原数据的70%，测试数据集取30%。
#数据预处理(分层抽样,划分训练集和测试集)
#分别计算良性和恶性组中应抽取测试集样本数，记为a，b
a=round(0.3*sum(breast.cancer$类别=="良性"))
b=round(0.3*sum(breast.cancer$类别=="恶性"))
ab #输出a,b值
install.packages("sampling")
library(sampling)
#使用strata函数对数据集中的“分组油耗”变量进行分层抽样
sub=strata(breast.cancer,stratanames="类别",size=c(b,a),method="srswor")
sub #所抽出的所有测试集样本信息
#生成训练集train1和测试集test1
train1=breast.cancer[-sub$ID_unit,]
test1=breast.cancer[sub$ID_unit,]
nrow(train1)nrow(test1) #显示训练集和测试集的行数，检查两者比例是否为7：3
# (3) minsplit=5，建立决策树。
#CART建立分类树
formula_cla=类别~肿块厚度+肿块大小+肿块形状+边缘黏附+单个表皮细胞大小+细胞核大小+染色质+细胞核常规+有丝分裂
cla1=rpart(formula_cla,train1,method="class",minsplit=5)#
cla1
# (4)选择cp=0.05来剪枝。
######修改cp的值
cla2=rpart(formula_cla,train1,method="class",minsplit=5,cp=0.05)
cla2
# (5)画出type为2和4的树图。
rpart.plot(cla1,type=2)#修改type
rpart.plot(cla1,type=4)
# (6)测试数据进行预测，并输出混淆矩阵，给出模型准确率为。
#预测
pre1=predict(cla1,test1,type="class")
pre1
table(test1$类别,pre1)#获取混淆矩阵
#计算样本错误率
error1<-sum(as.numeric(pre1!=test1$类别))/nrow(test1)
error1
###################################################################
# 3、美国科罗拉多州某加油站连续 57 天的OVERSHORTS序列“OVERSHORTS.csv”
# (1) 判断该序列的平稳性与纯随机性。
# （时序图检验、白噪声检验）
install.packages("fUnitRoots")
install.packages("TSA")
install.packages("forecast")
install.packages("zoo")
library(fUnitRoots)
library(TSA)
library(forecast)
library(zoo)
#读取数据
c<-read.csv("OVERSHORTS.csv")
#转换为时间序列
overshort<-ts(c$overshort,start = 1)
#平稳性，纯随机（白噪声检验）
## 绘制序列的时间序列图
plot.ts(overshort, xlab = "time", ylab = "prop")
##对序列做单位根检验
unitrootTest(overshort)
##对序列做白噪声检验
Box.test(overshort, lag = 1, type = "Ljung-Box")
# (2) 如果序列平稳且非白噪声，选择适当模型拟合该序列的发展。(10分)
# （模型的识别、参数估计（模型显著性、模型参数的显著性））
#模型识别
##观察自相关，偏自相关图，模型定阶
par(mfrow=c(1,2))
acf(overshort)###衰减到零是突然的，所以自相关系数1阶截尾
pacf(overshort)### 衰减到零不是突然的，所以偏相关系数托尾
# 推荐模型为 MA(1)
##或者对序列进行模型识别，自动定阶
auto.arima(overshort)# 推荐模型为 MA(1)
#参数估计
###模型检验
x.fit<-arima(overshort,order=c(0,0,1),method="ML")
x.fit
##对残差x.fit$residual进行白噪声检验
for(i in 1:2) print(Box.test(x.fit$residual,lag=6*i))
##P>0.05,接受原假设，即残差为白噪声，所以拟合模型显著有效
####参数检验
###模型参数的显著性检验
t1<--0.8477/0.1206
pt(t1,df=56,lower.tail=T) ###p<0.05参数显著非零
t0<--4.7942/1.0253
pt(t0,df=56,lower.tail=T) ###p<0.05参数显著非零
# (3) 利用拟合模型，预测该加油站未来5天的OVERSHORTS。(10分)
# （模型预测、绘制预测图）
####模型预测
c<-read.csv("OVERSHORTS.csv")
x<-ts(c$overshort,start=1)
x.fit<-arima(x,order=c(0,0,1))
x.fit
x.fore<-forecast(x.fit,h=5)#预测
x.fore
plot(x.fore)
##############################################################
#4、使用是survival软件包中的“pbc”数据集，该数据集记录的是肝硬化数据， 使用R完成一下要求：(软件包：survival；数据集：pbc； 函数：Surv()、survfit()、survdiff()、coxph()、cox.zph(), 将答案保存在“姓名.doc”文件中。)
# (1)生成生存分析对象，拟合生存曲线模型。
install.packages("survival") #安装survival包
library(survival) #加载survival包
#使用survival包自带的“pbc”数据集为例（418*20）
data("pbc")
str(pbc)
head(pbc)
#生成生存分析对象
Sur_Obj<-Surv(pbc$time,pbc$status)
Sur_Obj
#拟合曲线模型
model<-survfit(Sur_Obj~1)
summary(model)
# (2)两种方法绘制生存曲线。
plot(model,ylab = "生存率",xlab="天")
#用survminer进行漂亮的展示
install.packages("survminer")
library(survminer)
ggsurvplot(model, data = pbc)
# (3)进行单因素比较分析，并进行结果解释。
#survdiff(formula)函数进行log-rank检验。
survdiff(Sur_Obj~pbc$trt) #trt是分组条件
# (4)考虑年龄，性别以及trt是否会影响肝硬化的生存时间,进行多因素分析Cox模型的建立，并进行结果解释。
coxmodel<-coxph(Sur_Obj~pbc$age+pbc$sex+pbc$bili)
coxmodel
# (5)模型诊断——PH检验。
zphmodel<-cox.zph(coxmodel)
zphmodel
##############################################################
# 5、life.csv为50位急性淋巴细胞白血病病人的数据，包括：入院治疗时取得外辕血中细胞数X1，淋巴结浸润等级X2，出院后有无巩固治疗X3(1表示有巩固治疗，0表示无巩固治疗)；随访后，变量Y=0表示生存期在1年以内，Y=1表示生存时间在1年以上，使用R完成一下要求：(函数：glm()，predict()。)
# (1)建立全变量logistic回归，对模型结果进行解释。
life<-read.csv("life.csv")
#建立全变量logistic回归
glm.sol<-glm(Y~X1+X2+X3, family=binomial, data=life)
#回归模型解读
summary(glm.sol)
# (2)预测当X1=5,X2=2,X3=0时，y的概率是多少？
pre<-predict(glm.sol, data.frame(X1=5,X2=2,X3=0))
p<-exp(pre)/(1+exp(pre))
p
# (3)预测当X1=5,X2=2,X3=1时，y的概率是多少？(6分)
pre<-predict(glm.sol, data.frame(X1=5,X2=2,X3=1))
p<-exp(pre)/(1+exp(pre))
p
# (4)对回归模型参数进行检验，用step()函数做变量筛选。
step(glm.sol)
glm.new<-glm(Y~X2+X3, family=binomial, data=life)
summary(glm.new)
# (5)对筛选后的变量进行建模，预测。
pre<-predict(glm.new, data.frame(X2=2,X3=0))
p<-exp(pre)/(1+exp(pre))
p
pre<-predict(glm.new, data.frame(X2=2,X3=1))
p<-exp(pre)/(1+exp(pre))
p
ENSG00000000003.13
ENSG00000000005.5
ENSG00000000419.11
ENSG00000000457.12
ENSG00000000460.15
ENSG00000000938.11
提示：
第一步：删除已存在变量和使用命令（ stringsAsFactors = FALSE ）以防止出错（R often uses a concept of factors to re-encode strings. This can be too early and too aggressive. Sometimes a string is just a string.To avoid problems delay re-encoding of strings by using stringsAsFactors = FALSE when creating data.frames.）
第二步：导入数据：
e1<-read.table("clipboard",header=T,sep=',')#读取剪切板的内容即其他地方复制后，直接使用该命令调取复制的内容。
或者直接新建.txt文档，将内容复制进去：
了解一下这个包的作用 >?org.Hs.eg.db
发现我们已有的信息ensembl_id,并且得知symbol（对象）这一列表示的是基因名，由此确定答题方向， 通过ensembl_id确定gene_id,再通过gene_id确定基因名 。
我们在g2e和我们已知的数据a的ensembl_id不一样，区别在于最后的版本号，我们已有数据有版本号，而得到的g2e没有版本号，所以先将其版本号去掉。
x,y:用于合并的两个数据框
by,by.x,by.y：指定依据哪些行合并数据框,默认值为相同列名的列.
all,all.x,all.y：指定x和y的行是否应该全在输出文件.
sort： by指定的列是否要排序.
suffixes： 指定除by外相同列名的后缀.
incomparables： 指定by中哪些单元不进行合并.
答案为：
在最后合并两个表格除了使用merge函数，还可以使用match函数
中间的失误：
提示：使用 http://www.cbioportal.org/index.do 定位数据集： http://www.cbioportal.org/datasets
打开 http://www.cbioportal.org/ ，操作如下：
得到另一种形式的图片，但是与网页制作的图片是一致的。
提示使用： http://www.oncolnc.org/
打开提示网址：
画出和网页一致的图（图片还需进一步查资料了解）
生存分析的基本了解： http://wemedia.ifeng.com/81829327/wemedia.shtml
如果 p 值小于阈值（0.05 或 0.01），则两组生存时间有显著差异。
