vector:向量
numeric:数值型向量
logical:逻辑型向量
character;字符型向量
list:列表
data.frame:数据框
c:连接为向量或列表
length:求长度
subset:求子集
seq,from:to,sequence:等差序列
rep:重复
NA:缺失值
NULL:空对象
sort,order,unique,rev:排序
unlist:展平列表
attr,attributes:对象属性
mode,class,typeof:对象存储模式与类型
names:对象的名字属性
字符型向量 nchar:字符数
substr:取子串 format,formatC:把对象用格式转换为字符串
paste()、paste0()不仅可以连接多个字符串,还可以将对象自动转换为字符串再相连,另外还能处理向量。
strsplit:连接或拆分
charmatch,pmatch:字符串匹配
grep,sub,gsub:模式匹配与替换
complex,Re,Im,Mod,Arg,Conj:复数函数
factor:因子 codes:因子的编码 levels:因子的各水平的名字 nlevels:因子的水平个数 cut:把数值型对象分区间转换为因子
table:交叉频数表 split:按因子分组 aggregate:计算各数据子集的概括统计量 tapply:对“不规则”数组应用函数
dev.new() 新建画板
plot()绘制点线图,条形图,散点图.
barplot( ) 绘制条形图
dotchart( ) 绘制点图
pie( )绘制饼图.
pair( )绘制散点图阵
boxplot( )绘制箱线图
hist( )绘制直方图
scatterplot3D( )绘制3D散点图.
par()可以添加很多参数来修改图形
title( ) 添加标题
axis( ) 调整刻度
rug( ) 添加轴密度
grid( ) 添加网格线
abline( ) 添加直线
lines( ) 添加曲线
text( ) 添加标签
legend() 添加图例
+, -, *, /, ^, %%, %/%:四则运算 ceiling,floor,round,signif
1、round() #四舍五入
例:x <- c(3.1416, 15.377, 269.7)
round(x, 0) #保留整数位
round(x, 2) #保留两位小数
round(x, -1) #保留到十位
2、signif() #取有效数字(跟学过的有效数字不是一个意思)
例:略
3、trunc() #取整
floor() #向下取整
ceiling() #向上取整
例:xx <- c(3.60, 12.47, -3.60, -12.47)
trunc(xx)
floor(xx)
ceiling(xx)
max,min,pmax,pmin:最大最小值
range:最大值和最小值 sum,prod:向量元素和,积 cumsum,cumprod,cummax,cummin:累加、累乘 sort:排序 approx和approx fun:插值 diff:差分 sign:符号函数
abs,sqrt:绝对值,平方根
log, exp, log10, log2:对数与指数函数
sin,cos,tan,asin,acos,atan,atan2:三角函数
sinh,cosh,tanh,asinh,acosh,atanh:双曲函数
beta,lbeta,gamma,lgamma,digamma,trigamma,tetragamma,pentagamma,choose ,lchoose:与贝塔函数、伽玛函数、组合数有关的特殊函数
fft,mvfft,convolve:富利叶变换及卷积
polyroot:多项式求根
poly:正交多项式
spline,splinefun:样条差值
besselI,besselK,besselJ,besselY,gammaCody:Bessel函数
deriv:简单表达式的符号微分或算法微分
array:建立数组
matrix:生成矩阵
data.matrix:把数据框转换为数值型矩阵
lower.tri:矩阵的下三角部分
mat.or.vec:生成矩阵或向量
t:矩阵转置
cbind:把列合并为矩阵
rbind:把行合并为矩阵
diag:矩阵对角元素向量或生成对角矩阵
aperm:数组转置
nrow, ncol:计算数组的行数和列数
dim:对象的维向量
dimnames:对象的维名
rownames,colnames:行名或列名
%*%:矩阵乘法
crossprod:矩阵交叉乘积(内积)
outer:数组外积
kronecker:数组的Kronecker积
apply:对数组的某些维应用函数
tapply:对“不规则”数组应用函数
sweep:计算数组的概括统计量
aggregate:计算数据子集的概括统计量
scale:矩阵标准化
matplot:对矩阵各列绘图
cor:相关阵或协差阵
Contrast:对照矩阵
row:矩阵的行下标集
col:求列下标集
solve:解线性方程组或求逆
eigen:矩阵的特征值分解
svd:矩阵的奇异值分解
backsolve:解上三角或下三角方程组
chol:Choleski分解
qr:矩阵的QR分解
chol2inv:由Choleski分解求逆
><,>,<=,>=,==,!=:比较运算符 !,&,&&,|,||,xor():
逻辑运算符 logical:
生成逻辑向量 all,
any:逻辑向量都为真或存在真
ifelse():二者择一 match,
%in%:查找
unique:找出互不相同的元素
which:找到真值下标集合
duplicated:找到重复元素
optimize,uniroot,polyroot:一维优化与求根
if,else,
ifelse,
switch:
分支 for,while,repeat,break,next:
循环 apply,lapply,sapply,tapply,sweep:替代循环的函数。
function:函数定义
source:调用文件 ’
call:函数调用 .
C,.Fortran:调用C或者Fortran子程序的动态链接库。
Recall:递归调用
browser,debug,trace,traceback:程序调试
options:指定系统参数
missing:判断虚参是否有对应实参
nargs:参数个数 stop:终止函数执行
on.exit:指定退出时执行 eval,expression:表达式计算
system.time:表达式计算计时
invisible:使变量不显示
menu:选择菜单(字符列表菜单)
其它与函数有关的还有:
delay,
delete.response,
deparse,
do.call,
dput,
environment ,
formals,
format.info,
interactive,
is.finite,
is.function,
is.language,
is.recursive ,
match.arg,
match.call,
match.fun,
model.extract,
name,
parse 函数能将字符串转换为表达式expression
deparse 将表达式expression转换为字符串
eval 函数能对表达式求解
substitute,
sys.parent ,
warning,
machine
cat,print:显示对象
sink:输出转向到指定文件
dump,save,dput,write:输出对象
scan,read.table,readlines, load,dget:读入
ls,objects:显示对象列表
rm, remove:删除对象
q,quit:退出系统
.First,.Last:初始运行函数与退出运行函数。
options:系统选项
?,help,help.start,apropos:帮助功能
data:列出数据集
head()查看数据的头几行
tail()查看数据的最后几行
每一种分布有四个函数:
d―density(密度函数),p―分布函数,q―分位数函数,r―随机数函数。
比如,正态分布的这四个函数为dnorm,pnorm,qnorm,rnorm。下面我们列出各分布后缀,前面加前缀d、p、q或r就构成函数名:
norm:正态,
t:t分布,
f:F分布,
chisq:卡方(包括非中心)
unif:均匀,
exp:指数,
weibull:威布尔,
gamma:伽玛,
beta:贝塔
lnorm:对数正态,
logis:逻辑分布,
cauchy:柯西,
binom:二项分布,
geom:几何分布,
hyper:超几何,
nbinom:负二项,
pois:泊松
signrank:符号秩,
wilcox:秩和,
tukey:学生化极差
sum, mean, var, sd, min, max, range, median, IQR(四分位间距)等为统计量,
sort,order,rank与排序有关,
其它还有ave,fivenum,mad,quantile,stem等。
R中已实现的有chisq.test,prop.test,t.test。
cor,cov.wt,var:协方差阵及相关阵计算
biplot,biplot.princomp:多元数据biplot图
cancor:典则相关
princomp:主成分分析
hclust:谱系聚类
kmeans:k-均值聚类
cmdscale:经典多维标度
其它有dist,mahalanobis,cov.rob。
ts:时间序列对象
diff:计算差分
time:时间序列的采样时间
window:时间窗
lm,glm,aov:线性模型、广义线性模型、方差分析
quo()等价于quote()
enquo()等价于substitute()
随机变量取一切可能值的概率的规律称为概率分布(probability distribution),简称为 分布 。
表示分布最常用的方法是 直方图 (histogram),这种图用于展示各个值出现的频数或概率。 频数 指的是数据集中的一个值出现的次数。 概率 就是频数除以 样本数量n 。用表示概率的直方图称为 概率质量函数 (Probability Mass Function, PMF)。
常见分布根据变量类型可分为 离散型分布 和 连续型分布
离散型变量 指变量值可以按一定顺序一一列举,通常以整数位取值的变量。
连续型变量 是指在连续区间取值,例如质量、长度、面积、体积、寿命、距离等就是连续型变量。现在试想一下连续变量观测值的直方图;如想其纵坐标为相对频数,那么所有这些矩形条的高度和为1,那么完全可以重新设置量纲,例这些矩形条的面积为1,如果不断增加观测值,并不断增加直方图的矩形条的数目,这些直方图就会越来越像一条光滑曲线,其下面的面积和为1,这种曲线就是 概率密度函数 (probability density function, pdf),简称为 密度函数 或 密度 。
常用离散型分布有: 二项分布、几何分布、 超几何分布、 负二项分布和泊松分布 等。
常用连续型分布有: 正态分布、卡方分布、指数分布、F分布、伽马分布、t 分布、均匀分布、贝塔分布、柯西分布、对数正态分布、Logistic 分布、Wilcoxon signed Rank 分布、Weibull 分布,Wilcoxon Rank Sum 分布、多元正态分布 。
分布族谱:
基于每次的实验有两个可能结果的重复独立伯努利(Bernoulli)试验。
伯努利试验是单次随机试验,只有"成功(值为1)"或"失败(值为0)"这两种结果,是由瑞士科学家雅各布·伯努利(1654 - 1705)提出来的。
n为实验总次数,k是成功的次数,p是成功概率:
P(X=k)=C_n kp k(1-p)^{n-k}
典型为 掷色子
每次试验不止有两种可能,而是有 k 种结果;且
超几何分布就是不放回的伯努利试验;
在抽样调查的实践中,一般不会重复调查同一个体,这相当于不放回抽样,所以应该用超几何分布描述;
但是在一个很大的群体中抽样时放不放回差异很小,但是二项分布计算更简单所以会用二项分布描述。
R语言中与超几何分布有关的函数为 phyper,dhyper,rhyper,qhyper 。
在一批产品里,一共有N件产品,其中有M件次品,那么当我们任何取n件产品,其中恰有X件次品的概率P就可以按归照下面的公式进行计算:
Bernoulli试验独立地重复进行,一直到出现有功能出现时停止试剂,则试验失败的次数服从一个参数为p的几何分布。
伯努利试验独立地重复进行,一直到出现 k 次成功时停止试验,则试验 失败 的次数服从一个参数为(k,p)的负二项分布。
其中:
k是失败的次数,为自变量,取值范围为0, 1, 2, 3, ...
r是成功的次数,为固定值。当r=1时,负二项分布退化为几何分布
p是伯努利试验成功的概率,失败概率则为1-p
泊松概率分布描述的是在某段时间或某个空间内发生随机事件次数的概率,简而言之就是:根据过去某个随机事件在某段时间或某个空间内发生的平均次数,预测该随机事件在未来同样长的时间或同样大的空间内发生k次的概率。
由于泊松分布适用于描述某段时间(或某个空间)内随机事件发生的次数,因此它常用于预测某些事件的发生。例如:某家医院在一定时间内到达的人数;某段时间内DNA序列的变异数。
其中:
λ是过去某段时间或某个空间内随机事件发生的平均次数
e = 2.71828...,是自然常数
k的取值为 0, 1, 2, 3, 4, ...
k! = k x (k-1) x (k-2) x ... x 2 x 1,是k的阶乘
参数统计学的理论核心。正态分布像一只倒扣的钟。两头低,中间高,左右对称。大部分数据集中在平均值,小部分在两端,因此人们又经常称之为 钟形曲线 。
正态分布笔记参考
三个特征 :
shapiro.test()函数可进行Shapiro-Wilk正态分布检验, 用来检验是否数据符合正态分布,类似于线性回归的方法一样,是检验其于回归曲线的残差。
伽玛分布与卡方分布和指数分布有关,卡方分布与指数分布可以视为一种特殊的伽玛分布。
【许多随机变量,例如计算机使用寿命的长度,假定仅取非负值,这种类型数据的相对频率分布通过用Γ型密度函数建模。】
alpha (一般为整数)代表一件事发生的次数;beta代表它发生一次的概率(或者叫速率)。那么gamma 分布就代表这么一件事发生alpha 次所需要时间的分布。
X∼Gamma(α,λ)
指数分布解决的问题是【“要等到一个随机事件发生,需要经历多久时间”】,伽玛分布解决的问题是“要等到n个随机事件都发生,需要经历多久时间”。所以,伽玛分布可以看作是n个指数分布的独立随机变量的加总,即,n个Exponential(λ)random variables--->Gamma(n,λ)
alpha代表上述的n, 当alpha=1时,伽马分布就变成了指数分布:
卡方分布是由正态分布推导出来的分布,它的定义为,n个独立标准正态变量的平方和称为有n个自由度的χ2分布,记为χ2(n),χ2(n)的总体均值为n,总体方差为2n。
以特定概率分布为某种情况建模时,事物长期结果较为稳定,能够清晰进行把握。但是期望与事实存在差异怎么办?偏差是正常的小幅度波动?还是建模错误?此时,利用卡方分布分析结果,排除可疑结果。
【事实与期望不符合情况下使用卡方分布进行检验】
【常规事件中出现非常规现象,如何检查问题所在的情况下使用卡方分布】
【它广泛的运用于检测数学模型是否适合所得的数据,以及数据间的相关性。数据并不需要呈正态分布】
Γ. 表示的是一个gamma函数,它是整数k的封闭形式。
“t”,是伟大的 Fisher 为之取的名字。Fisher最早将这一分布命名为“Student's distribution”,并以“t”为之标记。Student,则是William Sealy Gosset(戈塞特)的笔名。他当年在爱尔兰都柏林的一家酒厂工作,设计了一种后来被称为t检验的方法来评价酒的质量。
我们平常说的t分布,都是指小样本的分布。但是,随着样本量n / 自由度的增加,t分布越来越接近正态分布。正态分布,可以看做只是t分布的一个特例而已。
所以,t分布在大小样本中都是通用的。相对于正态分布,t分布额外多了一个参数,自由度。
【应用在当对呈正态分布的母群体的均值进行估计或者当母群体的标准差是未知的但却又需要估计时】
自由度1~10,t分布为绿色,蓝色为正态分布,t分布也是钟形曲线,但是更宽更厚有尾巴。自由度(希腊字母V,读作“纽”)越大,分布越是接近正态分布。
Gam(x)为伽马函数
研究A、B、C三种不同学校学生的阅读理解成绩找到一种解决的办法,有人可能会以为,只要多次使用Z检验或t检验,比较成对比较学校(或条件)即可。但是我们不会这样来处理。因为Z检验或t检验有其局限性:
(1)比较的组合次数增多,上例需要3次,如果研究10个学校,需要45个
(2)降低可靠程度,如果我们做两次检验,每次都为0.05的显著性水平,那么不犯Ⅰ型错误的概率就变为0.95×0.95=0.90。此时犯Ⅰ型错误的概率则为1-0.90=0.10,即至少犯一次Ⅰ型错误的概率翻了一倍。若做10次检验的话,至少犯一次Ⅰ型错误的概率将上升到0.40(1-0.952),而10次检验结论中都正确的概率只有60%。所以说采用Z检验或t检验随着均数个数的增加,其组合次数增多,从而降低了统计推论可靠性的概率,增大了犯错误的概率。
【F-分布被广泛应用于似然比率检验,特别是方差分析ANOVA中】
有两个独立的正态分布N(μ1,σ12)和 N(μ2,σ22).如果我们对这两个总体进行抽样,获得的样本方差为s12和s22,那么它们遵循F分布:
rbinom(n, size, prob)二项分布
rgeom(n, prob)几何分布
rhyper(nn, m, n, k) 超几何分布
rlogis(n, location=0, scale=1) logistic分布
rlnorm(n, meanlog=0, sdlog=1)对数正态
rnbinom(n, size, prob)负二项分布
rnorm(n, mean=0, sd=1) 高斯(正态)分布
rexp(n, rate=1) 指数分布
rgamma(n, shape, scale=1) γ分布
rpois(n, lambda) Poisson分布
rweibull(n, shape, scale=1) Weibull分布
rcauchy(n, location=0, scale=1) Cauchy分布
rbeta(n, shape1, shape2) β分布
rt(n, df) t分布
rf(n, df1, df2) F分布
rchisq(n, df) χ 2 分布
runif(n, min=0, max=1)均匀分布
rwilcox(nn, m, n), rsignrank(nn, n) Wilcoxon分布
自由度
中心极限定理
方差分析