求助 用R语言做PLS分析的代码或方法

Python014

求助 用R语言做PLS分析的代码或方法,第1张

princomp(x, cor = FALSE, scores = TRUE, covmat = NULL, subset = rep_len(TRUE, nrow(as.matrix(x))), )当cor = TRUE是使用相关系数矩阵计算 当cor = FALSE是使用协方差矩阵计算 用相关系数矩阵计算就相当于先标准化,在进行主成分分析 用。

      关于作品本身,就简单说几个点。

        排版工作可能会有些繁琐,但是排版工作非常重要。如果这没有做好,即使有优秀的内容发也很可能被刷掉。所以希望大家注意细节,多点耐心。

        作品对字数有一定的要求,大概不超过2.5w字。但这一部分有时会有变动。如我第一次参加时,校赛的2.5w突然变成了省赛的1.5w。但是个人认为不必太被字数所限制,但是一定要尽力精简语言与段落。

      在完成作品的过程中,多主动和老师沟通吧。老师可能不会主动来找你,但是学生多主动,多问的话也是可以得到很好的帮助的。

        这是很有趣的一个部分,但是也非常头疼。一般来说,数据分析方法与你的问卷设置以及目的都是吻合的,就是说根据你的目的和分析方法去设置你问卷的形式。有以下几点需要注意。

        高级的统计方法总是让人感觉非常炫酷的,但是高级的方法不一定会适合你的数据,也不一定就能得到好的结果。就像经济学中的供求模型,简单的模型却解释了十分复杂的问题。用最简单的模型得到最真实深刻的结论才应该是我们追求的。Anyway,适合的才是最好的。

      更精细准确的人群分类愈来愈成为分析的重心,在优秀作品中这成为了常态。因此我们应用聚类,PCA等方法试图将人群分类。这里想说的是如果细分是大家的目的的话,应该对问卷的形式设计进行考量,比如分类题向定量题的转变啥的。当然,分类题也是可以进行聚类的,但是相对定量题还是比较复杂一些。

        即使考虑到上述问题,有时问卷的结果可能还是不尽人意。我们这次分析用因子分析合并卡方检验对人群进行分类并画像,尽管人群之间行为差异还是比较明显,但是基本特征却几乎没有差异。这样的结果使得实际市场中细分的难度并没有得到改善,精准营销依然大受阻碍。导致我们的分析成为了真正的“纸上谈兵”。针对这种情况,大家还是在问卷的设置上多下功夫吧。

      越来越多的作品利用大数据与网络爬虫对作品进行补充。我对这方面并不是太熟悉,但还是把我不太成熟地想法与大家分享。

a.搜索网页及网站信息

        经过尝试,这一部分工作还是有些用的。当时我们为了爬取淘宝的信息,便对这方面进行了了解。主要来说就是两种方法:一种是利用Python,这需要一些技术。经过了解,这部分的学习也不是很难,但问题在于淘宝有比较严格反扒机制,所以我们需要做后续的工作,否则我们得到数据的稳定性会较差。考虑到这些因素以及自身能力限制,我们放弃了这种方法。另一种是利用相关网站进行搜索。这种方法对你爬取的内容有一定的限制,但是容易上手,感觉也还可以接受吧。具体的有店透视(插件)以及八爪鱼(软件)可以使用。更多的大家可以上知乎啥的搜一搜。

b.情感与文本分析

      这一部分大家可以利用各大指数如百度指数,微博指数等进行分析。具体的分析工具大家可以自行查询。可以使用“ 大数据导航 ”网站进行搜索。

        数据分析其实是个比较严谨的过程,数据分析中的逻辑是一种美感。但是在分析过程中希望大家多思考,不要太死板的套用模板啥的。比如尝试着对数据进行变形啥的以提升与数据方法的匹配度。当然,变形这一部分应用的不是很多,只是举个例子。

        我影响比较深刻的是关于ROC曲线。我们通常认为ROC曲线下面积越大越好,即预测的准确度越高。但面对实际问题,我们对于真阳性与真阴性的期望程度有时是不一样的。因此在ROC曲线下面积可能不是非常令人满意的时候,可以多联系实际问题进行思考与解释。遇到问题也可以查查文献啥的。

        本来想像之前做一个流程图,但是有点懒得弄了。这次实际应用到了PLS-PM模型、逻辑回归、因子分析(人群画像)这些方法,顺便也了解了一些结构方程模型(这个应用率很高)。针对数据分析,参考的数目是《R语言多元统计与建模》,个人感觉用来快速查找一些统计方法还是非常不错的。

        差不多到这里结束了,具体分析方法没时间写了。Anyway,有机会一起交流好了。

R语言常用函数整理本篇是基础篇,即R语言自带的函数。

vector:向量

numeric:数值型向量

logical:逻辑型向量

character;字符型向量

list:列表

data.frame:数据框

c:连接为向量或列表

length:求长度

subset:求子集

seq,from:to,sequence:等差序列

rep:重复

NA:缺失值

NULL:空对象

sort,order,unique,rev:排序

unlist:展平列表

attr,attributes:对象属性

mode,class,typeof:对象存储模式与类型

names:对象的名字属性

字符型向量 nchar:字符数

substr:取子串 format,formatC:把对象用格式转换为字符串

paste()、paste0()不仅可以连接多个字符串,还可以将对象自动转换为字符串再相连,另外还能处理向量。

strsplit:连接或拆分

charmatch,pmatch:字符串匹配

grep,sub,gsub:模式匹配与替换

complex,Re,Im,Mod,Arg,Conj:复数函数

factor:因子 codes:因子的编码 levels:因子的各水平的名字 nlevels:因子的水平个数 cut:把数值型对象分区间转换为因子

table:交叉频数表 split:按因子分组 aggregate:计算各数据子集的概括统计量 tapply:对“不规则”数组应用函数

dev.new() 新建画板

plot()绘制点线图,条形图,散点图.

barplot( ) 绘制条形图

dotchart( ) 绘制点图

pie( )绘制饼图.

pair( )绘制散点图阵

boxplot( )绘制箱线图

hist( )绘制直方图

scatterplot3D( )绘制3D散点图.

par()可以添加很多参数来修改图形

title( ) 添加标题

axis( ) 调整刻度

rug( ) 添加轴密度

grid( ) 添加网格线

abline( ) 添加直线

lines( ) 添加曲线

text( ) 添加标签

legend() 添加图例

+, -, *, /, ^, %%, %/%:四则运算 ceiling,floor,round,signif

1、round() #四舍五入

例:x <- c(3.1416, 15.377, 269.7)

round(x, 0) #保留整数位

round(x, 2) #保留两位小数

round(x, -1) #保留到十位

2、signif() #取有效数字(跟学过的有效数字不是一个意思)

例:略

3、trunc() #取整

floor() #向下取整

ceiling() #向上取整

例:xx <- c(3.60, 12.47, -3.60, -12.47)

trunc(xx)

floor(xx)

ceiling(xx)

max,min,pmax,pmin:最大最小值

range:最大值和最小值 sum,prod:向量元素和,积 cumsum,cumprod,cummax,cummin:累加、累乘 sort:排序 approx和approx fun:插值 diff:差分 sign:符号函数

abs,sqrt:绝对值,平方根

log, exp, log10, log2:对数与指数函数

sin,cos,tan,asin,acos,atan,atan2:三角函数

sinh,cosh,tanh,asinh,acosh,atanh:双曲函数

beta,lbeta,gamma,lgamma,digamma,trigamma,tetragamma,pentagamma,choose ,lchoose:与贝塔函数、伽玛函数、组合数有关的特殊函数

fft,mvfft,convolve:富利叶变换及卷积

polyroot:多项式求根

poly:正交多项式

spline,splinefun:样条差值

besselI,besselK,besselJ,besselY,gammaCody:Bessel函数

deriv:简单表达式的符号微分或算法微分

array:建立数组

matrix:生成矩阵

data.matrix:把数据框转换为数值型矩阵

lower.tri:矩阵的下三角部分

mat.or.vec:生成矩阵或向量

t:矩阵转置

cbind:把列合并为矩阵

rbind:把行合并为矩阵

diag:矩阵对角元素向量或生成对角矩阵

aperm:数组转置

nrow, ncol:计算数组的行数和列数

dim:对象的维向量

dimnames:对象的维名

rownames,colnames:行名或列名

%*%:矩阵乘法

crossprod:矩阵交叉乘积(内积)

outer:数组外积

kronecker:数组的Kronecker积

apply:对数组的某些维应用函数

tapply:对“不规则”数组应用函数

sweep:计算数组的概括统计量

aggregate:计算数据子集的概括统计量

scale:矩阵标准化

matplot:对矩阵各列绘图

cor:相关阵或协差阵

Contrast:对照矩阵

row:矩阵的行下标集

col:求列下标集

solve:解线性方程组或求逆

eigen:矩阵的特征值分解

svd:矩阵的奇异值分解

backsolve:解上三角或下三角方程组

chol:Choleski分解

qr:矩阵的QR分解

chol2inv:由Choleski分解求逆

><,>,<=,>=,==,!=:比较运算符 !,&,&&,|,||,xor():

逻辑运算符 logical:

生成逻辑向量 all,

any:逻辑向量都为真或存在真

ifelse():二者择一 match,

%in%:查找

unique:找出互不相同的元素

which:找到真值下标集合

duplicated:找到重复元素

optimize,uniroot,polyroot:一维优化与求根

if,else,

ifelse,

switch:

分支 for,while,repeat,break,next:

循环 apply,lapply,sapply,tapply,sweep:替代循环的函数。

function:函数定义

source:调用文件 ’

call:函数调用 .

C,.Fortran:调用C或者Fortran子程序的动态链接库。

Recall:递归调用

browser,debug,trace,traceback:程序调试

options:指定系统参数

missing:判断虚参是否有对应实参

nargs:参数个数 stop:终止函数执行

on.exit:指定退出时执行 eval,expression:表达式计算

system.time:表达式计算计时

invisible:使变量不显示

menu:选择菜单(字符列表菜单)

其它与函数有关的还有:

delay,

delete.response,

deparse,

do.call,

dput,

environment ,

formals,

format.info,

interactive,

is.finite,

is.function,

is.language,

is.recursive ,

match.arg,

match.call,

match.fun,

model.extract,

name,

parse 函数能将字符串转换为表达式expression

deparse 将表达式expression转换为字符串

eval 函数能对表达式求解

substitute,

sys.parent ,

warning,

machine

cat,print:显示对象

sink:输出转向到指定文件

dump,save,dput,write:输出对象

scan,read.table,readlines, load,dget:读入

ls,objects:显示对象列表

rm, remove:删除对象

q,quit:退出系统

.First,.Last:初始运行函数与退出运行函数。

options:系统选项

?,help,help.start,apropos:帮助功能

data:列出数据集

head()查看数据的头几行

tail()查看数据的最后几行

每一种分布有四个函数:

d―density(密度函数),p―分布函数,q―分位数函数,r―随机数函数。

比如,正态分布的这四个函数为dnorm,pnorm,qnorm,rnorm。下面我们列出各分布后缀,前面加前缀d、p、q或r就构成函数名:

norm:正态,

t:t分布,

f:F分布,

chisq:卡方(包括非中心)

unif:均匀,

exp:指数,

weibull:威布尔,

gamma:伽玛,

beta:贝塔

lnorm:对数正态,

logis:逻辑分布,

cauchy:柯西,

binom:二项分布,

geom:几何分布,

hyper:超几何,

nbinom:负二项,

pois:泊松

signrank:符号秩,

wilcox:秩和,

tukey:学生化极差

sum, mean, var, sd, min, max, range, median, IQR(四分位间距)等为统计量,

sort,order,rank与排序有关,

其它还有ave,fivenum,mad,quantile,stem等。

R中已实现的有chisq.test,prop.test,t.test。

cor,cov.wt,var:协方差阵及相关阵计算

biplot,biplot.princomp:多元数据biplot图

cancor:典则相关

princomp:主成分分析

hclust:谱系聚类

kmeans:k-均值聚类

cmdscale:经典多维标度

其它有dist,mahalanobis,cov.rob。

ts:时间序列对象

diff:计算差分

time:时间序列的采样时间

window:时间窗

lm,glm,aov:线性模型、广义线性模型、方差分析

quo()等价于quote()

enquo()等价于substitute()