为了最小化期望风险，应同时最小化经验风险和置信范围）
支持向量机方法的基本思想：
（ 1
）它是专门针对有限样本情况的学习机器，实现的是结构风险最小化：在对给定的数据逼近的精度与逼近函数的复杂性之间寻求折衷，以期获得最好的推广能力；
（ 2
）它最终解决的是一个凸二次规划问题，从理论上说，得到的将是全局最优解，解决了在神经网络方法中无法避免的局部极值问题；
（ 3
）它将实际问题通过非线性变换转换到高维的特征空间，在高维空间中构造线性决策函数来实现原空间中的非线性决策函数，巧妙地解决了维数问题，并保证了有较好的推广能力，而且算法复杂度与样本维数无关。
目前， SVM
算法在模式识别、回归估计、概率密度函数估计等方面都有应用，且算法在效率与精度上已经超过传统的学习算法或与之不相上下。
对于经验风险R，可以采用不同的损失函数来描述，如e不敏感函数、Quadratic函数、Huber函数、Laplace函数等。
核函数一般有多项式核、高斯径向基核、指数径向基核、多隐层感知核、傅立叶级数核、样条核、 B
样条核等，虽然一些实验表明在分类中不同的核函数能够产生几乎同样的结果，但在回归中，不同的核函数往往对拟合结果有较大的影响
2、支持向量回归算法（svr）主要是通过升维后，在高维空间中构造线性决策函数来实现线性回归，用e不敏感函数时，其基础主要是 e
不敏感函数和核函数算法。
若将拟合的数学模型表达多维空间的某一曲线，则根据e 不敏感函数所得的结果，就是包括该曲线和训练点的“
e管道”。在所有样本点中，只有分布在“管壁”上的那一部分样本点决定管道的位置。这一部分训练样本称为“支持向量”。为适应训练样本集的非线性，传统的拟合方法通常是在线性方程后面加高阶项。此法诚然有效，但由此增加的可调参数未免增加了过拟合的风险。支持向量回归算法采用核函数解决这一矛盾。用核函数代替线性方程中的线性项可以使原来的线性算法“非线性化”，即能做非线性回归。与此同时，引进核函数达到了“升维”的目的，而增加的可调参数是过拟合依然能控制。
横截面数据回归经典方法
quantreg 分位数回归
MASS BOX-COX变换
survival 生存函数、COX比例危险回归模型
mfp COX比例危险回归模型多重分数多项式
car 可以检查vif
ridge 岭回归
lars lasso回归
msgps adaptive lasso
pls 偏最小二乘
横截面数据 回归机器学习 方法
rpart.plot 画回归树
mboost boosting回归
ipred bagging回归
randomForest 随机森林回归
e1071 or kernlab SVR支持向量机回归
nnet+caret or neuralnet 神经网络
横截面数据 分类 经典方法
glm( ) 广义线性模型
MASS 的 lda( ) or mda 的 mda( ) or fda 的 fda( ) 线性判别
横截面数据 分类机器学习 方法
rpart.plot 画分类树
adabag adaboost分类、bagging分类
randomForest 随机森林分类
e1071 or kernlab SVR支持向量机分类
kknn 最近邻分类
nnet 神经网络分类
横截面数据 计数或有序因变量
Possion 散布问题（方差不等于均值）：
dglm 双广义线性模型（Tweedie分布）
MASS 的 glm.nb( ) (负二项分布）
pscl 的 zeroinfl( ) 零膨胀计数数据模型
rminer 支持向量机
mlogit 多项logit模型
MASS 的 loglm( ) or nnet 的 multinom( ) 多项分布对数线性模型
MASS 的 polr( ) or VGAM 的 vglm( ) 多项分布对数线性模型
纵向数据：多水平模型、面板数据
lme4 的 lmer( ) or nlme 的 lme( ) 线性随机效应混合模型
REEMtree 拟合固定效应部分的决策树
coxme cox随机效应分析
JM 联合模型
plm 拟合面板数据
多元分析
factanal( ) 因子分析
cluster 分层聚类
ICGE INCA指数
ggmap 画地图
NbClust 一系列聚类方法
CCA 典型相关分析
MASS 对应分析
以下为非经典多元数据分析
FactoMineR 主成分分析、对应分析（补充元素作为测试集）；多重对应分析（可以包含数量变量和分类变量）、多重因子分析、分层多重因子分析、基于主成分分析的分层聚类
多元数据的关联规则分析
arules 关联规则分析
路径建模数据的PLS分析
plspm 的函数 plspm( ) 偏最小二乘
lavvan 加协方差关系
