with就是把所有操作都限制在数据框上。
比如说你手上有两组数据，asian是亚洲人的身体参数：体重 身高 视力等等，european是欧洲人的
那么with(asian,height) 就是调去asian数据中的height
with(european,height) 就是调用european数据中的height
是一个预测模型，分为回归决策树和分类决策树，根据已知样本训练出一个树模型，从而根据该模型对新样本因变量进行预测，得到预测值或预测的分类
从根节点到叶节点的一条路径就对应着一条规则．整棵决策树就对应着一组表达式规则。叶节点就代表该规则下得到的预测值。如下图决策树模型则是根据房产、结婚、月收入三个属性得到是否可以偿还贷款的规则。
核心是如何从众多属性中挑选出具有代表性的属性作为决策树的分支节点。
最基本的有三种度量方法来选择属性
1. 信息增益（ID3算法）
信息熵
一个信源发送出什么符号是不确定的，衡量它可以根据其出现的概率来度量。概率大，出现机会多，不确定性小；反之不确定性就大。不确定性函数f是概率P的 减函数 。两个独立符号所产生的不确定性应等于各自不确定性之和，即f(P1,P2)=f(P1)+f(P2)，这称为可加性。同时满足这两个条件的函数f是对数函数，即
在信源中，考虑的不是某一单个符号发生的不确定性，而是要考虑这个信源所有可能发生情况的平均不确定性。因此，信息熵被定义为
决策树分类过程
2、增益率（C4.5算法）
由于信息增益的缺点是：倾向于选择具有大量值的属性，因为具有大量值的属性每个属性对应数据量少，倾向于具有较高的信息纯度。因此增益率使用【信息增益/以该属性代替的系统熵（类似于前面第一步将play换为该属性计算的系统熵】这个比率，试图克服这种缺点。
g(D,A)代表D数据集A属性的信息增益，
3. 基尼指数（CART算法）
基尼指数：
表示在样本集合中一个随机选中的样本被分错的概率。越小表示集合中被选中的样本被分错的概率越小，也就是说集合的纯度越高。
假设集合中有K个类别，则：
说明:
1. pk表示选中的样本属于k类别的概率，则这个样本被分错的概率是(1-pk)
2. 样本集合中有K个类别，一个随机选中的样本可以属于这k个类别中的任意一个，因而对类别就加和
3. 当为二分类是，Gini(P) = 2p(1-p)
基尼指数是将属性A做二元划分，所以得到的是二叉树。当为离散属性时，则会将离散属性的类别两两组合，计算基尼指数。
举个例子：
如上面的特征Temperature，此特征有三个特征取值： “Hot”，“Mild”， “Cool”，
当使用“学历”这个特征对样本集合D进行划分时，划分值分别有三个，因而有三种划分的可能集合，划分后的子集如下：
对于上述的每一种划分，都可以计算出基于 划分特征= 某个特征值 将样本集合D划分为两个子集的纯度：
决策数分类过程
先剪枝 ：提前停止树的构建对树剪枝，构造树时，利用信息增益、统计显著性等，当一个节点的划分导致低于上述度量的预定义阈值时，则停止进一步划分。但阈值的确定比较困难。
后剪枝 ：更为常用，先得到完全生长的树，再自底向上，用最下面的节点的树叶代替该节点
CART使用代价复杂度剪枝算法 ：计算每个节点剪枝后与剪枝前的代价复杂度，如果剪去该节点，代价复杂度较小（复杂度是树的结点与树的错误率也就是误分类比率的函数），则剪去。
C4.5采用悲观剪枝 ：类似代价复杂度，但CART是利用剪枝集评估代价复杂度，C4.5是采用训练集加上一个惩罚评估错误率
决策树的可伸缩性
ID3\C4.5\CART都是为较小的数据集设计，都限制训练元祖停留再内存中，为了解决可伸缩性，提出了其它算法如
RainForest(雨林）：对每个属性维护一个AVC集，描述该结点的训练元组，所以只要将AVC集放在内存即可
BOAT自助乐观算法：利用统计学，创造给定训练数据的较小样本，每个样本构造一个树，导致多颗树，再利用它们构造1颗新树。优点是可以增量的更新，当插入或删除数据，只需决策树更新，而不用重新构造。
决策树的可视化挖掘
PBC系统可允许用户指定多个分裂点，导致多个分支，传统决策树算法数值属性都是二元划分。并且可以实现交互地构建树。
rpart是采用cart算法，连续型“anova”离散型“class”
2）进行剪枝的函数：prune()
3）计算MAE评估回归树模型误差，这里将样本划分成了训练集和测试集，testdata为测试集
rt.mae为根据训练集得到的决策树模型对测试集因变量预测的结果与测试集因变量实际值得到平均绝对误差
R语言之创建数据集数据集通常是由数据构成的一个矩形数组，行表示观测，列表示变量。R中有许多用于存储数据的结构，包括标量、向量、数组、数据框和列表。在R中，对象（object）是指可以赋值给变量的任何事物，包括常量、数据结构、函数、甚至是图形。因子（factor）是名义型变量或有序型变量，在R中被特殊地存储和处理。R中的数据结构：1.1向量 向量是用于存储数值型、字符型或逻辑型数据的一维数组。创建向量使用函数c()，如下例所示： 数值型向量：a<-c(1,2,5,3,6,-2,4) 字符型向量：b<-c("one","two","three") 逻辑型向量：c<-c(TRUE,TRUE,TRUE,FALSE,TRUE) 注：单个向量中的数据必须拥有相同的类型或模式。 标量是只含一个元素的向量，例如f<-3、g<-"US"和h<-TRUE。它们用于保存常量。 访问向量中的元素，可在方括号中给定元素所处位置的数值，如：a[c(2,4)]用于访问向量a中的第二个和第四个元素。1.2矩阵 矩阵是一个二维数组，只是每个元素都拥有相同的模式（数值型、字符型或逻辑型），可以通过matrix创建矩阵 一般使用格式为： mymatrix<-matrix(vector,nrow=number_of_rows,ncol=number_of_columns,byrow=logical_value,dimnames=list( char_vector_rownames,char_vector_colnames)) ，其中vector包含了矩阵的元素，nrow和ncol用以指定 行和列的维数，dimnames包含了可选的以字符型向量表示的行名和列名。选项byrow则表明矩阵应当按行 填充（byrow=TRUE）还是按列填充（byrow=FALSE），默认情况下按列填充。代码演示如下：[plain] view plain copy>cells<-c(1,23,56,485) >rnames<-c("R1","R2") >cnames<-c("c1","c2") [plain] view plain copy<pre name="code" class="html">>mymatrix<-matrix(cells ,nrow=2,ncol=2,byrow=TRUE,dimnames=list(rnames,cnames)) >mymatrix c1 c2 R1 1 23 R2 56 485 1.3数组数组与矩阵类似，但是维数可以大于2。数组可通过array函数创建，形式如下：myarray<-array(vector,dimensions,dimnames)，其中vector包含了数组中的数据，dimensions是一个数值型向量，给出了各个维度下标的最大值，而dimnames是可选的、各维度名称标签的列表。代码如下:[html] view plain copy>dim<-c("A1","A2") >dim1<-c("A1","A2") >dim2<-c("B1","B2","B3") >dim3<-c("C1","C2","C3","C4") >z<-array(1:24,c(2,3,4),dimnames=list(dim1,dim2,dim3)) >z , , C1 B1 B2 B3 A1 1 3 5 A2 2 4 6, , C2 B1 B2 B3 A1 7 9 11 A2 8 10 12, , C3 B1 B2 B3 A1 13 15 17 A2 14 16 18, , C4 B1 B2 B3 A1 19 21 23 A2 20 22 24 1.4数据框 数据框中不同的列可以包含不同模式（数值型、字符型等）的数据，是R中最常处理的数据结构。数据框可以通过函数data.frame()创建：mydata<-data.frame(col1,col2,col3,...)，其中的列向量col1，col2，col3，...可为任何类型（如字符型、数值型或逻辑型）。每一列的名称可由函数names指定。代码如下：[html] view plain copy>age<-c(25,34,28,53) >patientID<-c(1,2,3,4) >diabetes<-c("Type1","Type2","Type1","Type1") >status<-c("Poor","Improved","Excellent","Poor") >patientdata<-data.frame(patientID,age,diabetes,status) >patientdatapatientID age diabetesstatus 1 1 25Type1 Poor 2 2 34Type2 Improved 3 3 28Type1 Excellent 4 4 53Type1 Poor >patientdata$age [1] 25 34 28 53 <pre name="code" class="html">>table(patientdata$diabetes,patientdata$status) Excellent Improved PoorType1 102Type2 010 $被用来选取一个给定数据框中的某个特定变量，上面table(patientdata$diabetes,patientdata$status)生成了 diabetes和status的列联表。函数attach()可将数据框添加到R的搜索路径中。函数detach()将数据框从搜素路径中移除。相对于attach。多数的R书籍更推荐使用函数with()。1.5因子 变量可归结为名义型、有序型或连续型变量。类别（名义型）变量和有序类别（有序型）变量在R中称为因子。因子在R中非常重要，因为它决定了数据的分析方式以及如何进行视觉呈现。 函数factor（）以一个整数向量的形式存储类别值，整数的取值范围是[1...k]（其中k是名义变量中唯一值得个数），同时一个由字符串（原始值）组成的内部向量将映射到这些整数上。名义型eg：假设有向量：diabetes<-c("Type1","Type2","Type1","Type1")语句diabetes<-factor(diabetes)将此向量存储为（1，2，1，1）.有序型eg: 对于给定变量status<-c("Poor","Improved","Excellent","Poor")语句status<-factor(status,ordered=TRUE)会将向量编码为（3，2，1，3）。1.6列表（list） 列表是R的数据类型中最为复杂的一种。列表就是一些对象的（或成分，component)的有序集合。列表允许你整合若干（可能无关）的对象到单个对象名下。例如，某个列表中可能是若干向量、矩阵、数据框，甚至是其他列表的组合。可以使用函数list（）创建列表： mylist<-list(object1,object2,...)注：列表成为了R中的重要数据结构。 1.列表允许以一种简单的方式组织和重新调用不相干的信息； 2.许多R函数的运行结果都是以列表的形式返回的。
