R语言和Hadoop让我们体会到了，两种技术在各自领域的强大。很多开发人员在计算机的角度，都会提出下面2个问题。问题1: Hadoop的家族如此之强大，为什么还要结合R语言？\x0d\x0a问题2: Mahout同样可以做数据挖掘和机器学习，和R语言的区别是什么？下面我尝试着做一个解答：问题1: Hadoop的家族如此之强大，为什么还要结合R语言？\x0d\x0a\x0d\x0aa. Hadoop家族的强大之处，在于对大数据的处理，让原来的不可能（TB,PB数据量计算），成为了可能。\x0d\x0ab. R语言的强大之处，在于统计分析，在没有Hadoop之前，我们对于大数据的处理，要取样本，假设检验，做回归，长久以来R语言都是统计学家专属的工具。\x0d\x0ac. 从a和b两点，我们可以看出，hadoop重点是全量数据分析，而R语言重点是样本数据分析。 两种技术放在一起，刚好是最长补短！\x0d\x0ad. 模拟场景：对1PB的新闻网站访问日志做分析，预测未来流量变化\x0d\x0ad1:用R语言，通过分析少量数据，对业务目标建回归建模，并定义指标d2:用Hadoop从海量日志数据中，提取指标数据d3:用R语言模型，对指标数据进行测试和调优d4:用Hadoop分步式算法，重写R语言的模型，部署上线这个场景中，R和Hadoop分别都起着非常重要的作用。以计算机开发人员的思路，所有有事情都用Hadoop去做，没有数据建模和证明，”预测的结果”一定是有问题的。以统计人员的思路，所有的事情都用R去做，以抽样方式，得到的“预测的结果”也一定是有问题的。所以让二者结合，是产界业的必然的导向，也是产界业和学术界的交集，同时也为交叉学科的人才提供了无限广阔的想象空间。问题2: Mahout同样可以做数据挖掘和机器学习，和R语言的区别是什么？\x0d\x0a\x0d\x0aa. Mahout是基于Hadoop的数据挖掘和机器学习的算法框架，Mahout的重点同样是解决大数据的计算的问题。\x0d\x0ab. Mahout目前已支持的算法包括，协同过滤，推荐算法，聚类算法，分类算法，LDA, 朴素bayes，随机森林。上面的算法中，大部分都是距离的算法，可以通过矩阵分解后，充分利用MapReduce的并行计算框架，高效地完成计算任务。\x0d\x0ac. Mahout的空白点，还有很多的数据挖掘算法，很难实现MapReduce并行化。Mahout的现有模型，都是通用模型，直接用到的项目中，计算结果只会比随机结果好一点点。Mahout二次开发，要求有深厚的JAVA和Hadoop的技术基础，最好兼有 “线性代数”，“概率统计”，“算法导论” 等的基础知识。所以想玩转Mahout真的不是一件容易的事情。\x0d\x0ad. R语言同样提供了Mahout支持的约大多数算法(除专有算法)，并且还支持大量的Mahout不支持的算法，算法的增长速度比mahout快N倍。并且开发简单，参数配置灵活，对小型数据集运算速度非常快。\x0d\x0a虽然，Mahout同样可以做数据挖掘和机器学习，但是和R语言的擅长领域并不重合。集百家之长，在适合的领域选择合适的技术，才能真正地“保质保量”做软件。\x0d\x0a\x0d\x0a如何让Hadoop结合R语言？\x0d\x0a\x0d\x0a从上一节我们看到，Hadoop和R语言是可以互补的，但所介绍的场景都是Hadoop和R语言的分别处理各自的数据。一旦市场有需求，自然会有商家填补这个空白。\x0d\x0a\x0d\x0a1）. RHadoop\x0d\x0a\x0d\x0aRHadoop是一款Hadoop和R语言的结合的产品，由RevolutionAnalytics公司开发，并将代码开源到github社区上面。RHadoop包含三个R包 (rmr，rhdfs，rhbase)，分别是对应Hadoop系统架构中的，MapReduce, HDFS, HBase 三个部分。\x0d\x0a\x0d\x0a2）. RHiveRHive是一款通过R语言直接访问Hive的工具包，是由NexR一个韩国公司研发的。\x0d\x0a\x0d\x0a3）. 重写Mahout用R语言重写Mahout的实现也是一种结合的思路，我也做过相关的尝试。\x0d\x0a\x0d\x0a4）.Hadoop调用R\x0d\x0a\x0d\x0a上面说的都是R如何调用Hadoop，当然我们也可以反相操作，打通JAVA和R的连接通道，让Hadoop调用R的函数。但是，这部分还没有商家做出成形的产品。\x0d\x0a\x0d\x0a5. R和Hadoop在实际中的案例\x0d\x0a\x0d\x0aR和Hadoop的结合，技术门槛还是有点高的。对于一个人来说，不仅要掌握Linux, Java, Hadoop, R的技术，还要具备 软件开发，算法，概率统计，线性代数，数据可视化，行业背景 的一些基本素质。在公司部署这套环境，同样需要多个部门，多种人才的的配合。Hadoop运维，Hadoop算法研发，R语言建模，R语言MapReduce化，软件开发，测试等等。所以，这样的案例并不太多。

1.R数据的保存与加载

可通过save()函数保存为.Rdata文件，通过load()函数将数据加载到R中。

[ruby] view plain copy

> a <- 1:10

> save(a,file='d://data//dumData.Rdata')

> rm(a)   #将对象a从R中删除

> load('d://data//dumData.Rdata')

> print(a)

[1]  1  2  3  4  5  6  7  8  9 10

2.CSV文件的导入与导出

下面创建df1的数据框，通过函数write.csv()保存为一个.csv文件，然后通过read.csv()将df1加载到数据框df2中。

[ruby] view plain copy

> var1 <- 1:5

> var2 <- (1:5)/10

> var3 <- c("R and","Data Mining","Examples","Case","Studies")

> df1 <- data.frame(var1,var2,var3)

> names(df1) <- c("VariableInt","VariableReal","VariableChar")

> write.csv(df1,"d://data//dummmyData.csv",row.names = FALSE)

> df2 <- read.csv("d://data//dummmyData.csv")

> print(df2)

VariableInt VariableReal VariableChar

1           1          0.1        R and

2           2          0.2  Data Mining

3           3          0.3     Examples

4           4          0.4         Case

5           5          0.5      Studies

3.通过ODBC导入与导出数据

RODBC提供了ODBC数据库的连接。

3.1从数据库中读取数据

odbcConnect()建立一个数据库连接，sqlQuery()向数据库发送一个SQL查询，odbcClose()关闭数据库连接。

[ruby] view plain copy

library(RODBC)

connection <- odbcConnect(dsn="servername",uid="userid",pwd="******")

query <- "SELECT * FROM lib.table WHERE ..."

# or read query from file

# query <- readChar("data/myQuery.sql", nchars=99999)

myData <- sqlQuery(connection, query, errors = TRUE)

odbcClose(connection)

sqlSave()和sqlUpdate()用于写入或更新一个ODBC数据库表。

3.2从Excel文件中导入与导出数据

[ruby] view plain copy

library("RODBC")

conn<-odbcConnectExcel("D:/data/Amtrak.xls")

Amtrak<-sqlFetch(conn,"Data")

close(conn)

R语言常用函数整理本篇是基础篇，即R语言自带的函数。

vector：向量

numeric：数值型向量

logical：逻辑型向量

character；字符型向量

list：列表

data.frame：数据框

c：连接为向量或列表

length：求长度

subset：求子集

seq，from:to，sequence：等差序列

rep：重复

NA：缺失值

NULL：空对象

sort，order，unique，rev：排序

unlist：展平列表

attr，attributes：对象属性

mode，class，typeof：对象存储模式与类型

names：对象的名字属性

字符型向量 nchar：字符数

substr：取子串 format，formatC：把对象用格式转换为字符串

paste()、paste0()不仅可以连接多个字符串，还可以将对象自动转换为字符串再相连，另外还能处理向量。

strsplit：连接或拆分

charmatch，pmatch：字符串匹配

grep，sub，gsub：模式匹配与替换

complex，Re，Im，Mod，Arg，Conj：复数函数

factor：因子 codes：因子的编码 levels：因子的各水平的名字 nlevels：因子的水平个数 cut：把数值型对象分区间转换为因子

table：交叉频数表 split：按因子分组 aggregate：计算各数据子集的概括统计量 tapply：对“不规则”数组应用函数

dev.new() 新建画板

plot()绘制点线图,条形图,散点图.

barplot( ) 绘制条形图

dotchart( ) 绘制点图

pie( )绘制饼图.

pair( )绘制散点图阵

boxplot( )绘制箱线图

hist( )绘制直方图

scatterplot3D( )绘制3D散点图.

par()可以添加很多参数来修改图形

title( )　添加标题

axis( )　调整刻度

rug( )　添加轴密度

grid( )　添加网格线

abline( )　添加直线

lines( )　添加曲线

text( )　添加标签

legend(）　添加图例

+, -, *, /, ^, %%, %/%：四则运算 ceiling，floor，round，signif

1、round() #四舍五入

例：x <- c(3.1416, 15.377, 269.7)

round(x, 0) #保留整数位

round(x, 2) #保留两位小数

round(x, -1) #保留到十位

2、signif() #取有效数字(跟学过的有效数字不是一个意思)

例：略

3、trunc() #取整

floor() #向下取整

ceiling() #向上取整

例：xx <- c(3.60, 12.47, -3.60, -12.47)

trunc(xx)

floor(xx)

ceiling(xx)

max，min，pmax，pmin：最大最小值

range：最大值和最小值 sum，prod：向量元素和，积 cumsum，cumprod，cummax，cummin：累加、累乘 sort：排序 approx和approx fun：插值 diff：差分 sign：符号函数

abs，sqrt：绝对值，平方根

log, exp, log10, log2：对数与指数函数

sin，cos，tan，asin，acos，atan，atan2：三角函数

sinh，cosh，tanh，asinh，acosh，atanh：双曲函数

beta，lbeta，gamma，lgamma，digamma，trigamma，tetragamma，pentagamma，choose ，lchoose：与贝塔函数、伽玛函数、组合数有关的特殊函数

fft，mvfft，convolve：富利叶变换及卷积

polyroot：多项式求根

poly：正交多项式

spline，splinefun：样条差值

besselI，besselK，besselJ，besselY，gammaCody：Bessel函数

deriv：简单表达式的符号微分或算法微分

array：建立数组

matrix：生成矩阵

data.matrix：把数据框转换为数值型矩阵

lower.tri：矩阵的下三角部分

mat.or.vec：生成矩阵或向量

t：矩阵转置

cbind：把列合并为矩阵

rbind：把行合并为矩阵

diag：矩阵对角元素向量或生成对角矩阵

aperm：数组转置

nrow, ncol：计算数组的行数和列数

dim：对象的维向量

dimnames：对象的维名

rownames，colnames：行名或列名

%*%：矩阵乘法

crossprod：矩阵交叉乘积（内积）

outer：数组外积

kronecker：数组的Kronecker积

apply：对数组的某些维应用函数

tapply：对“不规则”数组应用函数

sweep：计算数组的概括统计量

aggregate：计算数据子集的概括统计量

scale：矩阵标准化

matplot：对矩阵各列绘图

cor：相关阵或协差阵

Contrast：对照矩阵

row：矩阵的行下标集

col：求列下标集

solve：解线性方程组或求逆

eigen：矩阵的特征值分解

svd：矩阵的奇异值分解

backsolve：解上三角或下三角方程组

chol：Choleski分解

qr：矩阵的QR分解

chol2inv：由Choleski分解求逆

><，>，<=，>=，==，!=：比较运算符 !，&，&&，|，||，xor()：

逻辑运算符 logical：

生成逻辑向量 all，

any：逻辑向量都为真或存在真

ifelse()：二者择一 match，

%in%：查找

unique：找出互不相同的元素

which：找到真值下标集合

duplicated：找到重复元素

optimize，uniroot，polyroot：一维优化与求根

if，else，

ifelse，

switch：

分支 for，while，repeat，break，next：

循环 apply，lapply，sapply，tapply，sweep：替代循环的函数。

function：函数定义

source：调用文件 ’

call：函数调用 .

C，.Fortran：调用C或者Fortran子程序的动态链接库。

Recall：递归调用

browser，debug，trace，traceback：程序调试

options：指定系统参数

missing：判断虚参是否有对应实参

nargs：参数个数 stop：终止函数执行

on.exit：指定退出时执行 eval，expression：表达式计算

system.time：表达式计算计时

invisible：使变量不显示

menu：选择菜单（字符列表菜单）

其它与函数有关的还有：

delay，

delete.response，

deparse，

do.call，

dput，

environment ，

formals，

format.info，

interactive，

is.finite，

is.function，

is.language，

is.recursive ，

match.arg，

match.call，

match.fun，

model.extract，

name，

parse 函数能将字符串转换为表达式expression

deparse 将表达式expression转换为字符串

eval 函数能对表达式求解

substitute，

sys.parent ，

warning，

machine

cat，print：显示对象

sink：输出转向到指定文件

dump，save，dput，write：输出对象

scan，read.table，readlines, load，dget：读入

ls，objects：显示对象列表

rm, remove：删除对象

q，quit：退出系统

.First，.Last：初始运行函数与退出运行函数。

options：系统选项

?，help，help.start，apropos：帮助功能

data：列出数据集

head()查看数据的头几行

tail()查看数据的最后几行

每一种分布有四个函数：

d―density（密度函数），p―分布函数，q―分位数函数，r―随机数函数。

比如，正态分布的这四个函数为dnorm，pnorm，qnorm，rnorm。下面我们列出各分布后缀，前面加前缀d、p、q或r就构成函数名：

norm：正态，

t：t分布，

f：F分布，

chisq：卡方（包括非中心）

unif：均匀，

exp：指数，

weibull：威布尔，

gamma：伽玛，

beta：贝塔

lnorm：对数正态，

logis：逻辑分布，

cauchy：柯西，

binom：二项分布，

geom：几何分布，

hyper：超几何，

nbinom：负二项，

pois：泊松

signrank：符号秩，

wilcox：秩和，

tukey：学生化极差

sum, mean, var, sd, min, max, range, median, IQR（四分位间距）等为统计量，

sort，order，rank与排序有关，

其它还有ave，fivenum，mad，quantile，stem等。

R中已实现的有chisq.test，prop.test，t.test。

cor，cov.wt，var：协方差阵及相关阵计算

biplot，biplot.princomp：多元数据biplot图

cancor：典则相关

princomp：主成分分析

hclust：谱系聚类

kmeans：k-均值聚类

cmdscale：经典多维标度

其它有dist，mahalanobis，cov.rob。

ts：时间序列对象

diff：计算差分

time：时间序列的采样时间

window：时间窗

lm，glm，aov：线性模型、广义线性模型、方差分析

quo()等价于quote()

enquo()等价于substitute(）

---