发展历史
R是统计领域广泛使用的诞生于1980年左右的S语言的一个分支。可以认为R是S语言的一种实现。而S语言是由AT&T贝尔实验室开发的一种用来进行数据探索、统计分析和作图的解释型语言。最初S语言的实现版本主要是S-PLUS。S-PLUS是一个商业软件,它基于S语言,并由MathSoft公司的统计科学部进一步完善。后来新西兰奥克兰大学的Robert Gentleman和Ross Ihaka及其他志愿人员开发了一个R系统。由“R开发核心团队”负责开发。R可以看作贝尔实验室(AT&T BellLaboratories)的RickBecker,JohnChambers和AllanWilks开发的S语言的一种实现。当然,S语言也是S-Plus的基础。所以,两者在程序语法上可以说是几乎一样的,可能只是在函数方面有细微差别,程序十分容易地就能移植到一程序中,而很多一的程序只要稍加修改也能运用于R。
R语言的特点
R作为一种统计分析软件,是集统计分析与图形显示于一体的。它可以运行于UNIX,Windows和Macintosh的操作系统上,而且嵌入了一个非常方便实用的帮助系统,相比于其他统计分析软件,R还有以下特点:
1.R是自由软件。这意味着它是完全免费,开放源代码的。可以在它的网站及其镜像中下载任何有关的安装程序、源代码、程序包及其源代码、文档资料。标准的安装文件身自身就带有许多模块和内嵌统计函数,安装好后可以直接实现许多常用的统计功能。
2.R是一种可编程的语言。作为一个开放的统计编程环境,语法通俗易懂,很容易学会和掌握语言的语法。而且学会之后,我们可以编制自己的函数来扩展现有的语言。这也就是为什么它的更新速度比一般统计软件,如,SPSS,SAS等快得多。大多数最新的统计方法和技术都可以在R中直接得到。
3. 所有R的函数和数据集是保存在程序包里面的。只有当一个包被载入时,它的内容才可以被访问。一些常用、基本的程序包已经被收入了标准安装文件中,随着新的统计分析方法的出现,标准安装文件中所包含的程序包也随着版本的更新而不断变化。在另外版安装文件中,已经包含的程序包有:base一R的基础模块、mle一极大似然估计模块、ts一时间序列分析模块、mva一多元统计分析模块、survival一生存分析模块等等.
4.R具有很强的互动性。除了图形输出是在另外的窗口处,它的输入输出窗口都是在同一个窗口进行的,输入语法中如果出现错误会马上在窗口口中得到提示,对以前输入过的命令有记忆功能,可以随时再现、编辑修改以满足用户的需要。输出的图形可以直接保存为JPG,BMP,PNG等图片格式,还可以直接保存为PDF文件。另外,和其他编程语言和数据库之间有很好的接口。
5.如果加入R的帮助邮件列表一,每天都可能会收到几十份关于R的邮件资讯。可以和全球一流的统计计算方面的专家讨论各种问题,可以说是全世界最大、最前沿的统计学家思维的聚集地.
R是基于S语言的一个GNU项目,所以也可以当作S语言的一种实现,通常用S语言编写的代码都可以不作修改的在R环境下运行。 R的语法是来自Scheme。R的使用与S-PLUS有很多类似之处,这两种语言有一定的兼容性。S-PLUS的使用手册,只要稍加修改就可作为R的使用手册。所以有人说:R,是S-PLUS的一个“克隆”。
但是请不要忘了:R是免费的。R语言源代码托管在github,具体地址可以看参考资料。
R语言的下载可以通过CRAN的镜像来查找。
R语言有域名为.cn的下载地址,有六个,其中两个由Datagurn,由中国科学技术大学提供的。R语言Windows版,其中由两个下载地点是Datagurn和USTC提供的。
RStudio Server 是 RStudio 公司打造的一款基于 Web 的开源编辑器,如果你熟悉 RStudio的桌面版本,那么使用RStudio Server对你来说基本上没什么难度。在
实际的工程中,我们的服务器大多是基于Linux的,比如常见的 ubuntu、centos
等。这些操作系统有时并不提供图形化界面,这时候RStudio的服务器版本就派上用场了。启动RStudio
Server后,进入在浏览器中进入某一个页面后就可以像桌面版一样使用RStudio编辑器。当R的代码在服务器上出现bug了,线上的hotfix是
在所难免的,这时候必然会用到 RStudio Server 应个急。
这一次,我们将继续利用Docker神器,快速初始化RStudio Server环境的配置,并结合Git实现代码的版本控制。
准备
一个 Ubuntu 服务器
第一步:安装 RStudio Server
首先,我们通过docker 安装一个标准的RStudio Server
docker pull quantumobject/docker-rstudio
docker run -d -p 8787:8787 quantumobject/docker-rstudio
这样在你的电脑的8787端口就可以访问到rstudio的登陆界面了。
第二步:初始化 RStudio 账号
接着,我们需要初始化一个rstudio的账号
docker exec -it container-id /bin/bash
adduser harryzhu # 设置新用户名
passwd harryzhu # 设置该用户的密码
mkdir /home/harryzhu # 初始化工作空间
chmod -R harryzhu /home/harryzhu # 给工作空间赋权
第三步:安装 git
然后,我们进入rstudio的服务器,我们打算引入git版本控制
sudo apt-get install git-core
第四步:解决 ssh 的认证问题
使用 git 的过程可能遇到SSL certificate problem。对于ssh的问题,我们可以选择建立一个ssh认证的key,也可以在git中设置为忽略。
生成一个key:
$ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Created directory '/root/.ssh'.
连续按下回车,跳过密码设置
显示秘钥信息:
sudo cat /root/.ssh/id_rsa.pub
如果没有ssh认证的需求,也可以选择忽略:
git config --global http.sslVerify false
第五步:在 RStudio Server 中配置Git
在最上方的菜单栏中可以选择Project Options。
接着填写配置。
第六步:克隆 Git 项目到本地
Git 功能已经集成在 RStudio-Server 中了,在新建项目时可以选择新建一个Version Control 的 Git 项目。
大功告成!
参考资料
docker-rstudio 手册
张丹老师的 RStudio-Server 配置实战
Rstudio 官方 git 解决方案
刘坤老师的 Git 中文教程
---------------------------------------------------------------------------------------------------------------
概述
本文根据 Rstudio Webinars 的教程资源对Rstudio流的R语言教程做一个汇总,可以看到Rstudio对统计报告的Web化和工程化做了大量贡献。感谢Rstudio的众多工程师在开源的道路上的贡献!
谢溢辉:LaTex/Word的统计报告大逃亡之Rmarkdown生态
教学视频地址
在可交互、可复用的统计报告中,谢溢辉将介绍一众R包,包括 knitr、rmarkdown、htmlwidgets、DT、leaflet以及shiny。
快速标准的论文书写# $something$ 或者 $$something$$ 可以解决数学公式的问题
# 利用 bib 文件和[@something] 可以解决引用的问题
# 同样的,你也可以根据一些机构要求引入标准的模板。
参考谢溢辉的Rmarkdown论文
参考谢溢辉的bib文件
屏蔽源码# ```{r echo=F}屏蔽源代码
# ```{r, fig.width=5, fig.height=4} 设置配图大小
# 脚注
代码段内存共享
利用cache选项复用代码和数据
Sys.sleep(5)
rnorm(1)
输出其他语言代码
利用engine选项选择代码引擎,驱动python、R、scala、Rcpp、bash、perl、node等
x = 'hello, python
world!'
print(x)
print(x.split(' '))
交互式文档
利用yaml配置中的runtime选项
---
author: Harry Zhu
output: html_document
runtime: shiny
---
同理,你也可以选择输出slide、pdf或者word,你甚至可以给html定制一个css皮肤。
在我看来,rmarkdown是一款超越Zeppelin和iPython notebook的产品。
最总要的意义在于,学术工作者和工程师们不仅仅可以摆脱格式对创作的束缚专注于代码和文档,更是随意输出pdf、slide、html、word、latex等多种格式,形成强有力的跨界冲击。
谢溢辉本人有超过10年以上的LaTex使用经验,他的rmarkdown和knitr造福了一代学术工作者,显然LaTex和Word的体系在这种降维攻击下已经摇摇欲坠。
Hadley Wickham:R与大数据共舞
教学视频地址
R是一门为小数据探索和开发设计的语言,但在生产中R和大数据在一起还能发挥作用吗? 我们定义数据量大于单机内存的数据为大数据。让我们对比一下大数据与小数据的生命周期。
一个小数据分析项目的生命周期:
阐明:熟悉数据、模板解决方案
开发:创建有效模型
产品化:自动化与集成
发布:社会化
一个大数据分析项目的生命周期:
切片:抽取部分数据
阐明:熟悉数据、模板解决方案
开发:创建有效模型
扩展:使用到整个数据集
产品化:自动化与集成
发布:社会化
dplyr与数据读取
教学视频地址
PackageDBMSsrc_sqlite()SQLitesrc_mysqlMySQLsrc_postgresPostgreSQLlibrary(bigquery) src_bigquery()Google BigQuery
显示SQLshow_query(clean)
中间缓存
collapse()返回正在处理的结果
# 抽取 1% 的训练数据
random <- clean %>%
mutate(x = random()) %>%
collapse() %>%
filter(x <= 0.01) %>%
select(-x) %>%
collect()
数据存储
copy_to() 根据本地的data frame 在数据库创建一个表
# air为connection名称,query5为data frame,"gains"为表名
copy_to(air, query5, name = "gains")
# 关闭连接
rm(air)
# 垃圾收集器
gc()
Hadley Wickham:ETL
教学视频地址
本节将讨论一个有效的数据分析/数据科学问题框架,包括:
数据读取 readr/httr/DBI
数据清洗 tidyr/jsonlite
数据处理 dplyr/rlist
数据可视化 ggplot2/ggvis
数据建模 broom
broom:快速分析install.packages("broom")
# 查看相关例子
browseVignettes(package="broom")
Hadley Wickham是RStudio的首席科学家,并兼任统计莱斯大学的兼职教授。他将一一介绍他认为你应该知道的各种R包,并概述大数据和R,但主要是解释为什么他相信你不应该担心大数据的问题。
garrettgman:packrat与虚拟化技术
教学视频地址
你
是否有过这样与人合作开发的经历:在自己机器上运行完美的R代码,复制到另外一台同事的机器上运行就有很多R包需要重新安装,有的R包甚至依赖于不同的版
本?现在,在不使用Docker或Vagrant等全局虚拟化技术的条件下,只需要运用packrat包,就可以保证你的R项目的依赖问题被很好的解决,
一次运行,到处运行。
if(!require(packrat)){install.packages("packrat")}
getOption("repos") # 显示代码镜像源
packrat:: bundle() # 打包当前环境并虚拟化
packrat:: unbundle(bundle="xxx.tar.gz",where=".") # 加载已经打包过的环境
packrat::opts$local.repos("~/R") # 设置本地repos为路径
packrat::install_local("pryr") # 从本地安装
Hadley Wickham:Git与团队协作
教学视频地址
团队协作:利用Git 和 GitHub,你可以很轻松的与人协作,你不再需要用邮件附件来备份文档,或者在Dropbox上为争夺编辑权限而争吵。相反,你可以独立工作,最后只需要合并你们的成果就可以。
版本控制: Git 在我们制造重大错误时都允许我们回滚到之前的任意时间点。我们也可以回顾我们之前所做的一起历史记录,跟踪bug的形成过程。
目前就是用RStudio还可以,RStudio Server也很好。未来比较期待从ipython notebook衍生出的Jupyter。R是统计领域广泛使用的诞生于1980年左右的S语言的一个分支。可以认为R是S语言的一种实现。而S语言是由AT&T贝尔实验室开发的一种用来进行数据探索、统计分析和作图的解释型语言。最初S语言的实现版本主要是S-PLUS。S-PLUS是一个商业软件,它基于S语言,并由MathSoft公司的统计科学部进一步完善。后来新西兰奥克兰大学的Robert Gentleman和Ross Ihaka及其他志愿人员开发了一个R系统。由“R开发核心团队”负责开发。 R是基于S语言的一个GNU项目,所以也可以当作S语言的一种实现,通常用S语言编写的代码都可以不作修改的在R环境下运行。 R的语法是来自Scheme。R的使用与S-PLUS有很多类似之处,这两种语言有一定的兼容性。S-PLUS的使用手册,只要稍加修改就可作为R的使用手册。所以有人说:R,是S-PLUS的一个“克隆”。
但是请不要忘了:R是免费的(R is free)。R语言源代码托管在github 。
R语言的下载可以通过cran的镜像来查找,具体地址可以看参考资料。
R语言有域名为.cn的下载地址,有六个,其中两个由Datagurn,由中国科学技术大学提供的。R语言Windows版,其中由两个下载地点是Datagurn和USTC提供的。