如何用r语言爬取json的数据

Python015

如何用r语言爬取json的数据,第1张

如果以后抓取网页碰到动态加载的数据,可以考虑使用 phantomjs 如果想更暴力直接开出一个有界面的浏览器做各式各样的操作,达到ajax无阻碍的,可以用Selenium + Beautifulsoup

作者:任坤

链接:http://www.zhihu.com/question/21792740/answer/27104765

来源:知乎

著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

reshape2 横向、纵向做数据变换,例如把纵向堆叠在数据库中的证券行情数据转换成一个按照不同证券代码横向排列,按照时间纵向排列收盘价的数据表

stringr 方便地用正则表达式做批量字符串操作,可做检测、匹配、替换、计数等等

lubridate 方便地做日期/时间操作,各种标准化时间和时区的处理

plyr 轻松地在vector, list, data.frame之间做分组变换,实现拆分、变换、合并的操作

dplyr 轻松地处理data.frame, data.table以及多种数据库为基础的数据,实现选择、变换、分组等等,速度很快

RODBC 连接ODBC数据库接口

RSQLite 连接轻量级SQLite数据库连接

jsonlite 读写json文件

yaml 读写yaml文件,实现灵活的程序外部配置

Rcpp, Rcpp11 写C++03/11代码直接编译后给R调用,大幅提升算法性能

data.table 快速处理较大数据表

ggplot2 高级绘图,一套统一的语法实现复杂图像组合绘制

zoo 时间序列数据的预处理,比如滚动平均等等

rmarkdown 用Markdown写文档并可方便地运行R代码与绘图

knitr 自动文档生成

devtools 扩展包开发必备,在线安装托管的扩展包,检查扩展包是否符合CRAN标准等等

testthat 扩展包自动测试

pipeR 自己写的高性能、低损耗、分工明确的管道操作(pipeline operator)扩展包,使得数据变换流程化

=== 专业领域(数值计算) ===

rootSolve 非线性方程求根、ODE均衡状态解

Rsolnp 非线性优化

=== 专业领域(计量和统计学习) ===

sde 随机微分方程模拟和统计推断

KernSmooth 非参数平滑与分布估计

cpm Change Point Detection 实时分布或者统计关系变化检测

stats4 可用来方便地做MLE估计

在R中,如果我们想要从外界读入文件或写出文件到特定路径该如何操作呢?

读入文件,我们可以用read.table函数;而写出文件,我们可以用write.table函数。

每个参数都有自己的意义,其中比较常用的有header,sep等.

file是我们读入的文件名称;header,设置为T或F,是否把第一行定义为header;sep是设置文件内的分隔符。我们看个例子:

如果大家对具体的参数想要了解,可以输入下面命令,就可以了解这个函数以及里面各个参数的具体用法和含义:

其中比较常用的参数有file,quote,sep,row.names和col.names.

其中file是设置我们输出的文件名,这个是自己定义的。

quote是一个逻辑值,T或者F。如果是T,那么输出的结果文件中的因子或者字符串会有引号;如果是F,输出的结果文件中的因子或者字符串就没有引号。

sep,和read.table中的sep类似,是分隔符,不过是用来设置输出文件是以什么分隔符来分割,比较常用的有空格,",",或者"\t"等。

row.nems和col.names是用来设置是否输出行和列名。

希望这几个例子可以使你了解了write.table的常用用法,如果想更详细的了解,可输以下命令查看:

希望有帮到你。