R软件如何将爬虫得到的数据制成表格

Python019

R软件如何将爬虫得到的数据制成表格,第1张

代码如下:

>install.packages(“XML”)#安装XML包

>library(XML) #载入XML包

>u<-"XXX" #写入表格所在的网址

>tbls<-readHTMLTable(u) #分析网页中的表格,如果网页包含多个表格,需要确定读取哪个表。可通过识别表的行数来确定,具体见R语言网页数据抓取的一个实例_戊甲_新浪博客

>pop<-readHTMLTable(u,which=1) #读取网页中的第一张表

>write.csv(pop,file="d:/pop.csv") #存储pop为CSV文档至D盘中

这样,就快速实现了网页中的数据爬取。

library(rvest)

## Loading required package: xml2

url = "https://en.wikipedia.org/wiki/The_Fast_and_the_Furious"

film = read_html(url)

table=film%>%html_node("table.wikitable")%>%html_table(header = NA, trim = TRUE, fill=TRUE)

Then, I extra links of all the films.

links = film%>%html_node("table.wikitable")%>% html_nodes("a") %>% html_attr("href")

links = paste("https://en.wikipedia.org", links, sep = "")

table$link = links

目录

本文介绍的案例和方法简介里一样,但是会有更加详细的说明。

和之前一样使用 pinfsc50 包里的数据。vcf数据,参考序列的fasta数据,还有gff格式的注释数据。

然后蹦出来一段警告文

create.chromR 这个函数会自动确认刚才提到的三个文件里的染色体名字是否对的上。这个例子里染色体名用到了Supercontig,貌似有些不匹配,所以跳出了警告文。这里可以进行可视化,确认没有问题的话可以进行下一步。

在此我们根据前面文章里的内容直接对数据进行过滤,然后可视化。

可以发现Variants per Site和Nucleotide Content发生了变化。

这个包还可以快速可视化vcf文件。

可以看出DP,MQ都趋向于正规分布。最后的每个窗口的variant count的主峰在0表示这个基因大多是纯合体,只有少部分有变异。

通过动手练习我们已经掌握了如何导入vcf文件的数据,然后进行可视化诊断,接下来的文章里会介绍更多的其他用法。