R软件如何将爬虫得到的数据制成表格

Python017

R软件如何将爬虫得到的数据制成表格,第1张

代码如下:

>install.packages(“XML”)#安装XML包

>library(XML) #载入XML包

>u<-"XXX" #写入表格所在的网址

>tbls<-readHTMLTable(u) #分析网页中的表格,如果网页包含多个表格,需要确定读取哪个表。可通过识别表的行数来确定,具体见R语言网页数据抓取的一个实例_戊甲_新浪博客

>pop<-readHTMLTable(u,which=1) #读取网页中的第一张表

>write.csv(pop,file="d:/pop.csv") #存储pop为CSV文档至D盘中

这样,就快速实现了网页中的数据爬取。

library(rvest)

## Loading required package: xml2

url = "https://en.wikipedia.org/wiki/The_Fast_and_the_Furious"

film = read_html(url)

table=film%>%html_node("table.wikitable")%>%html_table(header = NA, trim = TRUE, fill=TRUE)

Then, I extra links of all the films.

links = film%>%html_node("table.wikitable")%>% html_nodes("a") %>% html_attr("href")

links = paste("https://en.wikipedia.org", links, sep = "")

table$link = links

Python 用requests + BeautifulSoup 很方便。

【Step1】获取html:

import requests

r = requests.get(‘’)

html = r.text#这样3行代码就把网页的html取出来了

【Step2】解析:

html用你喜欢的方式解析就可以了,牛逼的话可以直接正则。

from bs4 import BeautifulSoup

soup = BeautifulSoup(html) #这样2行就可以很方便的操作soup解析了

或者专业点的用scrapy爬虫框架,默认用xpath解析。