想学爬虫是应该用R还是python

Python09

想学爬虫是应该用R还是python,第1张

如果没有时间限制的话,其实可以同时进行。

因为你会了用一个软件爬虫之后,你也就懂了爬虫的逻辑。另外一个也只是改代码而已。

我就是之前对python什么也不懂,然后不断摸索出来后,R的也大概知道怎么写了。再根据实际遇到的error改代码。

拓展Python的话会遇到很多问题,编码,网页获取等等。

个人感觉爬虫上,Python对中文相对友好点。

通常,我们认为Python比R在计算机编程、网络爬虫上更有优势,而 R 在统计分析上是一种更高效的独立数据分析工具。所以说,同时学会Python和R这两把刷子才是数据科学的王道。

R语言,一种自由软件编程语言与操作环境,主要用于统计分析、绘图、数据挖掘。R本来是由来自新西兰奥克兰大学的罗斯·伊哈卡和罗伯特·杰特曼开发(也因此称为R),现在由“R开发核心团队”负责开发。

R基于S语言的一个GNU计划项目,所以也可以当作S语言的一种实现,通常用S语言编写的代码都可以不作修改的在R环境下运行。R的语法是来自Scheme。

R的源代码可自由下载使用,亦有已编译的可执行文件版本可以下载,可在多种平台下运行,包括UNIX(也包括FreeBSD和Linux)、Windows和MacOS。R主要是以命令行操作,同时有人开发了几种图形用户界面。

R的功能能够通过由用户撰写的包增强。增加的功能有特殊的统计技术、绘图功能,以及编程接口和数据输出/输入功能。这些软件包是由R语言、LaTeX、Java及最常用C语言和Fortran撰写。

下载的可执行文件版本会连同一批核心功能的软件包,而根据CRAN纪录有过千种不同的软件包。其中有几款较为常用,例如用于经济计量、财经分析、人文科学研究以及人工智能。

Python与R语言的共同特点:

Python和R在数据分析和数据挖掘方面都有比较专业和全面的模块,很多常用的功能,比如矩阵运算、向量运算等都有比较高级的用法。

Python和R两门语言有多平台适应性,linux、window都可以使用,并且代码可移植性强。

Python和R比较贴近MATLAB以及minitab等常用的数学工具。

Python与R语言的区别:

数据结构方面,由于是从科学计算的角度出发,R中的数据结构非常的简单,主要包括向量(一维)、多维数组(二维时为矩阵)、列表(非结构化数据)、数据框(结构化数据)。

而 Python 则包含更丰富的数据结构来实现数据更精准的访问和内存控制,多维数组(可读写、有序)、元组(只读、有序)、集合(唯一、无序)、字典(Key-Value)等等。

Python与R相比速度要快。Python可以直接处理上G的数据R不行,R分析数据时需要先通过数据库把大数据转化为小数据(通过groupby)才能交给R做分析,因此R不可能直接分析行为详单,只能分析统计结果。

Python是一套比较平衡的语言,各方面都可以,无论是对其他语言的调用,和数据源的连接、读取,对系统的操作,还是正则表达和文字处理,Python都有着明显优势。 而R是在统计方面比较突出。

Python的pandas借鉴了R的dataframes,R中的rvest则参考了Python的BeautifulSoup,两种语言在一定程度上存在互补性。

Python 用requests + BeautifulSoup 很方便。

【Step1】获取html:

import requests

r = requests.get(‘’)

html = r.text#这样3行代码就把网页的html取出来了

【Step2】解析:

html用你喜欢的方式解析就可以了,牛逼的话可以直接正则。

from bs4 import BeautifulSoup

soup = BeautifulSoup(html) #这样2行就可以很方便的操作soup解析了

或者专业点的用scrapy爬虫框架,默认用xpath解析。