Python爬虫源码发,如下:
import urllib
content = urllib.urlopen('http://www.iplaypython.com/').read()
s1=0
while s1>=0:
begin = content.find(r'<a',s1) m1="content.find(r'" href=",begin)
m2 = content.find(r">',m1)
s1 = m2
if(begin<=0):
break
elif(content[m1:m2].find(r" ")!=-1):
m2 = content[m1:m2].find(r' ')
url = content[m1+6:m1+m2-1]
print url
elif m2>=0:
url = content[m1+6:m2-1]
print url
print "end."
</a',s1)>
在浏览器中发送http请求的过程:
1.当用户在浏览器地址栏输入URL并按回车键时,浏览器会向HTTP服务器发送HTTP请求。HTTP请求主要分为“获取”和“发布”两种方法。
2.当我们输入网址htp://www百度。com在浏览器中,浏览器发送Request请求获取HTP/www Baidu.com的html文件,服务器将Response文件对象发回浏览器。
3.浏览器分析响应中的HTML,发现它引用了很多其他文件,比如Images文件、CSS文件、JS文件。浏览器会自动再次发送一个获取图片、CSS文件或JS文件的请求。
4.当所有文件下载成功后,网页将完全按照HTML语法结构显示。
#url解释:
URL是统一资源定位符的缩写,统一资源定位符。
网址由以下部分组成:
scheme://host:port/path/>query-string = XXX # ancho
方案:表示访问的协议,如http或https、ftp等。
主机:主机名、域名,如www.baidu.com。
端口:端口号。当您访问网站时,浏览器默认使用端口80。
路径:找到路径。例如,在www.jianshu.com/trending/now,,以下趋势/现在是路径。
查询字符串:查询字符串,如www.baidu.com/s?. Wd=python,后跟Wd = python,是搜索字符串。
锚点:锚点,背景一般忽略,前端用于页面定位。
浏览器中的一个ufl,浏览器将对这个url进行编码。除了英文字母、数字和一些符号之外,所有其他符号都用百分号加上十六进制代码值进行编码。
#请求头通用参数:
在http协议中,当向服务器发送请求时,数据被分成三部分。第一个是把数据放在url中,第二个是把数据放在正文中(在post请求中),第三个是把数据放在头部。这里,我们介绍一些经常在网络爬虫中使用的请求头参数:
用户代理:浏览器名称。这通常用于网络爬虫。当请求网页时,服务器可以通过这个参数知道哪个浏览器发送了请求。如果我们通过爬虫发送请求,那么我们的用户代理就是Python。对于那些有反爬虫机制的网站,很容易判断你的请求是爬虫。因此,我们应该始终将此值设置为某些浏览器的值,以伪装我们的爬虫。
引用者:指示当前请求来自哪个网址。这也可以作为反爬虫技术。如果不是来自指定页面,则不会做出相关响应。
http协议是无状态的。也就是说,同一个人发送了两个请求,服务器无法知道这两个请求是否来自同一个人。因此,此时使用cookie进行标识。一般来说,如果你想成为一个登录后才能访问的网站,你需要发送cookie信息。
常见的请求方法有:
在Http协议中,定义了八种请求方法。这里介绍两种常见的请求方法,即get请求和post请求。
Get request:一般来说,get request只在从服务器获取数据时使用,不会对服务器资源产生任何影响。
发布请求:发送数据(登录)、上传文件等。,并在会影响服务器资源时使用post请求。
这是网站开发中常用的两种方法。并且一般会遵循使用原则。然而,为了成为一个反爬虫机制,一些网站和服务器经常出于常识玩牌。应该使用get方法的请求可能必须更改为post请求,这取决于具体情况。
常见响应状态代码:
00:请求正常,服务器正常最近数据。
31:永久重定向。例如,当您访问www.jingdong.com时,您将被重定向到www.jd.com。
32:临时重定向。例如,当访问需要登录的页面时,此时没有登录,您将被重定向到登录页面。
400:在服务器上找不到请求的网址。换句话说,盾请求ur1错误。
403:服务器拒绝访问,权限不足。
50:服务器内部错误。可能是服务器有bug。