python爬虫如何利用多线程

Python014

python爬虫如何利用多线程,第1张

多线程的例子：

import threadingimport time  def show(arg):    time.sleep(1)    print('thread' + str(arg))  for i in range(10):    t = threading.Thread(target=show, args=(i,))    t.start() print('main thread stop')

运行效果：

如果是爬虫的话，这个一般都是由于网络原因造成的卡住，可以做两层控制：

在HTTP请求上设置好超时时间，最好设定sockect的超时，这样更底层一些。

在上层做一个检测机制，定时轮询线程是否正常，如果遇到不响应的直接kill掉。