β

关于python爬虫进程假死

我行我思 822 阅读

前段时间自己爬豆瓣的内容,写了一个爬虫,然后爬虫放上去之后开始的时候一般都没问题,
可以正常爬取内容,但是总是突然发现新内容出现了断层,跑去服务器上面看的时候会发现爬虫
进程还在,但是就是陷入了假死状态,log也停止输出了,把爬虫杀掉之后再起来发现又OK。

然后也多点打了log,但是依然会陷入这种情况,然后去网上搜索有人说如果内存不够会出现这种
情况,自己跑去看vps的内存,果然已经满了,因为一般的vps内存都不大,进程开多了就很容易
出现这种情况,等有钱了去换一个1G内存的去:)。

解决比较简单,然后把php-fpm进程减少了几个,uwsgi进程减少了几个,内存一下子多了一点,
把爬虫开起来,目前还没遇到假死情况,心里舒坦了好多。

作者:我行我思
读万卷书,行万里路,从生活点滴做起
原文地址:关于python爬虫进程假死, 感谢原作者分享。