Python爬虫实战，Python多线程抓取5千多部最新电影下载链接

Python030

Python爬虫实战，Python多线程抓取5千多部最新电影下载链接,第1张

利用Python多线程爬了5000多部最新电影下载链接，废话不多说~

让我们愉快地开始吧~

Python版本： 3.6.4

相关模块：

requests模块；

re模块；

csv模块；

以及一些Python自带的模块。

安装Python并添加到环境变量，pip安装需要的相关模块即可。

拿到链接之后，接下来就是继续访问这些链接，然后拿到电影的下载链接

但是这里还是有很多的小细节，例如我们需要拿到电影的总页数，其次这么多的页面，一个线程不知道要跑到什么时候，所以我们首先先拿到总页码，然后用多线程来进行任务的分配

我们首先先拿到总页码，然后用多线程来进行任务的分配

总页数其实我们用re正则来获取

爬取的内容存取到csv，也可以写个函数来存取

开启4个进程来下载链接

您学废了吗？最后祝大家天天进步！！学习Python最重要的就是心态。我们在学习过程中必然会遇到很多难题，可能自己想破脑袋都无法解决。这都是正常的，千万别急着否定自己，怀疑自己。如果大家在刚开始学习中遇到困难，想找一个python学习交流环境，可以加入我们，领取学习资料，一起讨论，会节约很多时间，减少很多遇到的难题。

import os,re

def check_flag(flag):

regex = re.compile(r'images\/')

result = True if regex.match(flag) else False

return result

#soup = BeautifulSoup(open('index.html'))

from bs4 import BeautifulSoup

html_content = '''

<a href="https://xxx.com">测试01</a>

<a href="https://yyy.com/123">测试02</a>

<a href="https://xxx.com">测试01</a>

<a href="https://xxx.com">测试01</a>

'''

file = open(r'favour-en.html','r',encoding="UTF-8")

soup = BeautifulSoup(file, 'html.parser')

for element in soup.find_all('img'):

if 'src' in element.attrs:

print(element.attrs['src'])

if check_flag(element.attrs['src']):

#if element.attrs['src'].find("png"):

element.attrs['src'] = "michenxxxxxxxxxxxx" +'/'+ element.attrs['src']

print("##################################")

with open('index.html', 'w',encoding="UTF-8") as fp:

fp.write(soup.prettify()) # prettify()的作⽤是将sp美化⼀下，有可读性