python

打开APP

小羊努力搞代码

关注

学习日志：Python 实现网络爬虫——提取关键字 原创

2022-06-19 13:02:38

小羊努力搞代码

码龄174天

关注

编写一段Python代码，向百度提交查询关键词“桃花源记”，抓取百度的查询结果，要求有文字、链接，可以在浏览器中打开抓取的链接，或者调用浏览器打开抓取的链接。

红框内是根据网站信息需要更改的内容。57031baa3a394395be479ad89f1ff15e.png

附上完整代码：

import json

import requests

from lxml import etree

headers = {

"User-Agent":"Mozilla/5.0 (Windows NT 10.0WOW64) AppleWebKit/537.36 (KHTML, like Gecko) "

"Chrome/88.0.4324.104 Safari/537.36"

}

response = requests.get('https://www.baidu.com/s?wd=桃花源记&lm=0', headers=headers)

r = response.text

html = etree.HTML(r, etree.HTMLParser())

r1 = html.xpath('//h3')

r2 = html.xpath('//*[@class="content-right_8Zs40"]')

r3 = html.xpath('//*[@class="c-row source_1Vdff OP_LOG_LINK c-gap-top-xsmall"]/a/@href')

for i in range(4):

r11 = r1[i].xpath('string(.)')

r22 = r2[i].xpath('string(.)')

r33 = r3[i]

with open('桃花源记.txt', 'a', encoding='utf-8') as c:

c.write(json.dumps(r11,ensure_ascii=False) + '\n')

c.write(json.dumps(r22, ensure_ascii=False) + '\n')

c.write(json.dumps(r33, ensure_ascii=False) + '\n')

print(r11, end='\n')

print('------------------------')

print(r22, end='\n')

print(r33)

8684公交线路爬取

import requests

from lxml import etree

items=[]

headers={

"User-Agnet":"Mozilla/5.0 (MacintoshIntel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36"

}

def parse_navigation():

url=' https://beijing.8684.cn/'

r=requests.get(url,headers=headers)

#解析内容,获取所有的导航链接#

tree=etree.HTML(r.text)

#查找以数字开头的所有链接#

number_href_list=tree.xpath('//div[@class="depth"]/div[2]/div[1]/div/a/@href')

#查找以字母开头的所有链接

char_href_list=tree.xpath('//div[@class="depth"]/div[2]/div[2]/div/a/@href')

#将需要爬取的所有链接返回

return number_href_list+char_href_list

def parse_erji_route(content):

tree=etree.HTML(content)

#写xpath,获取每一个线路

route_list=tree.xpath('//div[@class="cc-content"]/div[2]/a/@href')

route_name=tree.xpath('//div[@class="cc-content"]/div[2]/a/text()')

i=0

#遍历上面这个列表

for route in route_list:

print('开始爬取%s线路'%route_name[i])

route=' https://beijing.8684.cn'+route

r=requests.get(url=route,headers=headers)

#解析内容,获取每一路公交的详细信息

parse_sanji_route(r.text)

print('结束爬取%s线路'%route_name[i])

i+=1

def parse_sanji_route(content):

tree=etree.HTML(content)

#依次获取内容

bus_number=tree.xpath('//div[@class="bus-lzinfo mb20"]/div[2]/h1/text()')[0]

#获取运行时间

run_time=tree.xpath('//div[@class="bus-lzinfo mb20"]/div[2]/ul/li[1]/text()')[0]

#获取票价信息

ticket_info=tree.xpath('//div[@class="bus-lzinfo mb20"]/div[2]/ul/li[2]/text()')[0]

#获取更新时间

gxsj=tree.xpath('//div[@class="bus-lzinfo mb20"]/div[2]/ul/li[4]/text()')[0]

#获取上行总站数

total_list=tree.xpath('//div[@class="bus-excerpt mb15"]/div[2]/div/text()')

up_total=total_list[0]

#将里面的空格给去掉

up_total=up_total.replace('\xa0','')

print(up_total)

#获取上行所有站名

up_site_list=tree.xpath('//div[@class="bus-lzlist mb15"][1]//li/a/text()')

print(up_site_list)

exit()

try:

#获取下行总站数

down_total=total_list[1]

#获取下行所有站名

down_site_list=tree.xpath('//div[@class="bus-lzlist mb15"][2]//li/a/text()')

except Exception as e:

down_total=''

down_site_list=[]

#将每一条公交线路信息放到字典中

item={

'线路名':bus_number,

'运行时间':run_time,

'票价信息':ticket_info,

'更新时间':gxsj,

'上行站数':up_total,

'上行站点':up_site_list,

'下行站数':down_total,

'下行站点':down_site_list,

}

items.append(item)

def parse_erji(navi_list):

#遍历上面的列表,依次发送请求,解析内容,获取每一个页面所有的公交路线url

print(navi_list)

for first_url in navi_list:

first_url=' https://beijing.8684.cn'+first_url

print('开始爬取%s所有的公交信息'%first_url)

r=requests.get(url=first_url,headers=headers)

#解析内容,获取每一路公交的详细url

parse_erji_route(r.text)

print('结束爬取%s所有的公交信息'%first_url)

def main():

#爬取第一页所有的导航链接#

navi_list=parse_navigation()

#爬取二级页面,需要找到以1开头的所有公交路线

parse_erji(navi_list)

#爬取完毕

fp=open('文件保存路径','w',encoding='utf8')

for item in items:

fp.write(str(item)+'\n')

fp.close()

if name ==' main ':

main()