python跳转界面后选择不显示

Python016

python跳转界面后选择不显示,第1张

python跳转界面后选择不显示解决方法:

1、没有对窗口进行长期保持的设定。

2、故此窗口只显示了一次没有长期显示看不到窗口。在窗口对象后面加上函数mainloopwindows.mainloop即可显示。

Scrapy是一个用Python写的Crawler Framework,简单轻巧,并且非常方便。Scrapy使用Twisted这个异步网络库来处理网络通信,架构清晰,并且包含了各种中间件接口,可以灵活地完成各种需求。Scrapy整体架构如下图所示:

根据架构图介绍一下Scrapy中的各大组件及其功能:

Scrapy引擎(Engine):负责控制数据流在系统的所有组建中流动,并在相应动作发生触发事件。

调度器(Scheduler):从引擎接收Request并将它们入队,以便之后引擎请求request时提供给引擎。

下载器(Downloader):负责获取页面数据并提供给引擎,而后提供给Spider。

Spider:Scrapy用户编写用于分析Response并提取Item(即获取到的Item)或额外跟进的URL的类。每个Spider负责处理一个特定(或一些网站)。

Item Pipeline:负责处理被Spider提取出来的Item。典型的处理有清理验证及持久化(例如存储到数据库中,这部分后面会介绍存储到MySQL中,其他的数据库类似)。

下载器中间件(Downloader middlewares):是在引擎即下载器之间的特定钩子(special hook),处理Downloader传递给引擎的Response。其提供了一个简便的机制,通过插入自定义代码来扩展Scrapy功能(后面会介绍配置一些中间并激活,用以应对反爬虫)。

Spider中间件(Spider middlewares):是在引擎及Spider之间的特定钩子(special hook),处理Spider的输入(response)和输出(Items即Requests)。其提供了一个简便的机制,通过插入自定义的代码来扩展Scrapy功能。

参考这个可以了,http://www.bubuko.com/infodetail-699326.html#以post的方法访问登陆页面,访问之后cookieJar会自定保存cookie opener.open(login_page,data) #以带cookie的方式访问页面,这样跳转主页就可以了 op=opener.open(url)附上部分代码如下:def login(self,login_url):data = {'email': self.email,'password': self.passwd}post_data = urllib.urlencode(data)req = urllib2.Request(login_url,post_data, self.headers)response = self.opener.open(req)content = response.read()()pagesoup = BeautifulSoup(content,fromEncoding = 'utf-8')return pagesoup def recent_visit(self,soup):title = soup.html.head.titleprint title.renderContents().strip()app_link_url = soup.find('li',{'class':'app-nav-item app-homepage'}).a['href']print app_link_url #人人网主页app_link_op = self.opener.open(app_link_url)#跳转主页app_link_soup = BeautifulSoup(app_link_op.read(),fromEncoding = 'utf-8')