怎么用RUBY获取网页上的数据

Python011

怎么用RUBY获取网页上的数据,第1张

Net::HTTP.new方法,返回resp码和实际的data:

require 'net/http'  

h = Net::HTTP.new("www.baidu.com",80)  

resp,data = h.get("/")   

puts resp  

puts data

浏览器加载和渲染html的顺序

1. IE下载的顺序是从上到下,渲染的顺序也是从上到下,下载和渲染是同时进行的。

2. 在渲染到页面的某一部分时,其上面的所有部分都已经下载完成(并不是说所有相关联的元素都已经下载完)。

3. 如果遇到语义解释性的标签嵌入文件(JS脚本,CSS样式),那么此时IE的下载过程会启用单独连接进行下载。

4. 样式表在下载完成后,将和以前下载的所有样式表一起进行解析,解析完成后,将对此前所有元素(含以前已经渲染的)重新进行渲染。

5. JS、CSS中如有重定义,后定义函数将覆盖前定义函数。

JS的加载

1. 不能并行下载和解析(阻塞下载)。

2. 当引用了JS的时候,浏览器发送1个js request就会一直等待该request的返回。因为浏览器需要1个稳定的DOM树结构,而JS中很有可能有

代码直接改变了DOM树结构,比如使用 document.write 或 appendChild,甚至是直接使用的location.href进行跳转,浏览器为了防止出现JS修

改DOM树,需要重新构建DOM树的情况,所以 就会阻塞其他的下载和呈现.

如何加快HTML页面加载速度

1. 页面减肥:

a. 页面的肥瘦是影响加载速度最重要的因素。

b. 删除不必要的空格、注释。

c. 将inline的script和css移到外部文件。

d. 可以使用HTML Tidy来给HTML减肥,还可以使用一些压缩工具来给JavaScript减肥。

2. 减少文件数量:

a. 减少页面上引用的文件数量可以减少HTTP连接数。

b. 许多JavaScript、CSS文件可以合并最好合并,人家财帮子都把自己的JavaScript. functions和Prototype.js合并到一个base.js文件里去了。

3. 减少域名查询:

a. DNS查询和解析域名也是消耗时间的,所以要减少对外部JavaScript、CSS、图片等资源的引用,不同域名的使用越少越好。

4. 缓存重用数据:

a. 对重复使用的数据进行缓存。

5. 优化页面元素加载顺序:

a. 首先加载页面最初显示的内容和与之相关的JavaScript和CSS,然后加载HTML相关的东西,像什么不是最初显示相关的图片、flash、视频等很肥的资源就最后加载。

6. 减少inline JavaScript的数量:

a. 浏览器parser会假设inline JavaScript会改变页面结构,所以使用inline JavaScript开销较大。

b. 不要使用document.write()这种输出内容的方法,使用现代W3C DOM方法来为现代浏览器处理页面内容。

7. 使用现代CSS和合法的标签:

a. 使用现代CSS来减少标签和图像,例如使用现代CSS+文字完全可以替代一些只有文字的图片。

b. 使用合法的标签避免浏览器解析HTML时做“error correction”等操作,还可以被HTML Tidy来给HTML减肥。

8. Chunk your content:

a. 不要使用嵌套table,而使用非嵌套table或者div。将基于大块嵌套的table的layout分解成多个小table,这样就不需要等到整个页面(或大table)内容全部加载完才显示。

9. 指定图像和table的大小:

a. 如果浏览器可以立即决定图像或table的大小,那么它就可以马上显示页面而不要重新做一些布局安排的工作。

b. 这不仅加快了页面的显示,也预防了页面完成加载后布局的一些不当的改变。

c. image使用height和width。

HTML页面加载和解析流程

1. 用户输入网址(假设是个html页面,并且是第一次访问),浏览器向服务器发出请求,服务器返回html文件。

2. 浏览器开始载入html代码,发现<head>标签内有一个<link>标签引用外部CSS文件。

3. 浏览器又发出CSS文件的请求,服务器返回这个CSS文件。

4. 浏览器继续载入html中<body>部分的代码,并且CSS文件已经拿到手了,可以开始渲染页面了。

5. 浏览器在代码中发现一个<img>标签引用了一张图片,向服务器发出请求。此时浏览器不会等到图片下载完,而是继续渲染后面的代码。

6. 服务器返回图片文件,由于图片占用了一定面积,影响了后面段落的排布,因此浏览器需要回过头来重新渲染这部分代码。

7. 浏览器发现了一个包含一行Javascript代码的<script>标签,赶快运行它。

8. Javascript脚本执行了这条语句,它命令浏览器隐藏掉代码中的某个<style>(style.display=”none”)。杯具啊,突然就少了这么一个元素,浏览器不得不重新渲染这部分代码。

9. 终于等到了</html>的到来,浏览器泪流满面……

10. 等等,还没完,用户点了一下界面中的“换肤”按钮,Javascript让浏览器换了一下<link>标签的CSS路径。

11. 浏览器召集了在座的各位<div><span><ul><li>们,“大伙儿收拾收拾行李,咱得重新来过……”,浏览器向服务器请求了新的CSS文件,重新渲染页面。

URL:

https://account.cnblogs.com/signin

编写思路(入门级别)

1、打开谷歌浏览器

2、打开博客园登录网页地址

3、在用户名输入框内输入用户名

4、在密码输入框内输入密码

5、点击登录

6、检测是否跳转到了登录成功的页面

脚本如下图:

4feb5d799ae52eea8c1b063cc8c60f85.png

现在我们来分解下输入用户名这个动作

1、首先找到用户名输入框

2、在输入框中输入用户名

【找到用户名输入框】实现此步骤的前提就是需要掌握控件的定位。具体在脚本中实现也就是图中的第11行:

('//*[@autocomplete="username"]')

WEB控件定位所做的事情,就是通过特定的方式找到我们需要操作的页面控件

那么如何才能学会这个控件定位呢?第一步就是简单了解下前端的语言。和我一起往下看即可轻松学会。

二、WEB网页文本—HTML5

要想掌握WEB自动化测试的控件定位,我们首选要了解控件是什么。

控件就是浏览器展示的前端语言生成对象。

web前端的基础语言就是HTML5

依旧是老套路,拿博客园举例:

5faa8b60ca05f50f4c0d6430574214fd.png

用户打开浏览器,看到的用户名输入框、密码输入框、登陆按钮、立即注册等等所有,都是浏览器展示的HTML5语言的对象。

我们按下F12键即可打开浏览器的调试模式,来查看网页的HTML5源代码。

如下图:

按下F12后右边页面中Elements选项对应的就是网页的html5代码

第一次接触肯定觉得非常晦涩难懂、云里雾里。但是相信我,万事开头难!你在看我自动化测试思维的文章以前不也是觉得自动化测试非常高大上吗?

不了解什么是自动化测试思维?戳下方5分钟即可学会☟☟☟

【自动化测试入门】自动化测试思维

00a821b679ab09e913981cf6a655f861.png

HTML5一个控件的写法一般是2个尖括号成对出现。

一、第一个尖括号的第一个单次为控件类型,之后是控件属性。

二、第二个尖括号表示此控件的尾部。

三、2个尖括号中间为控件在前端显示的文字部分。

举例说明的话。控件类型是狗的类型(中华田园犬、哈巴狗、牧羊犬等),控件属性就是这条狗的名字、性别、体重、毛发颜色等。2个尖括号中间的文字,就是你想在此页面上展示的这个狗的'名字'。

还是拿博客园的登陆界面举例来说:

点击'小箭头'定位控件,或者在控件处右键选中'检查元素',即可定位到指定的控件

7b1de1397c71dcde07d8d9da72e61ab5.png 控件的源码为:

<input _ngcontent-miv-c141=""matinput=""formcontrolname="username"placeholder="登录用户名 / 邮箱"autocomplete="username" id="mat-input-0" aria-describedby="mat-error-0" aria-invalid="true" aria-required="false">

input就是控件类型

input以外的就都是控件属性

这个输入框的控件属性有:

_ngcontent-miv-c141=""

matinput=""

formcontrolname="username"

placeholder="登录用户名 / 邮箱"

autocomplete="username"

id="mat-input-0"

aria-describedby="mat-error-0"

aria-invalid="true"

aria-required="false"

三、基于控件的唯一控件属性定位

了解了什么是控件,现在我们在上手控件的定位。

selenium有八种定位控件的方式,有6种都是基于HTML5原生控件的单一控件属性来定位的。

id定位:

find_element_by_id()

name定位:

find_element_by_name()

class定位:

find_element_by_class_name()

tag定位:

find_element_by_tag_name()

link定位:

find_element_by_link_text()

partial_link定位:

find_element_by_partial_link_text()

以下两种为特定的2种控件定位方法,下一篇文章再做详解。 xpath定位:find_element_by_xpath() CSS定位:find_element_by_css_selector()

下面我将举例来讲解这6种基于单一控件属性的定位方法。

还是拿博客园的登陆界面举例来说:

833005656b1e6d0fa4a7e2cc58d875a5.png

登陆用户名的输入框的HTML5源码为:

<input _ngcontent-miv-c141=""matinput=""formcontrolname="username"placeholder="登录用户名 / 邮箱"autocomplete="username" id="mat-input-0" aria-describedby="mat-error-0" aria-invalid="true" aria-required="false">

这个输入框的控件属性有:

_ngcontent-miv-c141=""

matinput=""

formcontrolname="username"

placeholder="登录用户名 / 邮箱"

autocomplete="username"

id="mat-input-0"

aria-describedby="mat-error-0"

aria-invalid="true"

aria-required="false"

对应的定位方法:

id属性来定位此控件

写法为:

find_element_by_id(mat-input-0)

name属性来定位此控件

此控件前端开发没有定义name属性,则无法使用此定位方法

tag属性来定位此控件(控件的类型)

写法为:

find_element_by_tag_name('input')

class属性来定位此控件

写法为:

find_element_by_class_name(mat-input-0)

另外两种定位是针对link属性的控件,也就是链接控件。如下图:

依旧是老老路。使用博客园登陆页举例:

【立即注册】就是页面中的一个link控件,其作用就是跳转到注册页面。

fe0c7b4e9f770591aeaa13a7a9e5ec43.png

_ngcontent-arq-c141="" href="/signup?returnUrl=https:%2F%2Fwww.cnblogs.com%2F">立即注册

他的控件属性有

link定位(通过link控件的文本值)

find_element_by_link_text('立即注册')

但是部分页面会存在,link的文本值非常长,所以就发明了partial_link定位。

如下图中的百度文库的某一页面:

5ddb0ca6201cd203245824c06c9e7932.png link的文本值为:全国2018年10月04741计算机网络原理真题以及答案解析

定位的脚本就可以写成:(只取文本的某一段值即可)

find_element_by_link_text('04741计算机网络')

但是这样的定位方式存在一个致命且常见的问题:

随着前端的技术不断的发展,页面的复杂度越来越高。一个页面的控件越来越多(tag不唯一),id、name、class_name可能有很多重名或者完全是动态的一串字母(id、name、class_name、link_name可能都不唯一),我们基于唯一控件属性定位的在特别复杂的项目上可能完全无法完成UI自动化测试的定位工作。