如何使用docker+jenkins实现自动化集成

Python038

如何使用docker+jenkins实现自动化集成,第1张

Docker 介绍

Docker

号称是下一代的虚拟机,它在启动和创建速度、性能、移植性等方面均优于传统虚拟机。Docker 是 PaaS 提供商 dotCloud

开源的一个基于 LXC 的高级容器引擎。它能够让开发者打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的 Linux

机器上,也可以实现虚拟化。目前,通过 Boot2Docker 已能使 Docker 运行在 Windows 和 OS X 中。Docker

容器完全使用沙箱机制,相互之间没有任何接口。Docker 几乎没有性能开销,可以很容易地在机器和数据中心中运行。最重要的是,

他们不依赖于任何语言、框架或系统。

Docker 在其网站上明确地提到的 Docker 的典型应用场景如下:

对应用进行自动打包和部署

创建轻量、私有的 PAAS 环境

自动化测试和持续整合与部署

部署和扩展 Web 应用、数据库和后端服务

在自动化测试领域,Docker 大有取代传统虚拟机技术的趋势,原因如下:

自动化测试依赖的是测试所需要的应用,而并非整个操作系统。因此,传统的虚拟机技术存在资源浪费。

Docker 构建于 LXC 之上。借助 LXC 轻量级的特性,相比于目前的虚拟机技术,Docker 启动更快、资源占用更小。

Docker 比虚拟机轻量、灵活,便于管理。

Docker 标准化的构建方法 (Dockerfile) 和良好的 REST API,使得自动测试和持续集成/部署能够很好的集成进来。

回页首

Sahi 介绍

Sahi 是一个开源的 Web UI 自动化测试框架。尽管它的知名度不及 Selenium,用户群也不及 Selenium 庞大,但它确有它独特的魅力,例如:

基于上下文的页面元素识别机制。

隐式页面加载响应等待机制。

良好的浏览器支持。

优秀的跨浏览器录制回放调试工具 Sahi Controller。

这些特性都大大地加快了自动化测试脚本的开发速度,并降低了维护成本。

Sahi

通过一个用 Java 编写的代理服务器,将用户的脚本转换为 JavaScript 后注入往返的 HTTP

请求及响应中,从而驱动浏览器事件。编程语言方面,除 Sahi 脚本(其本质是一个 JavaScript 库)以外,还支持 Java 和

Ruby。Sahi 有开源和收费两个版本。虽然收费版本提供了很多开源版本不具备的高级特性,不过开源版本已经能够满足大部分的功能要求。点此查看开源版本与收费版本的差异。点此查看Sahi 与其他 Web 自动化测试框架的对比。

回页首

Jenkins 介绍

Jenkins

是一种开源的基于 Java 开发的持续集成工具,前身称作 Hudson。Jenkins

提供了用于监控持续重复工作的软件平台。它支持丰富的插件,用户可以按照需求进行选择安装和配置,以实现生成执行状态表格,自动部署、更新自动化测试包等

高级功能。本文将要介绍 Jenkins 的 Docker 插件,它能够动态地创建 Docker 容器作为 Jenkins Slave

节点,并在执行任务后,自动关闭容器。另外,它还支持一些额外功能,比如当构建任务成功完成后自动将容器保存为镜像、自动将镜像上传到资源库等。

回页首

实例演示

该实例演示如何制作一个运行 Sahi 的镜像以及如何在 Jenkins 上配置 Docker 插件以运行 Sahi 测试脚本。

准备 Docker 镜像

本实例需要准备三个镜像:一个运行 Jenkins,一个运行 Subversion,另外一个运行 Sahi。

首先,制作运行 Sahi 的镜像。Docker Hub 是一个用于分享 Docker 镜像的资源库。目前,该资源库还没有运行 Sahi 的镜像,所以必须自己创建 Dockerfile 来构建镜像。下图是用来制作 Sahi 镜像的目录。

图 1. 制作 Sahi 镜像的目录

下图是 Dockerfile 的文件内容。

图 2. Dockerfile文件内容

整个过程大体分为八个步骤:

指定基础镜像

我们使用的是 evarga/jenkins-slave。该镜像基于 Ubuntu,安装了 SSH 服务,并创建了用户 Jenkins。

替换系统默认更新源。把系统更新源替换为 163 的,后面的软件安装速度会比较快一些。

安装必要的软件(不包括 Oracle Java 和

Sahi):Firefox, Unzip 以及 Xvfb。删除 Open JDK 是为了后面安装 Oracle Java 做准备。Firefox

不用多说,因为该镜像用于 Web UI 自动化测试,所以安装了最新版本的 Firefox。安装 Unzip 是因为后面安装 Sahi

需要用到它。Xvfb(X virtual framebuffer)是一个 X11

显示服务器的实现。它不是将图形在屏幕上显示出来,而是在内存中运行所有的图形操作。对客户端来说,除了无法看到真正的图形显示,没有其他分别。一般称这

种运行方式为 headless。

安装 Oracle Java 8。理论上 Sahi 应当也支持 Open JDK,所以安装 Oracle Java 不是必须的。

安装 Sahi。上传了 zip 文件后,用 Unzip 解压,Sahi 是基于 Java 的,所以解压后即已安装好 Sahi。之后,替换了几个文件,它们的作用如下:

Userdata.properties

userdata.properties 中有个属性叫

proxy_alert.disabled,默认值为 false。用户第一次启动 Sahi Dashboard

的时候,会弹出一个如下图所示的对话框。用户勾选了“Do no show this message again”并点击 Continue

按钮之后,Sahi 修改该属性值为 true。之后就不会在跳出这个对话框了。由于用 headless 的方式运行 Sahi

无法点击该对话框,所以必须事先用一个已将该属性设置为 true 的文件替换 Sahi 默认的 userdata.properties。

图 3. Sahi 代理问题对话框

sahi_example_com

这是一个证书文件。用户第一次在 Sahi Dashboard

中打开 Firefox 时的页面如下图所示。用户需要点击 SSL Manager 链接手动接受 SSL 证书。此时,文件

sahi_example_com 被生成到 userdata/certs 目录下。之后,就不需要再进行该操作了。所以,复制的

sahi_example_com 目的也是为了自动完成这步需要在图形界面下才能完成的操作。

图 4. Sahi 启动页

图 5. SSLManager 的非信任连接页面

browser_types.xml

替换该文件是为了使 Sahi 以 headless

的方式工作。在该文件中,事先添加了一个名字为 firefox-xvfb 的浏览器配置信息。之后,测试脚本就可以指向该浏览器运行。具体配置 Sahi 和 Xvfb 的步骤参考。

添加 init.sh 文件

init.sh 文件用于启动 Xvfb 和 Sahi。其内容如下。

图 6. init.sh 文件内容

“sleep 5”是因为 Sahi 启动需要一点时间,若立即运行测试脚本会导致失败。

修改权限

最终运行的容器是作为 Jenkins Slave 节点用

Jenkins 用户运行,因此将整个/usr/local 目录及子目录的所有人修改为 Jenkins,并给 Shell

文件添加执行权限。Jenkins 用户是在基础镜像 evarga/jenkins-slave 中创建的,所以在这个 Dockerfile

里没有创建 Jenkins 用户的语句。

指定默认执行的命令

CMD ["/usr/sbin/sshd","-D"] – 该语句令镜像默认启动 SSH 服务。事实上,这条语句也可以不添加,因为 evarga/jenkins-slave 的 Dockerfile 中已包含该语句。

切就绪之后,在该目录中执行“docker build -t shenrui/sahi –rm=true”。命令成功执行后,通过“docker

images”应当可以查看到名为“shenrui/sahi”的镜像。该镜像已经上传到 Docker Hub,有需要的读者可以自行拉取。

Sahi

镜像构建好之后,接下来准备 Jenkins 容器。Docker Hub 上已有官方的 Jenkins 镜像,直接用命令“docker pull

jenkins”拉取。在 Docker 主机上,创建一个目录(例如,/data/jenkins_home),并修改权限(chmod

777)以便 Jenkins 容器能读写该目录,然后用命令“docker run -d -t --name myjenkins -p

8080:8080 -v /data/jenkins_home:/var/jenkins_home jenkins”启动。此时,打开

http://<Docker Host IP>:8080 应当可以看到 Jenkins 的管理页面。

同样地,直接拉取 Docker Hub 的 Subversion

的镜像(docker pull bsboiko/subversion)。不过,还需要做进一步的配置。步骤如下:

用命令“docker run -i -t bsboiko/subversion /bin/bash”以交互的方式启动 Subversion 容器。

在容器中创建目录 /var/svn/repos(mkdir -p

/var/svn/repos),并基于该目录创建 Subversion 资源库(svnadmin create

/var/svn/repos)。

在资源库目录下的 svnserve.conf

文件中删除“password-db = passwd”前面的注释符 #,并在 passwd 文件中添加一行“shenrui =

password”。

用命令“docker commit <container id>mysvn”把上面所做的修改保存下来创建一个新镜像 mysvn。

最后,用命令“docker run -t -d -p

3690:3690 --name mysvn mysvn svnserve -d --foreground -r

/var/svn/repos”启动 mysvn 容器。启动时,添加容器到主机的端口映射“-p 3690:3690”以便之后直接通过主机 IP

提交测试脚本。

至此,Docker 上有两个正在运行的容器(docker ps),名字分别是 myjenkins 和 mysvn。

我们非常高兴地宣布Selenium 4的发布。这适用于Java、.net、Python、Ruby和Javascript。你可以从你最喜欢的包管理器或GitHub下载它!

https://github.com/SeleniumHQ/selenium/releases/tag/selenium-4.0.0

如果您已经是一个Selenium用户,那么这个更新应该很简单,只需改变依赖从 3.x 切换 4.0.0 即可。我们一直在努力确保这是一个 无痛 升级,重点是保持公共API尽可能稳定。

当然,我们已经做了一些更改,所以如果您依赖于那些标记为Selenium内部的代码,或者那些已弃用的代码,那么您可能会遇到一些问题。请查看我们的文档,了解如何处理我们所知道的每个常见问题。

https://www.selenium.dev/documentation/getting_started/how_to_upgrade_to_selenium_4/

Selenium4 不仅仅是一个稳定的版本!它带来了一大堆新的和令人兴奋的特性,我们希望这些特性将使您的测试编写起来更加有趣!运行时更稳定!让我们来看看其中的一些新功能!

我们已经介绍了 相对定位器 。它们允许您使用人们也使用的语言指定在页面上可以找到元素的位置;比如 在那个元素之上 ,或者 在另一个元素的右边 。这将为您提供一种工具来应对复杂定位器,使您的测试读起来更清楚一些,并更能适应页面DOM的变化。我们不是第一个想到这个主意的人——这个荣誉属于 Sahi (注:Sahi一款web自动化工具)——但如果你以前没有用过,我们希望你喜欢!

above() 用于要查找的元素在 指定元素 的上方。

如果你使用的是火狐或源自于Chromium的浏览器,我们也增加了一大堆新功能。这些方法包括处理 “基本”和“摘要”的身份验证 ;网络监听(Are you an HTTP 418?);以及执行常见请求的任务,如 等待DOM的更新 ,或提供查看Javascript错误的方法。

我们以一种与现有api相适应的方式添加了这些新特性。没有必要重写您的测试:只要在您觉得合适的时候使用新特性即可。

我们还重建了Selenium Grid,借鉴了Zalenium和Selenoid等成功项目的经验,以增强其能力。这个新的Grid就像在传统的 Hub 和 Node 配置中一样,可以在单台机器上运行单个进程,但它也支持完全分布式模式,用于运行Kubernetes的现代基础设施。它具有更好的内置安全性,因为我们知道保护Grid可能是一项困难的任务。在所有这些规模和大小,我们添加到语言绑定的所有新特性都将按照预期工作。

Grid还可以管理本地机器上的Docker容器,拉出独立的firefox服务器之类的图像,这样您的基础设施维护就会稍微轻松一些。

最后,Grid更容易管理。我们修改了UI,将其置于GraphQL模型之上,任何人都可以自由查询并使用它来创建自己的Grid可视化或监视器。如果您想查看正在运行的会话,可以打开并与之交互的实时VNC(虚拟网络计算机)预览,从而更好地了解正在发生的事情。如果你想要更多的信息,我们已经在网格中集成了对OpenTelemetry的支持,所以现在你可以确切地知道发生了什么,在哪里,什么时候。