进阶必备：超热门的自动化测试技术知多少

摘要：Sikuli是MIT的研究人员设计的一种新颖的图形脚本语言，计算机用户只需有最基本的编程技能（比如会写print “hello world”），他不需要去写出一行行的代码，而是用屏幕截图的方式，用截出来的图形元素组合出程序。

Sikuli简介

Sikuli是MIT的研究人员设计的一种新颖的图形脚本语言，计算机用户只需有最基本的编程技能（比如会写print “hello world”），他不需要去写出一行行的代码，而是用屏幕截图的方式，用截出来的图形元素组合出程序。

Sikuli的前世今生

Sikuli（在墨西哥维乔印第安人的语言里是“上帝之眼”的意思）是由美国麻省理工学院开发的一种最新编程技术，使得编程人员可以使用截图替代代码，从而简化代码的编写流程。

从研究方向上看，它是一种编程技术，但是该技术还可以用于进行大规模的程序测试，而其脚本程序编写使用的是Python语言。

Sikuli最初是一个在麻省理工学院（MIT），使用开放源码进行用户界面设计组织的研究项目。现在是由在美国科罗拉多州博尔德大学（CU-Boulder）的Sikuli实验室运营，并保持与开源社区开发的进一步协调。

这部分是基于MIT Sikuli许可证发布的，并由美国国家科学基金会奖项（IIS-0447800）支持的TParty项目。

目前其官网更新为http://www.sikulix.com/，软件也更名为Sikuli X，但在诸多下载站点上，依然可以下载到其历史版本。

Sikuli和Sikuli X虽然是一个软件的不同演进版本，但是其主要核心功能还是一致的。

Sikuli-IDE和Sikuli Script就是现在的Sikuli X，最新版本是SikuliX2.0.5，部分兼容Sikuli JAVA API，支持Python和Ruby，Sikuli使用图像识别方法来识别GUI元素，将屏幕上看到的一切自动化。

Sikuli脚本允许用户使用屏幕截图来自动化GUI交互，通过定位图像和键盘鼠标来操作GUI，能很好的实现桌面类应用的自动化，目前暂不支持移动端的使用。

Sikuli的下载与安装

Sikuli的下载

Sikuli只有32位的版本，为了运行正常，需要确保满足以下条件：

1.安装java6/JRE32位版本（目前不支持java7或者64位JRE）；

2.已经卸载之前的Sikuli版本（尤其是0.10.x版本）；

3.安装JRE或卸载旧版本的Sikuli后，系统已经重新启动。

Sikuli X则是只支持64位操作系统，支持的操作系统和注意事项如下：

1.WindowsXP、7、8、10（其中Win10版本还在开发中）；

2.Mac OSX 10.10及以后版本（其中Mac OS 10.15版本在开发中）；

3.Linux/Unix的可用性则取决于前置条件；

4.移动操作系统（安卓、iOS等）目前不支持本地模式（VNC解决方案可能可以适用）。

Sikuli的安装

将下载好的安装文件双击运行安装，程序不大，比起QTP等大型工程工具，几乎可以直接忽视了。目前它已经改名为Sikuli X，为了方便起见，我们依然称之为Sikuli。

需要注意的是，因为不是商业软件，所以提供的安装文件版本有可能会早于下载包的打包时间，所以必要的话，可以将下载下来的zip包解压，得到一个SIKULI-IDE的目录，再将SIKULI-IDE目录下的所有文件替换Sikuli X下的所有文件。

这可以用于修复最新的bug，可以作为应急处理。如果条件允许，还是使用最新版本的文件进行安装最为妥当。

安装完成后安装目录下应该有5个文件：runsikulix.cmd、sikulix.jar、SikuliX-x.x.x、SetupLog.txt、sikulixapi.jar、sikulixsetup-x.x.x.jar。

其中sikulixsetup-x.x.x.jar是安装包（x.x.x是版本号），runsikulix.cmd用来启动SikuliIDE，sikulix.jar是IDE需要的jar包，SikuliX-x.x.x-SetupLog.txt是安装日志（x.x.x是版本号），sikulixapi.jar是Java API。

Sikuli的界面介绍

菜单栏和工具栏

屏幕截图：该状态下，完成对于弹出菜单、下拉框一类的控件的实时截图。

拖拽鼠标光标选取需要截取的界面元素，释放鼠标左键的同时，自动将该截图插入到编辑区中光标当前位置。快捷键Ctrl+Shift+2。

插入图片：除屏幕实时截图外，用户也可通过点击该按钮导入已有的图片文件。

建立屏幕区域：该状态下，拖拽鼠标光标定位线框选屏幕区域。释放鼠标左键，即可将当前选中区域的屏幕坐标信息插入到编辑区中。

运行：点击执行当前脚本。快捷键为Ctrl+R。

慢速运行：点击后以较慢的速度执行当前脚本，以红色外框标识每次图像查找定位，便于程序调试中进行焦点追踪。快捷键为Ctrl+Alt+R。

左侧边栏中分类列出了部分常用函数，点击函数名可快速将其插入到编辑区，若该函数需截图作为参数，则自动转入屏幕截图状态。

下方的状态栏可用于查看当前行号，与行首Tab缩进的层级。

右边区域上半部分为脚本编辑区域，测试脚本就是在这个区域编写，并且以原有效果呈现。下半部分为提示信息，会给出相应运行结果的提示信息。

Sikuli语法示例

Sikuli的语法很简单，代码也非常易懂，在了解Sikuli的界面之后，下面给出几个自动化的小例子（官方的小例子为开始运行里输入”hello world”）。

s这是一个运行在Windows平台的实例，根据代码关键字，基本上就可以了解这是一个打开Lotus邮箱，并且进行登录的脚本。

这是一个运行在MacOS中，进行日常清洁任务的脚本。

通过以上两个脚本，可以很清晰地梳理出Sikuli脚本的用途和每句的含义，尽管如此，还是有一些基本的语法需要进行了解和学习的，特别是Sikuli的脚本风格与Python十分相似，所以一定的脚本语言基础，对于掌握Sikuli是十分有帮助的。

Sikuli常用方法

1)创建Screen类对象

Screen是由Sikuli提供的一个基类。需要首先创建该Screen类的对象，才可以访问所有Sikuli提供的方法。

语法：Screen s=new Screen();

2)单击一个元素

此方法用于点击屏幕上的特定图像。

语法：s.click(“<>”);

例：s.click（“test.png”）;或者s.click（

）

这里需要注意，在对象页面中，test.png和上文的示例图片应该是对应的，或者该图片是唯一的，这样可以迅速定位元素。

3)右键单击一个元素

此方法用来右键点击屏幕上的特定图像。

语法：s.rightClick(“<>”);

例：s.rightClick(“test.png”);或者s.rightClick（

）

4)查找元素

此方法用于查找屏幕上的特定元素存在。

语法：s.find(“<>”);

例：s.find（“test.png”）; 或者s.find（

）

5)双击一个元素

此方法用于触发屏幕上特定图像的双击事件。

语法：s.doubleClick(“<>”);

例：s.doubleClick（“test.png”）;或者s.doubleClick（

）

6)检查元素是否在屏幕上显示

这个方法是用来检查指定的元素是否存在于屏幕上。

语法：s.exists(“<>”);

例：s.exists（“test.png”）; 或者s. exists（

）

7)在文本框输入一个字符串

这种方法是用来在文本框输入指定的文本。

语法：s.type(“<>”,”String to be typed”);

例：s.type（“test.png”，“HI！！”）;

8)旋转指定的图像

这个方法是用来对图形元素进行旋转操作。

语法：s.wheel(“<>”,<>,<>);

例：s.wheel（“test.png”，25,0）; 或者s. wheel（

，25,0）

9)拖放图片

这个方法是用来将图片从源位置拖放到目标位置的。

语法：s.dragDrop(“<>”,”<>”);

例：s.dragDrop（“test.png”，“test1.png”）;或者s.dragDrop（

，

）

10)特定图像的滚动鼠标悬停

这个方法是用来对特定图像进行滚动悬停事件。

语法：s.hover(“<>”);

例：s.hover（“test.png”）;或者s.hover（

）

11)粘贴复制的字符串

这个方法用来在指定的文本框中粘贴文本。

语法：s.paste(“<>”,”test”);

例如：s.paste（“test.png”，“测试”）;或者s.paste（，“测试”）

Sikuli语法

如果命令由两个词语组成，那么第二个词的首字母要大写。上文已经体现出来这样的原则，在编写脚本时要注意。

Sikuli的脚本编写遵循Python语法规范，其本身提供了多种自定义类和自定义方法，与Sikuli基于Jython，其核心代码由Java编写，可在用户自定义的Java工程中将其作为Java标准类库进行引用。

复杂的脚本需要读者在日后的学习和练习场景中逐渐摸索和实践。到这里可以看出Sikuli语言是将标定元素用图片或者截图的方式进行显示和定位，其基本的框架依然是基于Python语言，所以针对Sikuli语言的学习，依然要基于脚本语言。

Sikuli实例

在了解了语法之后，可以试着在Sikuli X的界面中写出自己的实用例子。本文以在Windows11系统使用Edge浏览器打开51testing网站为例，进行实例说明。

脚本如下，每步给出了注释：

以上就是打开51testing网站并进行登录的Sikuli脚本，按照动作和显示的不同，用户还可以选择不同的断言标志或者定位元素。

同样的，将Sikuli脚本作为含有图形的脚本语言进行调试，更有助于加深理解。

Sikuli的扩展

Sikuli脚本可以很容易地与Selenium WebDriver整合，来自动化有Flash的网站。可以自动的与Windows以及其他的应用程序兼容。

因为其使用的视觉匹配，因此可以自动化几乎所有我们在屏幕上看到的东西。它还提供了对Flash对象的广泛支持。

也就是说， Adobe Flash播放器的组件可以被自动化，包括音频播放器，视频播放器等。

Sikuli脚本可以被创建为Maven项目，还可以从命令提示符下运行。

因此，Sikuli是最友好的自动化工具，用来自动化富有挑战性的Flash和Windows应用程序，故在自动化测试中，Sikuli语言是可以作为自动化测试利器的，可以避免复杂甚至繁琐的UI元素定位，从而提高自动化测试的准确性和效率。

较为复杂的Sikuli实例是通过和Eclipse和Maven的配合进行的，但因为需要有较多的设置配置和调试内容，限于篇幅，本文暂不做介绍，待以后作为进阶内容说明。

本次以简单场景为例，说明Sikuli的用法。希望以此抛砖引玉，使得读者对于Sikuli语言有初步而全面的认知，以更好地掌握其用法，使得在软件测试工作中发挥更大的作用。