Source: https://doi.org/10.1145/3368089.3409691
Authors: Jieshan Chen, Mulong Xie, Zhenchang Xing, Chunyang Chen, Xiwei Xu, Liming Zhu
Download Note: https://jbox.sjtu.edu.cn/l/H1d8nr
Contributor: zyt
Overview
Android应用的UI检测工作对于前端代码自动生成，Android自动化测试等软件工程任务有重要的应用价值，现有的UI检测工具大多基于计算机视觉领域中目标检测的研究成果，包含传统图像方法（Canny边缘检测等）以及深度学习方法。但UI检测与传统的目标检测有很多特征上的差异，例如：一个UI元素中往往混合着图标、图片、文字等信息，而它们必须要作为一个整体被识别出来；UI检测对包围盒的精度要求很高，而传统的目标检测则对精度要求相对较低。现有的工作并未将这些因素纳入考量，因此检测结果较差。
本文针对这种现象，提出了一种新的UI检测方法，其采用传统图像方法，利用Android UI的图像特征，通过区块划分的方式确定UI的范围，并利用ResNet50网络进行UI的分类。通过在25000个GUI图像上进行对比测试，证明了该方法在文本UI和非文本UI上的F1-Score都优于之前的方法，为Android UI检测提供了新的思路。