图像识别类
使用图像识别类操作注意事项与教学。
注意事项
Sonic 目前使用的图像库基于 sonic-vision-core 建设。如果您的图像类操作报类似丢失依赖的错误,请检查 Agent 的 jar 包与您的平台是否匹配。
注意
已知部分Mac arm64系统使用该功能会出现问题,可以尝试下载 Mac x86_64 的 Agent 并将 Mac x86_64 的jar替换原本的 arm64 jar(只替换jar即可,无需替换plugins下的二进制文件,否则plugins下的插件因没有对应系统架构而使用失败)
图片点击
使用图片点击时,需确保:
- 图片足够复杂,不是单一简洁图片,越复杂识别精确度越高。
- 该图片后续变动不大,仅仅可能有位置变动。
使用方法:
- 可以直接在【控件元素】页面获取当前实时控件树,在对应控件详细信息使用【控件快照】保存控件的截图信息。
- 选择【图片点击控件】步骤,选择对应控件即可。
- 如果为自定义截图信息,可以直接前往控件元素页面自行上传图片,然后添加到项目中。
效果如图:
默认图像识别算法顺序
SIFT 算法 -> AKAZE 算法 -> 模版匹配方法
相似度匹配
即断言对应图片与当前设备截图的相似程度。如果不在期望范围内,将抛出异常。