如何使用RPA捕获控件-图像识别方式_机器人流程自动化(Robotic Process Automation)-阿里云帮助中心

一般在遇到无法通过捕捉控件进行捕获的情况下才会考虑使用图像录制来解决相关操作，例如阿里钉或者是使用canvas自绘的应用等。

案例介绍

本案例主要展示在阿里钉中，通过图像录制的方式来实现给指定的人员发送信息。

案例实现

1.打开捕捉控件，选择图像录制模式，录制阿里钉的搜索框。

2.点击录制的搜索框。

3.输入需要发送信息的人员名称然后回车。

4.图像录制需要发送信息内容位置，并将锚点移动到内容输入空白区域，如图所示：

5.点击信息内容输入框。

6.输入发送内容，并回车。

示例代码

from rpa.core import *
from rpa.utils import *
import rpa4 as rpa # 使用V4引擎

def start():
    # 在此处开始编写您的应用
    rpa.ui.image.click('搜索框', button='left', index=1, offset_x=0, offset_y=0)
    rpa.ui.image.input_text('搜索框','我')
    sleep(1)
    rpa.ui.win32.send_key('{ENTER}')
    sleep(1)
    rpa.ui.image.click('输入发送内容', button='left', index=1, offset_x=0, offset_y=0)
    rpa.ui.image.input_text('输入发送内容','测试')
    sleep(1)
    rpa.ui.win32.send_key('{ENTER}')
    pass