RPA流程机器人

本页目录

浏览器控件

更新时间:2024-12-23 10:20:28

1. playwright

官方文档地址:https://playwright.dev/

1. 打开链接

(1)功能介绍

此控件用于打开指定的浏览器并在浏览器中打开指定 URL 的页面。

(2)属性列表

属性 参数方向 是否必填 说明 默认值
超时时间 输入 打开页面的超时时间,如果超过超时时间页面还未加载完成则抛出异常 30000
是否无头模式 输入 是否以无头模式打开浏览器 False
是否显示开发者窗口 输入 是否打开浏览器的开发者窗口 False
窗口大小 输入 打开的浏览器大小
缓存存放路径 输入 浏览器缓存的路径,用于保存用户的登录信息
链接地址 输入 打开链接地址
浏览器路径 输入 本地 exe 文件路径,不填则默认打开 Edge 浏览器
下载路径 输入 浏览器下载文件时的中转目录
页面标记 输入 自动生成也可以手动修改,用于切换 tab

开启浏览器插件,实现浏览器元素采集功能,

  1. 需要在打开链接组件中配置插件名称,这里填写插件文件所在的目录(在 RPA 的安装目录下的 Extension\chrome\chrome_extension 中)D:\Program Files\UERPA\Extension\chrome\chrome_extension
  2. 是否隐私模式取消选中
  3. 配置浏览器缓存路径(配置一个空的目录,比如:D:\ProgramData\browser)

经过上面的配置之后,执行工作流,在打开的浏览器中可以看到插件已经启动。

点击管理扩展程序,开启开发者模式,并将改插件启用,并复制插件 ID

在 RPA 主界面中点击设置,将上一步中的插件 ID 写入 chrome 插件 ID 对于的输入框中,点击后面的保存按钮,然后点击确定。然后重启 RPA,后面就可以使用采集功能了。

2. 连接浏览器

(1)功能介绍

此控件用于连接一个已调试模式打开的浏览器,并实现对该浏览器的控制。

2)属性列表

属性 参数方向 是否必填 说明 默认值
浏览器调试端口 输入 浏览器以调试模式打开时开启的远程调试端口 9222

(3)示例

使用该组件前首先要确保浏览器已经以调试模式打开,可以配合执行代码组件一起使用。

执行代码组件的语言选择 PowerShell,脚本的内容为:

& "C:\Program Files (x86)\Microsoft\Edge\Application\msedge.exe" --remote-debugging-port=9222 --user-data-dir="D:\UERPA_TEMP"

3. 关闭浏览器

(1)功能介绍

此控件用于关闭打开的浏览器页面,如果浏览器缓存地址参数不为空,则将浏览器相关信息保存至本地,如果需要一个干净的浏览器环境,建议在打开链接组件前先调用一下关闭浏览器,这样就不会复用之前打开的浏览器。

(2)属性列表

属性 参数方向 是否必填 说明 默认值
浏览器缓存地址 输入 本地存放 storage 路径

(3)示例

4. 鼠标操作

(1)功能介绍

此控件用于在浏览器中使用鼠标操作。

(2)属性列表

属性 参数方向 是否必填 说明 默认值
左右滚轮操作 输入 像素水平滚动距离,正数表示向右滚动,负数表示向左滚动
上下滚轮操作 输入 像素垂直滚动距离,正数表示向下滚动,负数表示向上滚动
是否使用滚轮操作 输入 是否使用滚轮操作
是否单击 输入 是否进单击,配合 X、Y 字段
是否双击 输入 是否双击,配合 X、Y 字段
是否进行 mouseup 操作 输入 是否进行 mouseup 操作
是否进行 mousedown 操作 输入 是否进行 mousedown 操作
是否进行 mousemove 操作 输入 是否进行 mousemove 操作,配合 X、Y 字段
鼠标键类型 输入 默认“LEFT”,表示鼠标左键,还有 RIGHT、MIDDLE
点击次数 输入 点击次数
移动步数 输入 与 Move 配合,默认 1
X 坐标 输入 X 坐标
Y 坐标 输入 Y 坐标

5. 键盘操作

(1)功能介绍

此控件用于在浏览器中使用键盘操作。

(2)属性列表

属性 参数方向 是否必填 说明 默认值
按键名称 输入 按键值例如 ctrl
是否按下 输入 是否进行键盘按下操作,与 key 配合
是否输入文本 输入 是否进行文本输入操作与 Text 配合
是否按下并释放 输入 是否进行 press 操作,与 key 配合
是否进行键入值 输入 是否进行键入值操作,与 key 配合,键入 key
是否释放 输入 是否进行 keyup 操作,与 key 配合
T 输入文本 输入 输入文本值
延时时间 输入 延时时间

常用的按键如下:

F1 - F12, Digit0- Digit9, KeyA- KeyZ, Backquote, Minus, Equal, Backslash, Backspace, Tab, Delete, Escape, ArrowDown, End, Enter, Home, Insert, PageDown, PageUp, ArrowRight, ArrowUp

6. 页面操作

  1. 切换 Tab

(1)功能介绍

此控件用于浏览器多 tab 页面之间句柄切换。

(2)属性列表

属性 参数方向 是否必填 说明 默认值
页面标记 输入
页面链接 输入

(3)示例

两个参数,填写其中一个,用在打开的页面中找到指定的 Tab 并激活。RPA 打开的页面可以设置页面标记,可以通过设置该标记来切换,对于点击链接浏览器自动打开的页面,则没有标记,需要使用页面链接的属性找到该页面,只要页面的 Url 包含页面链接的内容,就可以对应到该页面,例如页面的 Url 为https://rpaservice-test.chinaums.com/rpa-console/login.html, 则页面链接的属性可以填写"rpa-console/login.html", 但是要确保打开的页面中只有一个页面的Url包含"rpa-console/login.html"。

2. 关闭Tab

(1)功能介绍

此控件用于关闭当前激活的 Tab。

3. 刷新页面

该控件用于页面刷新

4. 新建 Tab

(1)功能介绍

此控件用于在浏览器中打开新的 tab 页面。

(2)属性列表

属性 参数方向 是否必填 说明 默认值
超时时间 输入 打开页面的超时时间,如果超过超时时间页面还未加载完成则抛出异常 30000
缓存存放路径 输入 如果需要则填入
链接地址 输入 打开链接地址
页面标记 输入 自动生成也可以手动修改,用于切换 tab

5. 弹窗处理

(1)功能介绍

用于监听浏览器的原生提示框,并实现按钮点击的,此外,也可以编写弹窗出发后的逻辑。

(2)属性列表

属性 参数方向 是否必填 说明 默认值
页面标记 输入 对弹框的内容进行匹配,如果匹配则执行下面的点击操作
点击是否 输入 匹配后点击是还是否

(3)示例

6. 存储浏览器信息

该控件用于存储浏览器缓存信息到本地,主要用于下次用户自动登录。

7. 监听网络响应

(1)功能介绍

此控件用于监听浏览器发送的http请求,并获取响应

(2)属性列表

属性 参数方向 是否必填 说明 默认值
内容响应结果 输出 请求的响应内容,Dictionary<string,string>
网络响应码 输出 请求的响应内容,Dictionary<string,IResponse>
等待超时时间(ms) 输入 等待超时时间 1000
需要监听的URL列表 输入

(3)使用说明 执行逻辑里面放置用来触发网络请求的操作,例如下面的截图,点击查询用来触发请求

8. 发送HTTP请求

(1)功能介绍

此控件用于使用浏览器当前的上下文信息发送http请求,并获取响应

(2)属性列表

属性 参数方向 是否必填 说明 默认值
响应结果 输出 请求的响应内容,字符串
响应码 输出 响应的Http状态码
超时时间(s) 输入 Http的超时时间 30
请求参数 输入
请求地址 输入
请求方法 输入
请求体类型 输入
请求头 输入

(3)使用说明

如果是Get请求,请求体类型选择Param,请求参数中的信息会拼接到请求地址上面,对于Get请求,可以直接将请求参数拼接到请求地址上面,也可以将请求体类型设置为Param,然后设置请求参数

7. 元素操作

1. 元素操作

(1)功能介绍

此控件用于操作浏览器页面元素,实现元素的点击、输入、获取文本以及元素位置的功能。

(2)属性列表

属性 参数方向 是否必填 说明 默认值
Iframe 地址 输入 如果页面元素包含 iframe,可以使用 iframeURL 筛选
Iframe 名称 输入 如果存在 iframe 的 name,可以进行筛选
Iframe 索引 输入 如果知道 iframe 的索引,可以进行筛选
元素选择器 输入 元素选择器,支持 css 选择器和 xpath 选择器
元素索引 输入 元素索引 -1
元素是否存在 输出 定义参数接收该 bool 值可以判断该元素是否存在,需要将元素不存在是否报错设置为 False
元素数量 输出 输出当前元素选择器找到的元素数量
是否点击 输入 是否执行点击事件
是否获取元素坐标 输入 是否获取元素坐标,如果填 True,则会去获取元素在页面中的坐标,可以配合鼠标操作使用
是否清空输入框 输入 是否清空输入框的内容,如果是,则会清空输入框,否则不会
输入内容 输入 用于 input 框值输入
元素不存在是否报错 输入 默认 true,当找不到元素时是否报错,如果不想报错,可设置为 False
是否获取元素文本 输入 是否要获取元素的文本内容
元素文本 输出 是否获取元素文本为 true 时,输出元素文本
元素高度 输出 输出按钮的高度,需要将是否获取元素坐标属性设置为 True
元素宽度 输出 输出按钮的宽度
元素 X 坐标 输出 输出按钮的 X 坐标
元素 Y 坐标 输出 输出按钮的 Y 坐标

2. 查找元素

(1)功能介绍

此控件用于查找浏览器中的页面元素。

(2)属性列表

属性 参数方向 是否必填 说明 默认值
Iframe 地址 输入 如果页面元素包含 iframe,可以使用 iframeURL 筛选
Iframe 名称 输入 如果存在 iframe 的 name,可以进行筛选
iframe 索引 输入 如果知道 iframe 的索引,可以进行筛选
选择器 输入 元素选择器,支持 css 选择器和 xpath 选择器
索引 输入 选择元素的索引,-1 表示不指定 -1

该组件用于和其他组件配合使用,该组件负责定位页面元素,会向其内部组件中传递一个 item 变量,这个变量代表查询到的页面元素对象。该组件可以和元素截图和设置下拉框值的组件一起使用。

3. 查找 Frame

(1)功能介绍

此控件用于查找页面中 Frame。

(2)属性列表

属性 参数方向 是否必填 说明 默认值
地址 输入 iframe URL 地址
Iframe 名称 输入 iframe 的 name
父 Iframe 输入 本 Iframe 的父 Frame
索引 输入 iframe 的索引
查找到的 Frame 输出 查询到的 Frame 数据
4. 获取元素属性

(1)功能介绍

用于对页面元素的属性值进行获取。和查找元素组件一起使用

(2)属性列表

属性 参数方向 是否必填 说明 默认值
元素属性值 输出 元素属性的值
元素属性名称 输入 网页元素的属性名称
目标对象 输入 待获取元素属性的网页元素,一般由查找元素组件提供 item

(3)示例

获取元素 name 属性的值

5. 修改元素属性

(1)功能介绍

用于对页面元素的属性值进行修改或删除。和查找元素组件一起使用

(2)属性列表

属性 参数方向 是否必填 说明 默认值
是否删除元素属性 输入 勾选是的话,可以删除网页元素对应的属性 false
目标对象 输入 待获取元素属性的网页元素,一般由查找元素组件提供 item
修改元素属性的属性值 输入 需要修改的元素属性值
元素属性名称 输入 网页元素的属性名称

(3)示例

6. 获取元素 Input 值

(1)功能介绍

用于对页面 Input 框类型的元素进行的值获取。和查找元素组件一起使用

(2)属性列表

属性 参数方向 是否必填 说明 默认值
Input 值 输出 元素属性的值
目标对象 输入 待获取元素属性的网页元素,一般由查找元素组件提供 item

(3)示例

7. 元素截图

(1)功能介绍

用于对页面元素进行截图。

(2)属性列表

属性 参数方向 是否必填 说明 默认值
base64 内容 输出 截图的 base64 格式的输出
二进制内容 输出 截图的二进制内容输出
存储路径 输入 截图的保存路径
目标对象 输入 待截图的网页元素,一般由查找元素组件提供 item

(3)示例

8. 文件下载

(1)功能介绍

此控件用于实现浏览器下载文件的功能。

(2)属性列表

属性 参数方向 是否必填 说明 默认值
Iframe 地址 输入 如果页面元素包含 iframe,可以使用 iframeURL 筛选
Iframe 名称 输入 如果存在 iframe 的 name,可以进行筛选
索引 输入 如果知道 iframe 的索引,可以进行筛选
选择器 输入 元素选择器,支持 css 选择器和 xpath 选择器,例如".x-panel-bl >> .x-toolbar-left-row >> .x-btn-text-icon:has-text('导出')"
文件路径 输入 文件导出的路径

9. 文件上传

(1)功能介绍

此控件用于实现在浏览器中完成文件上传功能。

(2)属性列表

属性 参数方向 是否必填 说明 默认值
Iframe 地址 输入 如果页面元素包含 iframe,可以使用 iframeURL 筛选
Iframe 名称 输入 如果存在 iframe 的 name,可以进行筛选
索引 输入 如果知道 iframe 的索引,可以进行筛选
选择器 输入 元素选择器,支持 css 选择器和 xpath 选择器
文件路径 输入 上传文件的路径
元素高度 输出 输出按钮的高度
元素宽度 输出 输出按钮的宽度
元素在窗口中的 x 坐标 输出 输出按钮的 X 坐标
元素在窗口中的 y 坐标 输出 输出按钮的 Y 坐标

10.表格数据智能采集

此组件用于智能采集网络的表格类数据,并把结果保存至DataTable中。

11.执行JS

(1)功能介绍

此控件用于在浏览器中执行 js 代码

(2)属性列表

属性 参数方向 是否必填 说明 默认值
输出结果 输出 Js 返回的值
JS 代码 输入 JS 代码块
参数 输入 参数数组,在代码中使用 array[0],array 为参数名字,+下标的方式获取对应的参数值

12.设置下拉列表值

(1)功能介绍

此控件用于设置页面 select 元素的值。和查找元素组件一起使用

(2)属性列表

属性 参数方向 是否必填 说明 默认值
选中标签列表 输入 选中的选择框 select 中的标签值
选中索引列表 输入 选中的选择框 select 中的索引值
选中值列表 输入 选中的选择框 select 中的值

8. 验证码识别

1.验证码识别

(1)功能介绍

此控件用于使用playwright打开的浏览器页面,识别图片验证码。

(2)属性列表

属性 说明
Iframe地址 如果页面元素包含iframe,可以使用iframeURL筛选
Iframe名称 如果存在iframe的name,可以进行筛选
Selector Playwright选择器,具体使用方式可以参考playwright官方文档,例如".x-panel-bl>> .x-toolbar-left-row >> .x-btn-text-icon:has-text('导出')"
元素高度 输出按钮的高度
元素宽度 输出按钮的宽度
元素X坐标 输出按钮的X坐标
元素Y坐标 输出按钮的Y坐标
OcrResult 识别结果
OCR类型 默认是调用银商自研OCR识别接口,也可以输入”baidu”调用百度接口

2. 简单滑动验证码识别

(1)功能介绍

此控件用于使用playwright打开的浏览器页面,识别滑块验证码。

(2)属性列表

属性 说明
BoxSelector 滑块外层Box节点
Iframe地址 如果页面元素包含iframe,可以使用iframeURL筛选
Iframe名称 如果存在iframe的name,可以进行筛选
SilderSelector 具体滑块所在元素节点
MoveCount 滑块移动次数

3. 图片滑动验证码(目标匹配)

(1)功能介绍

此控件用于使用playwright打开的浏览器页面,识别目标匹配的滑块验证码。

(2)属性列表

属性 说明
Iframe地址 如果页面元素包含iframe,可以使用iframeURL筛选
Iframe名称 如果存在iframe的name,可以进行筛选
滑块元素标记 具体滑块所在元素节点
缺口元素标记 缺口元素标记
图片背景元素标记 图片背景元素标记

上图中1对应滑块元素标记,2对应缺口元素标记,3对应图片背景元素标记

9. 智能屏蔽弹框

RPA操作网页时,有时网站会弹出一些广告或警告弹框,会遮挡页面元素,造成RPA元素点击事件失败,当智能屏蔽开启时,结合元素操作组件点击使用, 会自动检测遮挡元素,并对遮挡元素屏蔽隐藏,从而减少未知弹框对流程的影响。

注意:智能屏蔽弹框只是消除弹框带来遮挡的影响,并不是关闭弹框。在运行过程中不要操作鼠标,以免影响程序识别遮挡元素。

1. 开启屏蔽弹框

(1)功能介绍

此控件用于开启自动屏蔽弹框处理。

(2)使用说明

此控件需要结合元素操作组件的点击来触发屏蔽遮挡元素。

注:此控件作用是全局的,在一个流程中执行开启后,其他流程不用重复开启。推荐在会出现弹框的步骤前开启,不需要时停止。

2. 停止屏蔽弹框

(1)功能介绍

此控件用于停止自动屏蔽弹框处理。

(2)使用说明

后续流程中无弹框或不需要屏蔽弹框时,执行此组件停止自动屏蔽弹框。

2. selenium

1. 打开链接

(1)控件功能

使用选择的浏览器类型打开指定的链接。是使用selenium组件驱动浏览器进行自动化操作的首要步骤,后续所有的自动化操作都是在打开的浏览器里面进行的。

(2)属性列表

属性名称 类型 方向 是否必填 默认值 说明
Edge安装路径 string 输入
Edge的IE模式 bool 输入 使用Edge的IE模式,浏览器类型选择IE
测试浏览器是否在线 bool 输入
浏览器标记 string 输入 随机字符串 支持打开多个浏览器,区分打开的浏览器
未处理的提示行为 string 输入 Ignore
自动关闭浏览器 bool 输入 执行完打开浏览器的所有内部逻辑后自动关闭浏览器
浏览器对象 IWebDriver 输出
超时时间 TimeSpan 输入 00:00:30 打开链接的超时时间
链接 string 输入
浏览器类型 string 输入 chrome

2. 刷新页面

1)控件功能

刷新浏览器当前打开的页面。

(2)属性列表

属性名称 类型 方向 是否必填 默认值 说明
Driver IWebDriver 输入 打开的浏览器对象

3. 关闭浏览器

(1)控件功能

关闭浏览器。

(2)属性列表

属性名称 类型 方向 是否必填 默认值 说明
Driver IWebDriver 输入 打开的浏览器对象

4. 元素截图

(1)控件功能

和查找元素配合使用,对找到的元素进行截图,并保存到指定的目录或者输出base64编码的字符串。

(2)属性列表

属性名称 类型 方向 是否必填 默认值 说明
图片(base64) string 输出 打开的浏览器对象
保存地址 string 输入 截图文件的保存地址
目标元素 ISearchContext 输入 element(0) 查找元素组件输出

5. 查找元素

(1)控件功能

根据css选择器或者xPath的信息,定位网页元素。

(2)属性列表

属性名称 类型 方向 是否必填 默认值 说明
是否点击 bool 输入 False 是否对元素执行点击操作
是否清空内容 bool 输入 False 是否对元素执行清空操作
输入内容 string 输入 "" 在元素中填写的内容
获取结果 ReadOnlyCollection<IWebElement> 输出 找到的网页元素对象
CSS选择器 string 输入
XPath string 输入
Driver IWebdriver 输入 打开的浏览器对象
父元素 ISearchContext 输入

6. JS编辑运行

(1)控件功能

在打开的浏览器中执行JS代码。

(2)属性列表

属性名称 类型 方向 是否必填 默认值 说明
Driver IWebdriver 输入 打开的浏览器对象
参数 Dict 输入 需要传递给脚本中的参数
代码 string 输入 要执行的js代码

7. 鼠标操作

(1)控件功能

在打开的浏览器中执行鼠标操作。

(2)属性列表

属性名称 类型 方向 是否必填 默认值 说明
Driver IWebdriver 输入 打开的浏览器对象
目标元素 ISearchContext 输入 element(0)
是否双击 bool 输入
是否移动 bool 输入
是否右键 bool 输入
< 上一篇:录制
下一篇: 数据库 >