设备驱动 API
触控与手势
驱动级点击、双击、滑动、整页滚动与逐字拟真输入
所有触控手势均通过 POST /gateway/skill/execute 统一接口下发。AI 手机内置系统级触控注入能力,不依赖无障碍辅助服务,指令直达物理屏幕,确保高稳定与长期运行不掉线。
常用手势速查
skill_id | 功能 | 参数说明 | 默认值 |
|---|---|---|---|
ui.tap | 单击坐标 | x, y, duration (按下时长 ms) | duration=150 |
ui.double_tap | 双击坐标 | x, y | 间隔 100ms |
ui.long_press | 长按坐标 | x, y, duration (长按时长 ms) | duration=1000 |
ui.swipe | 拟人化滑动 | x1, y1, x2, y2, duration (总时长 ms), steps (分步数) | duration=300, steps=10 |
ui.scroll | 页面滚动 | action ("PAGE_DOWN" / "PAGE_UP" / "LEFT" / "RIGHT") | PAGE_DOWN |
ui.input | 拟真文本输入 | text, clear (是否先清空), delay (输入延迟), x, y (可选自动获焦坐标) | clear=true, delay=150 |
control.key_event | 物理按键 | keyCode (4:返回, 3:Home, 187:多任务, 66:回车, 26:电源) | - |
坐标系规范:采用屏幕绝对物理像素坐标系,屏幕左上角为原点
(0, 0),右下角为(width, height)(如(1080, 2400))。可通过control.get_screen_info查询设备精确分辨率。
请求示例 (JSON Payload)
{
"device_id": "848bd13e2f9",
"skill_id": "ui.tap",
"params": {
"x": 540,
"y": 1200,
"duration": 100
}
}
{
"device_id": "848bd13e2f9",
"skill_id": "ui.swipe",
"params": {
"x1": 540,
"y1": 1600,
"x2": 540,
"y2": 400,
"duration": 350,
"steps": 12
}
}
{
"device_id": "848bd13e2f9",
"skill_id": "ui.input",
"params": {
"x": 540,
"y": 1200, // 传入坐标时,底层会先点击 (x,y) 获焦后再打字
"text": "浪花 AI 自动化运营助手!🚀",
"clear": true, // 输入前自动清空已有文本
"delay": 150
}
}
{
"device_id": "848bd13e2f9",
"skill_id": "ui.scroll",
"params": {
"action": "PAGE_DOWN" // 可选: PAGE_UP, PAGE_DOWN, LEFT, RIGHT
}
}
{
"device_id": "848bd13e2f9",
"skill_id": "control.key_event",
"params": {
"keyCode": 4 // 4 = KEYCODE_BACK (返回键)
}
}
底层边界保护:
- 防止误触状态栏:
ui.swipe底层内置安全垫片,若起始坐标y1 < 150,系统会自动钳制为y1 = 150,杜绝滑动误下拉系统通知栏。 - 拟人化自然按键流:
ui.input支持 60~150ms 随机微延迟输入,模拟真实自然打字节奏,提升在第三方商业应用中的交互平滑度与兼容性。