#7

使用 Pinky 在 iPhone 上操作微信,完成“搜索联系人并发送文字消息”时,遇到了以下问题。最终任务成功完成。

Openrazeenchengopened 11h ago

What happened, or what would make Pinky better?

使用 Pinky 在 iPhone 上操作微信,完成“搜索联系人并发送文字消息”时,遇到了以下问题。最终任务成功完成。

环境:macOS + iPhone + 微信,通过 ChatGPT 调用 Pinky。

1. “微信”被错误匹配为“微信读书”

连接时指定:

{"apps":["微信"],"task":"打开微信并发送消息"}

随后通过微信的准确 Bundle ID 启动:

{"app":"com.tencent.xin"}

返回:

error: scope_denied · rule: Task apps
WeChat is not in this task's app list
(微信, com.tencent.weread, 微信读书).
Nothing was done.

可以看到,任务范围中的“微信”被关联到了 com.tencent.weread,导致真正的微信 com.tencent.xin 被拒绝打开。

临时解决方法:释放连接,重新使用 apps:["com.tencent.xin"] 连接,之后可以正常打开微信。

期望:准确区分“微信”和“微信读书”;名称存在歧义时返回候选应用供选择。

2. 首次连接返回的屏幕信息不完整

首次 phone_connect 返回 settled,并将当前应用标记为 WeChat,但屏幕内容只有一条充电状态 OCR,没有可操作的界面元素。

后续重新连接时可以正常返回主屏幕元素。

期望:进一步检查当前应用与屏幕内容是否一致;如果屏幕暂时不可操作,返回更明确的状态。这里只记录现象,尚未确定原因。

3. 部分简单操作耗时较长

本次工具调用的端到端耗时中:

  • 点击聊天列表:约 20.5 秒。
  • 点击搜索按钮:约 21.7 秒。
  • 在搜索框输入联系人名称:约 9.6 秒。

其他部分操作约 4 秒完成,耗时差异比较明显。

期望:检查是否存在等待界面稳定、获取元素树或 OCR 带来的额外延迟;也希望能区分各阶段耗时,方便定位。

4. 聊天列表返回重复元素

进入聊天列表后,同一条消息摘要和对应日期多次以不同 ref 重复出现。部分列表元素的坐标还落在屏幕顶部导航区域附近。

这次没有因此误操作,但增加了判断当前可见内容和选择目标的难度。

期望:检查元素树是否包含重复节点或屏幕外节点,并明确标记其可见性。

Pinky and system

Pinky 2026.1108.14 · macOS 15.8.1 · arm64

Diagnostics

Pinky 2026.1108.14 · macOS 15.8.1 · arm64 · go1.27.3
Usage statistics and crash reports: on
Settings: preset 2 · read-only off · unlock from computer on · hide codes on · record on · keep 30 days · remote agents off · developer mode off
Video: libavcodec 63.1.102 (/Applications/Pinky.app/Contents/Frameworks)

Phones (1):
  ios 26.7.1 · iPhone 16 Pro · wifi · wda · offline

Activity

2
DIYgod10h ago

谢谢这么详细的记录,四个问题都写得很清楚,我逐个看一下。

DIYgod9h ago

四个问题都看过了,2026.1108.23 里修了一部分:

  1. 「微信」打开成微信读书:iPhone 上现在按主屏幕上显示的名字找 App,任务里写「微信」会打开微信。只和别的 App 名字部分重合的名字,也不会再随便打开其中一个,Agent 会收到可能是哪几个 App 的提示。
  2. 第一次连接时屏幕只有一条 OCR:加了锁屏的兜底,通过 WebDriverAgent 连接的 iPhone 锁着时,不会再被当成一个空白屏幕的 App。
  3. 点聊天列表、搜索各要约 20 秒:这个还没定位到,新版加了耗时日志。方便的话升级到 2026.1108.23 后再复现一次,然后在「帮助 › 发送反馈…」里勾上「附上诊断信息」发来。
  4. 聊天列表元素重复、部分坐标落在导航栏:已修,列表不会再重复每一行的文字,也不会列出藏在导航栏下面的行。

谢谢这么细的记录!