不用越狱、不在iPhone安装App,开源项目Poki让AI直接操作你的iPhone
contact@theblockbeats.org (律动BlockBeats)
动察 Beating AI 快讯,开发者 Joseph Zhou 开源了 Poki,让 Codex、Claude Code 等 AI Agent 直接操控真实 iPhone。
现在已经有不少 iPhone Use 项目,有的通过 XCTest/WDA 安装测试程序,有的依靠外接硬件模拟操作。
Poki 采用了另一条路线:直接调用苹果的设备开发者服务,读取 iPhone 原生无障碍控件树,获取按钮、文字和位置,再向手机发送点击、滑动、输入甚至双指缩放等指令。
这样 AI 不必每一步都靠截图猜坐标,也不用在 iPhone 上安装测试程序。首次通过 USB 配对后,还能在同一局域网内无线操作。
除了通过 MCP 接入 Codex、Claude Code,Poki 还自带运行在 Mac 上的 Agent,可以通过终端或 iMessage 下达任务。它能记住成功执行并验证过的操作流程,下次遇到相同任务时直接复用,部分任务甚至不需要再次调用模型。不过,Mac 仍需保持运行。
真机操作目前还比较慢。作者在一台运行 iOS 27.3 的 iPhone 上测试,针对聊天 App 中一个搜索框,文字点击连续 12 次全部生效,但单次约需 8 秒;填写输入框约需 15 秒,部分按钮仍然无法正常点击。
Poki 的优势是能直接读取系统控件,支持无线操作和多点触控,但需要完整 Xcode、开发者模式及 UI Automation。底层依赖苹果的开发者接口,未来系统升级也可能影响兼容性。