手机Agent的集大成者来了?DIYgod开源Pinky,把iPhone和安卓都交给AI
contact@theblockbeats.org (律动BlockBeats)
动察 Beating AI 快讯,RSSHub 作者 DIYgod 开源了 Pinky,让 Codex、Claude Code 等 AI Agent 直接操作真实的 iPhone 和安卓手机。电脑端支持 Mac、Windows、Linux,通过 MCP 接入后,AI 就能查看屏幕、打开 App、点击、滑动和输入文字。
之前介绍过不少 iPhone Use 项目,有的依靠 XCTest/WDA 测试接口,有的通过蓝牙模拟键鼠,还有的需要外接硬件。Pinky 把多种技术路线整合进了同一套桌面工具。
安卓端采用 ADB + scrcpy,配合可选的无障碍辅助应用读取界面控件。Android 13 及以上还能创建一块隐藏的虚拟屏幕,让 AI 在后台操作 App,用户照常使用手机。这部分和此前介绍的 Mika 比较接近。
iPhone 则根据系统版本选择不同方案。iOS 27 及以上直接调用苹果 CoreDevice 开发者协议,读取界面、发送触控指令,不需要安装测试程序,技术路线接近 Poki。iOS 17.4 至 26 仍然依赖 WDA,需要通过 Xcode 签名安装。
Pinky 还专门解决了 AI 误操作的问题。它会识别「付款」「转账」等敏感按钮,在真正点击前暂停,等用户手动批准。60 秒没有确认就拒绝执行,批准后还会重新检查界面,防止金额或按钮发生变化。发消息、删除内容也能设置成先问。
这套审批写在控制程序里,不依赖模型遵守提示词。银行、钱包、密码管理器默认对 Agent 隐藏,密码和验证码输入框也禁止自动填写。用户随时可以接管操作,每一步都有录屏,记录保存在自己的电脑上。
项目:https://github.com/DIYgod/pinky