港大开源的 OpenPhone，让 AI 学会像人一样操作手机

hi～我是晓来！

AI 能力目前越来越强了，那么越来越多人肯定希望 AI 不只是回答问题，而是真正协助自己操作手机，列如打开 App、填写信息、完成一系列复杂操作

所以，要让 AI 真正成为「手机助手」，仅能看懂屏幕还不够，它还需要理解界面、规划步骤、执行操作，并且能够在失败后自动修正。

港大开源的这个 OpenPhone，就是一个专门面向手机 AI 助手（Mobile Agent）项目；它希望让 AI 不只是“看懂”手机界面，还能像人一样完成点击、输入、切换页面等操作。

OpenPhone 的核心，是一个名为 OpenPhone-3B 的视觉语言模型，只有 30 亿参数，规模不大，但它专门针对手机操作进行了优化，可以识别手机界面、理解用户任务，并规划下一步应该怎么操作。

相比许多依赖超大模型和云端 API 的方案，OpenPhone 更适合在本地设备运行，不仅速度更快，还能降低使用成本，同时也更有利于保护用户隐私。

为了让 AI 更机智，它还设计了两个很实用的“记忆系统”。一个负责记录用户的使用习惯，列如常用的 App、操作偏好等；另一个负责积累操作经验，例如某个按钮一般在哪里、遇到失败应该怎么处理。这样一来，AI 就不会每次都重新学习，而是会随着使用次数增加，变得越来越熟练。

另外还有，就是 OpenPhone 采用了「端云协同」的思路；简单来说，就是普通任务交给手机本地模型完成，遇到比较复杂的问题，再调用云端的大模型处理。这样既能保证处理效果，又能减少云端调用次数，在速度、成本和效果之间取得一个不错的平衡。

它的价值，不仅在于开放了模型，还把训练流程、推理代码、评测工具等全部开源了。

这也展示了一个方向，就是未来的手机 AI 助手不必定需要超大模型，而是通过轻量模型、端云协同和记忆机制，在保证效果的同时，更适合真正部署到手机等终端设备上。

开源地址：

https://github.com/HKUDS/OpenPhone

希望对你有所启发和协助。

以上，如果本期内容你觉得不错，可以随手点个赞，也欢迎转发给有需要的朋友，创作不易，感谢喜爱～我是晓来，再会。