Siri 的智商停留在14年前，想让苹果做一个能控制手机系统和软件的 Agent？
目测五年内搞不出来，想都别想了。
但上周智谱的朋友跟说，他们让 AutoGLM 邪修了一套方案。
竟然给每个 iPhone 配了一台云安卓。。。
就这样， 安卓上能操控各家 App 的通用智能体，iPhone 用户也可以玩了。
听到这个方案的我大为震撼，我买安卓备用机的钱就这么都省了？
周日的时候抱着强烈的好奇心，就去现场看了一下 iPhone 上的邪修 AutoGLM。

AutoGLM 能操作云手机，让我们看到了手机 Agent 的具体形态。
只要你一句话安排任务，AutoGLM 就能在后台开启多个云手机和云电脑，同步协作，共同完成目标。
它支持了抖音、小红书、美团、京东等 40+ 高频应用，平时点外卖、订机票、查房源、预约健康服务，它都能搞定。
办公场景中，做调研、写PPT、做短视频，也都能搞定。

实际体验下来，这个方向非常前沿，非常未来。
同时也暴露了非常多的问题，在下面展开讲讲：

虽然手机 Agent 这个技术方向非常好，但仍然处于非常早期的实验阶段。
因此当前阶段仍有如下问题：

1. 任务成功率太低了，十次成功一次，要真正的C端可用，至少得到50%成功率
2. 意图理解和界面理解的水平都不够，在猫砂任务里，第一次完成了，第二次我想录个屏，它就没去订单里找，而是直接在主页搜了猫砂。
3. 任务经常莫名奇妙就终止了，模型认为自己完成了任务，所以没有报错信息，作为用户有点懵。
4. Agent 只会往前操作，不会返回上一步，不会重启app。在开启新话题的时候，手机还停留在上一个app内，Agent 这时候就不会了。
5. Agent 在操作电脑和手机的时候，遇到价格弹窗、广告弹窗，就直接干懵了，不像人能精准地找到x按钮，当然这部分人类产品经理也有一定的责任
6. 手机版的Agent只会用几十个固定的app，目前还不会用浏览器做开放任务，比如让它逛nga查游戏资料，它会说自己还没学会
7. 在购买类任务里，添加购物车要确认、订单支付也要自己来，无法实现完全自动化，比如每三个月采购一次猫砂这种任务，如果还需要确认就没失去了自动化的意义，目前还没有能兼顾安全性和便捷性的方案
8. Agent 在使用手机的过程中需要用户接管输入登录等信息，可能存在一定隐私泄露风险，这部分需要根据自己的情况来权衡方便和隐私

前几天参加了一下智谱 AutoGLM 2.0的闭门会，同时试用了一下，发现这次的手机 Agent 可用性已经相当好了

- 应该是世界上首个手机通用 Agent
- 操作全在云手机&云电脑上运行
- 全平台覆盖的客户端
- 可以实现跨应用自动操作

这里是详细的测试和分析：https://mp.weixin.qq.com/s/BjjUGBi1kuHDwz5U_h7y9Q

日常一个事情我觉得用手机的时候是非常低效的。

在约朋友的时候经常不知道去哪吃，而且在北京通勤时间巨长，40 分钟路程都算短的，找餐厅要在大众点评，看通勤时间要在高德还得转发给朋友一起挑餐厅，非常浪费时间，现在 AutoGLM 可以一次搞定了。
这个任务非常复杂，Agent 需要跨两个 APP 进行多次点击和搜索操作，没想到 AutoGLM 执行的很好。

首先他需要打开大众点评，然后切换城市到北京-搜索798 艺术区-筛选人均消费价格，挨个点击搜索结果记录信息。
只是在这一个APP 上就需要起码点 20 次。

然后他需要打开高德地图，找到灰的几乎看不到的开屏广告跳过按钮，开始分别查询望京到 798 和回龙观到 798 的路线和时间，最后还得查询 798 到三里屯的时间。

在高德的操作看起来会比在大众点评的更加复杂，首先是点击次数更多，然后就是高德的界面内容真的又多又杂非常考验模型的多模态内容识别能力

再经过几十次的点击和七八次的文本输入后 AutoGLM 非常快速而且准确的完成了任务，给出了餐厅的选择以及不同时间段和地点的通勤时间。

这里有个给智谱的小建议，GLM 的回复有点杂了，感觉他需要更加细致的整理信息，比如先把最为确定的餐厅信息和通勤时间告诉我，然后再说他推测的出行安排，事实和推理分开这样比较好。

男生日常购买一些必需品和商品的时候跟女生差别比较大，又需要比价，不然亏，但是又懒得去购物软件上不断的挑选和对比。这个时候就可以让 AutoGLM 出马了。

我直接让他执行了一个我日常购买电子设备的常见流程，搜索京东和拼多多关于大疆无人机的价格信息然后汇总。

智谱 Auto GLM 智能体手机的使用过程科幻感非常强，你只需要语音输入或者打字之后，他就会直接启动云端的手机开始执行任务。

首次启动会让你登录账号，后面就不需要了，然后你就看着他非常快的输入内容-查看搜索结果-分析详情页内容并且汇总，而且可以跨多个应用执行任务。