Siri 的智商停留在14年前,想让苹果做一个能控制手机系统和软件的 Agent?
目测五年内搞不出来,想都别想了。
但上周智谱的朋友跟说,他们让 AutoGLM 邪修了一套方案。
竟然给每个 iPhone 配了一台云安卓。。。
就这样, 安卓上能操控各家 App 的通用智能体,iPhone 用户也可以玩了。
听到这个方案的我大为震撼,我买安卓备用机的钱就这么都省了?
周日的时候抱着强烈的好奇心,就去现场看了一下 iPhone 上的邪修 AutoGLM。
AutoGLM 能操作云手机,让我们看到了手机 Agent 的具体形态。
只要你一句话安排任务,AutoGLM 就能在后台开启多个云手机和云电脑,同步协作,共同完成目标。
它支持了抖音、小红书、美团、京东等 40+ 高频应用,平时点外卖、订机票、查房源、预约健康服务,它都能搞定。
办公场景中,做调研、写PPT、做短视频,也都能搞定。
实际体验下来,这个方向非常前沿,非常未来。
同时也暴露了非常多的问题,在下面展开讲讲:
虽然手机 Agent 这个技术方向非常好,但仍然处于非常早期的实验阶段。
因此当前阶段仍有如下问题:
1. 任务成功率太低了,十次成功一次,要真正的C端可用,至少得到50%成功率
2. 意图理解和界面理解的水平都不够,在猫砂任务里,第一次完成了,第二次我想录个屏,它就没去订单里找,而是直接在主页搜了猫砂。
3. 任务经常莫名奇妙就终止了,模型认为自己完成了任务,所以没有报错信息,作为用户有点懵。
4. Agent 只会往前操作,不会返回上一步,不会重启app。在开启新话题的时候,手机还停留在上一个app内,Agent 这时候就不会了。
5. Agent 在操作电脑和手机的时候,遇到价格弹窗、广告弹窗,就直接干懵了,不像人能精准地找到x按钮,当然这部分人类产品经理也有一定的责任
6. 手机版的Agent只会用几十个固定的app,目前还不会用浏览器做开放任务,比如让它逛nga查游戏资料,它会说自己还没学会
7. 在购买类任务里,添加购物车要确认、订单支付也要自己来,无法实现完全自动化,比如每三个月采购一次猫砂这种任务,如果还需要确认就没失去了自动化的意义,目前还没有能兼顾安全性和便捷性的方案
8. Agent 在使用手机的过程中需要用户接管输入登录等信息,可能存在一定隐私泄露风险,这部分需要根据自己的情况来权衡方便和隐私
目测五年内搞不出来,想都别想了。
但上周智谱的朋友跟说,他们让 AutoGLM 邪修了一套方案。
竟然给每个 iPhone 配了一台云安卓。。。
就这样, 安卓上能操控各家 App 的通用智能体,iPhone 用户也可以玩了。
听到这个方案的我大为震撼,我买安卓备用机的钱就这么都省了?
周日的时候抱着强烈的好奇心,就去现场看了一下 iPhone 上的邪修 AutoGLM。
AutoGLM 能操作云手机,让我们看到了手机 Agent 的具体形态。
只要你一句话安排任务,AutoGLM 就能在后台开启多个云手机和云电脑,同步协作,共同完成目标。
它支持了抖音、小红书、美团、京东等 40+ 高频应用,平时点外卖、订机票、查房源、预约健康服务,它都能搞定。
办公场景中,做调研、写PPT、做短视频,也都能搞定。
实际体验下来,这个方向非常前沿,非常未来。
同时也暴露了非常多的问题,在下面展开讲讲:
虽然手机 Agent 这个技术方向非常好,但仍然处于非常早期的实验阶段。
因此当前阶段仍有如下问题:
1. 任务成功率太低了,十次成功一次,要真正的C端可用,至少得到50%成功率
2. 意图理解和界面理解的水平都不够,在猫砂任务里,第一次完成了,第二次我想录个屏,它就没去订单里找,而是直接在主页搜了猫砂。
3. 任务经常莫名奇妙就终止了,模型认为自己完成了任务,所以没有报错信息,作为用户有点懵。
4. Agent 只会往前操作,不会返回上一步,不会重启app。在开启新话题的时候,手机还停留在上一个app内,Agent 这时候就不会了。
5. Agent 在操作电脑和手机的时候,遇到价格弹窗、广告弹窗,就直接干懵了,不像人能精准地找到x按钮,当然这部分人类产品经理也有一定的责任
6. 手机版的Agent只会用几十个固定的app,目前还不会用浏览器做开放任务,比如让它逛nga查游戏资料,它会说自己还没学会
7. 在购买类任务里,添加购物车要确认、订单支付也要自己来,无法实现完全自动化,比如每三个月采购一次猫砂这种任务,如果还需要确认就没失去了自动化的意义,目前还没有能兼顾安全性和便捷性的方案
8. Agent 在使用手机的过程中需要用户接管输入登录等信息,可能存在一定隐私泄露风险,这部分需要根据自己的情况来权衡方便和隐私