这个免费App，让你的手机变成豆包手机

花花

说起去年最让人惊喜的手机。

机哥自己心目中，有个可能跟大家都不太一样的答案。

它，就是豆包手机。

这并非是说它配置有多猛、拍照有多领先。

而是因为，它是个正儿八经的「AI终端」。

机哥当时冲了首发用过几天，我发现它在大多数日常任务上，已经能代替人来操作了。

帮我斗个地主。

帮我多邻国打卡。

帮我自动刷某音极速版薅金币。

这些任务都能被豆包理解，并在后台自动执行。

真的，就那几天用下来，我感觉脑子容量都多了一大截。

很多琐碎日常的需求，都能一句话交给豆包手机来解决。

只是问题在于。

豆包手机作为“实验性产品”，量产机型有限，再加上价格不算低。

专门买个这玩意来尝鲜，成本多少有点高。

好在这个世界上不缺开源的力量。

在去年12月，智谱就开源了Open-AutoGLM框架。

用人话来说呢，这技术能利用多模态大模型，真正看懂手机屏幕，并实现对手机的自动化操控。

你说具体需求，然后它直接在后台办事。

这听起来，不就跟豆包手机一毛一样的嘛！

所有安卓手机，都可以是豆包手机了

而得益于该技术的免费开源。

在座的各位机友，都能通过简单的配置，把自己手里的安卓手机变成「豆包手机」。

机哥这就带大伙探探路。

这里机哥用于完成自动任务的App是「Ruto」。

经过几个版本更新后。

这软件已经实现了真·后台全自动执行任务、熄屏运行，以及主副屏互不干扰等特性。

不过考虑到要展示流程，机哥还是先用主屏来折腾。

我最先给它提的需求是：

“打开米家App，并帮我关掉智能插座3”。

这需要大模型读得懂需求，也看得懂屏幕内容，才能完成整套任务。

至于实际的效果，机哥还是挺满意的。

只见我给Ruto下达任务后，它便自动操作起来手机。

PS：文中所有GIF均有加速，不代表Open-AutoGLM最终执行速度。

它打开米家App后，顺利找到了「米家智能插座3」。

经过短暂思考，最终按下了关闭按钮。

机哥顺便把思考过程放在这儿。

能看到它是先识别屏幕内容，然后自主规划下一步。

那么接下来加大难度。

这开源免费的Phone Agent，能不能帮我过一下多邻国打卡？

给它提了要求后。

它很快打开了多邻国App，并且进入「重温课程」执行起来。

好消息是，很多不复杂的题目，它都能理解并点击正确回答。

坏消息是，响应速度有点慢。

这里是机哥放了三倍速，实际的思考和执行时间，有个15秒钟。

但话又说回来。

App本身支持虚拟屏幕，让任务在后台自动运行。

所以咱们完全可以在前台聊聊微信、刷刷抖音。

不知不觉中，Ruto可能就把任务给完成了。

至于让它自己玩游戏啥的。

机哥也专门测了斗地主和下象棋等小游戏，发现它并不能像豆包手机那样托管游玩。

我猜啊，目前智谱的Open-AutoGLM，更侧重响应性不高的【理解-规划和执行】。

像游戏这种需要理解和执行很快的场景。

对于一个开源Phone Agent来说，要求还是略高了点。

但如果只是把它当做一个，能随时处理日常任务的助手。

诶，那我觉得还是相当好用的。

比如我让它在京东找到小米手环10，并且加入购物车，没问题。

又或者打开小红书，搜索我平时最爱看的博主，并且在最新视频的评论区里，点赞第一条评论。

甚至说，帮我去支付宝蚂蚁森林，收取每日能量。

……

这些有着明确操作路径的任务。

基于Open-AutoGLM大模型的Ruto，都能给你安排得明明白白。

要是大伙觉得单任务执行起来，效率不高。

还可以创建多个虚拟屏幕和任务对话，多任务并发执行的同时，做到真后台、不打扰。

以前咱们总觉得每天在不同App之间，跳来跳去很麻烦。

现在有了能开箱即用的Phone Agent，让它干啥都行。

什么叫人工智能啊？什么叫AI造福人类啊？

这特么就是。

但正所谓事物都有两面性。

豆包手机也好，机哥今天所体验的智谱Phone Agent也罢。

实际上都面临着一个大问题——安全性。

由于现阶段Phone Agent在技术原理上，需要读取屏幕内容，才能模拟真人去操作手机。

很多App认为这样的操作太敏感，也容易泄露用户信息。

在豆包手机刚出来没多久，就对它的应用操作能力，做了风控限制。

虽然机哥今天用了免费开源的方案，让它能在前台操作更多主流App。

但「创建虚拟屏幕并后台自动执行」这功能，基本废了一半。

机哥实测，很多主流App只要识别到你不在前台运行，就会触发“敏感隐私保护”。

App这时候压根就看不到屏幕内容。

更别说进一步执行指令了。

另外呢，如果所有App的使用需求，都能被AI助手在后台自动搞定。

厂商们，自然是百般不乐意的。

所以目前的情况是。

机哥用Ruto，搭配智谱的AutoGlm-Phone大模型，能做到前台自动执行任务、操作App。

买个车票、收个能量、点杯咖啡都没问题。

但已经无法像豆包手机刚面世那样，让手机全自动干活。

不管怎么说。

机哥都希望这种「AI即服务」的技术，能早日落地到更多手机上。

毕它不光是能让普通用户受益。

许多无障碍用户，也能因此真正解放双手，实现用嘴操控手机App。