豆包手机明日开卖，AI能帮你操作App了吗？

昨日，豆包手机助手面向消费者正式发布。这款以豆包App为核心、与手机厂商在操作系统层面协同的AI助手，首款搭载机型为中兴通讯旗下的努比亚NaviX Ultra，该机型将于9月16日启动公开销售。

去年底，豆包手机助手的技术预览版曾部署于努比亚M153工程样机，主要展示AI在跨应用场景下“操控手机”的能力。时隔不到一年，新推出的消费者版本更加注重日常使用的便捷性：除了屏幕问答、本地记忆与检索功能外，“操控手机”功能以Beta形式开放；豆包还发布了SAEP，并设定了30天的公示窗口期。

依据该协议，第三方应用可自主决定是否允许AI助手执行屏幕自动化操作，并能对具体操作进行限制。在30天公示期内，未明确同意接入的第三方应用将默认不被操作。消费者版豆包手机助手新增了应用侧的选择权：第三方应用可以整体拒绝GUI，也可单独限制发布、删除及权益领取等操作。

一位从事GUI研究的专家指出：“未来手机必然需要一个原生AI助手。这件事不一定由手机厂商独自完成，但最终必须达到系统层级。”随着NaviX Ultra及多款系统级手机助手进入消费市场，系统级AI助手正逐步融入普通用户的日常生活。

01 突破对话框局限，手机AI实现跨应用任务执行

今年7月，中兴通讯高级副总裁、努比亚总裁倪飞在接受媒体采访时表示：“用户真正追求的是‘省心’，但如今手机功能越多、操作越复杂，这种矛盾已累积到一定程度，需要全新的产品形态来应对。”

这正是豆包手机助手试图解决的课题：它内嵌于手机系统，在获得用户授权后，能搜索当前屏幕和本地信息，调用日历等系统工具，或进入其他App完成操作。用户可通过AI键发起任务，多个任务可排队或临时插队。

例如，在豆包手机助手的官方演示中，用户拍摄新学期课表后，可让助手将课表加入个人日历；也可让它打车至屏幕显示的地址，添加银都大厦为途经点，上车后再将车牌号发送给飞书同事，并提醒对方10分钟后下楼。

这套使用模式在去年的技术预览版——努比亚M153上已有雏形。一段公开演示中，用户让豆包根据相册中的血压仪照片，在淘宝“挑选一个便宜的同款”，再“将链接发给张三”。豆包识别出商品，并识别出“张三”为QQ好友，随后连续完成相册、电商和社交应用间的操作。

据悉，M153调用了Android的INJECT_EVENTS系统级权限。在获得用户授权后，即使第三方App未为AI提供接口，豆包也能模拟点击、滑动和输入；遇到密码、人脸识别等敏感环节，则交还用户操作。

但在实际使用中，涉及登录验证和平台风控的跨App操作可能中断任务。随后，豆包主动限制了金融支付、刷激励等高风���场景。

今年2月，Google在Galaxy S26系列和部分Pixel 10机型上测试Gemini多步任务：它能安排包含多个停靠点的网约车，任务转入后台后，用户仍可通过通知查看进度、随时接管，并在购买前确认。Google负责Android开发者产品管理的副总裁Matthew McCullough在官方博客中写道：“衡量应用成功的标准，正从‘让用户打开App’转向‘真正完成用户的任务’。”

2026年以来，一批系统级手机AI助手集中涌现。

6月发布的HarmonyOS 7开发者Beta中，华为小艺接入超过200项系统级感知数据，能从面试邀请中识别时间、地点和注意事项，写入备忘录；也可在手机上要求小艺查找电脑中的文件，再发送至手机。

7月的2026世界人工智能大会上，努比亚NaviX Ultra、阶跃星辰STEPX Neo和荣耀Robot Phone集中亮相。STEPX Neo搭载的Amoo助手在收到“帮我处理一下明天汇报的事情”指令后，会读取飞书日历和群消息，拆解任务、生成PPT，再将文件发回飞书；修改文档前会申请权限，涉及支付则由用户确认。

而几乎在同一时间，超级App与手机AI助手之间的关系也在发生变化。

今年6月，微信确认与华为、荣耀、小米、OPPO、vivo合作A2A能力，手机助手可提交发消息或音视频通话指令，由微信执行并返回结果，全程采用双重授权。8月，vivo蓝心小V与支付宝服务智能体“阿宝”合作，用户说“帮我叫车去高铁站”或“帮我开具打车发票”，相关服务均可在对话中完成。

可以看出，2026年，手机AI助手进入密集发布期。除搭载豆包手机助手的努比亚外，Google、华为、阶跃和荣耀相继将Agent引入手机系统层，微信、支付宝等超级App也开始接收系统助手发出的指令。

02 AI替用户点屏幕，如何避免越界？

当采用GUI路线的手机AI助手日益普及，它们急需处理三项权限问题：用户是否授权、应用是否放行，以及发送、下单和支付前由谁确认。从豆包此次推出SAEP来看，或许能窥见有关权限边界的安全举措。

目前，CUA已将GUI技术路线作为主流，它解决的问题是：AI如何直接操作软件，又如何限制可访问范围。 有研究员将CUA形容为“为你的电脑配备了一个全能程序员，什么都懂、会写代码，也懂网络安全”。

当前的操作方式是：面对可结构化处理的任务，手机会优先调用代码、命令和工具；只有遇到无接口的软件时，才转向识别屏幕、点击按钮。GUI更像一项兜底能力，使Agent能继续操作未向AI开放的软件——手机App数量庞大，临时页面不断变化，不可能全部接口化，需由GUI覆盖未接入部分。

一位GUI研究员告诉智能涌现：“不能指望所有App开发者都为AI完成适配，GUI是必要的补充。”另一位从业者提到：“短期内，市面上仍会有许多软件不具备AI能力，尤其是大型软件，即使有接口也较复杂，可能一时半会儿接不完。”

手机Agent比电脑Agent更依赖应用生态。在电脑上，操作系统可直接决定哪些软件能与Agent连接；但在手机端，操作系统不具备此权限，不仅不同服务被封装在各自App内，定位、相机、通讯录等权限也由系统和应用共同控制。若第三方App既不开放接口，也不允许AI操作界面，手机助手就无法继续执行任务。

目前，GUI会将每一步操作显示在屏幕上。一位研究员说：“大家都能看懂，也能了解AI助手正在做什么。”用户可据此判断是否暂停或接管。

但“看得见”不等于“做得好”。卡内基梅隆大学研究团队今年推出的手机Agent评测基准iOSWorld，用26款自研iOS应用模拟同一名用户的数字生活，并设计133项任务。表现最好的模型在跨应用任务中的成功率仅为37%，真实消费场景还需面对不断变化的页面、身份验证和平台风控。

与App场景相比，手机系统层还聚合了相册、通讯录、位置、日历等用户个人信息。手机AI助手掌握的信息越完整，能完成的任务越多。因此，接下来需比拼两项能力：一是“如何创造更多、更好的数据”，二是“如何编排各步骤、各Agent间的协作”。

但同时，更多能力也意味着对生态的要求更高。

对此，豆包手机助手选择推出SAEP，允许第三方应用在GUI Agent执行前，先声明是否放行，以及哪些操作不可执行。

“SAEP有点像AI时代的Robots协议。网站通过这项协议告诉搜索引擎等自动程序，哪些页面允许抓取、哪些不允许；SAEP则让应用声明Agent能否进入应用，以及哪些操作必须停下。”一位研究员解释。

接入SAEP后，第三方应用既可拒绝全部屏幕自动化，也可只限制内容发布、删除、签到抽奖和权益领取等具体操作；拒绝声明随时生效。30天公示期内，除系统自带应用、字节跳动旗下应用和明确同意接入的第三方应用外，其余应用默认不操作。公示期结束后，未表态的应用将按风险等级逐步开放，明确拒绝的应用则始终不被操作。

应用通过SAEP表达意愿，手机系统负责读取声明、限制GUI权限，并在敏感步骤交还用户。这需模型公司与终端厂商共同完成。

此前，努比亚总裁倪飞将豆包与努比亚的合作概括为：“模型公司解决AI能否做到，终端厂商解决用户能否真正用起来。”按倪飞披露的分工，豆包负责大模型和Agent能力，努比亚负责系统、硬件、产品工程、质量、渠道和用户服务。合作范围覆盖模型、操作系统和整机工程。

在这套分工中，权限与信任最终由操作系统承接，这意味着手机操作系统与Agent的关系将愈发一体化。

今年8月，在杭州举行的支付宝AI生态合作伙伴大会上，vivo副总裁、AI全球研究院院长周围曾表示：“硬件形态不会消失，但操作系统会重构——从管理App，变成管理Agent、管理权限、管理信任。”

更早的7月，国家互联网信息办公室首次单独公布7款手机端侧生成式AI服务备案，涉及Apple智能、华为小艺AI大模型、OPPO AndesGPT大模型、vivo蓝心端侧大模型、小米澎湃AI、三星盖乐世AI和努比亚豆包手机大模型。手机系统级AI助手正进入行业井喷期。

一位GUI研究员对智能涌现表示，相比独立AI应用，手机拥有更稳定的用户关系：“只做AI软件，用户可能谁免费就用谁；但手机不同，一部手机往往用几年，会伴随用户很久。”

9月16日，NaviX Ultra将正式开售。届时，豆包手机助手将正式进入消费市场，SAEP也将随之接受真实用户和应用开发者的检验。