百度联合度岭科技申请云手机专利：视觉语言模型驱动全流程自动化，重塑云端操作体验

2025 年 10 月 8 日，国家知识产权局公开信息显示，北京百度网讯科技有限公司与广州度岭科技有限公司联合申请了一项名为 “云手机自动化操作方法和装置” 的专利(公开号：CN120729980A)。该专利以视觉语言模型为核心技术支撑，构建了全新的云手机自动化操作框架，标志着云计算与多模态 AI 技术的深度融合在云手机领域取得重要突破。

一、专利核心：视觉语言模型赋能 “任务 - 操作” 全闭环

不同于传统云手机自动化依赖预设脚本或固定控件识别的模式，该专利提出的技术方案实现了 “理解任务 - 生成指令 - 执行反馈” 的智能化闭环，其核心逻辑可拆解为三大步骤：

1. 任务序列化输入

系统首先获取用户预设的云手机任务序列，既支持单一操作指令(如 “完成 APP 登录”)，也可适配多步骤复杂流程(如 “浏览商品 - 加入购物车 - 提交订单”)，满足多样化场景需求。

2. 多模态推理生成指令

针对序列中的每个当前任务，技术方案的核心创新点 ——视觉语言模型将同时接收两项关键信息：一是自然语言描述的任务目标，二是云手机实时返回的当前界面图像数据。通过跨模态推理，模型可精准理解 “任务意图” 与 “界面状态” 的对应关系，自动生成适配的操作指令(如点击特定按钮、输入文本、滑动界面等)。这一过程无需人工预设操作坐标或控件参数，解决了传统自动化工具对界面变动适应性差的痛点。

3. 动态迭代执行

在云手机上执行操作指令后，系统会实时加载更新后的界面信息，并判断当前任务是否为序列终点：若已完成全部任务则终止流程，若未完成则自动将下一任务与新界面信息传入循环，直至整个序列执行完毕。这种动态响应机制确保了操作的连贯性与准确性，即便界面出现弹窗、加载延迟等突发状况，模型也能基于最新界面信息调整操作策略。

二、技术突破：从 “机械模拟” 到 “智能理解” 的跨越

在云手机自动化领域，传统方案多依赖 RPA(机器人流程自动化)工具，通过预设脚本模拟人工点击、输入等动作，但其存在明显局限 —— 需针对不同 APP 界面单独配置流程，且对界面改版、元素位置变动的适配性极差。

百度与度岭科技的这项专利则通过视觉语言模型实现了技术升级：

泛化能力更强：依托多模态大模型的语义理解与图像识别能力，可适配不同类型的 APP 界面，无需为每个应用单独开发自动化脚本;

鲁棒性更高：能动态识别界面元素变化，例如按钮位置偏移、文案调整等场景下仍可准确执行任务，避免传统脚本 “一步错全流程停” 的问题;

交互门槛更低：用户只需以自然语言描述任务目标，无需掌握代码或自动化工具的配置逻辑，极大降低了技术使用门槛。

这一突破与多模态 AI 的发展趋势高度契合。类似云从科技在视觉 - 语言跟踪领域提出的 All-in-One 模型通过统一框架实现跨模态高效交互，该专利也通过视觉与语言信息的深度融合，为云手机自动化构建了更智能的技术底座。

三、合作背景：巨头与新锐的技术协同

此次联合申请专利的两家企业，在云计算与 AI 领域形成了优势互补的协同效应：

北京百度网讯科技有限公司

作为国内互联网与 AI 领域的龙头企业，百度不仅拥有 5000 余项专利构建的技术壁垒，更在大语言模型、计算机视觉等领域积累了深厚实力。其在云计算领域的布局(如百度智能云)为云手机提供了底层基础设施支撑，而多模态大模型技术则为专利中的核心推理能力提供了算法保障。百度对外投资 76 家企业、参与 3144 次招投标的履历，也显示出其通过技术合作拓展生态的战略意图。

广州度岭科技有限公司

这家成立于 2022 年的新锐科技企业，虽资历尚浅但技术储备扎实，已拥有 127 项专利，聚焦软件和信息技术服务领域。其在云手机应用场景落地、行业需求洞察等方面的积累，与百度的底层技术形成互补，成为专利技术从 “实验室” 走向 “产业端” 的重要桥梁。

四、应用前景：赋能多行业云端自动化场景

该专利技术的落地将为云手机在多领域的应用打开新空间，尤其在以下场景具备明确价值：

电商与运营：自动完成商品上架、订单处理、数据采集等重复性工作，降低企业运营成本;

游戏与测试：批量执行游戏日常任务、自动化测试 APP 兼容性，提升流程效率;

企业办公：实现云端办公系统的自动化审批、数据汇总，适配远程协作需求。

随着云手机在虚拟化资源调度、多设备协同等方面的能力不断提升，这项智能化自动化技术的加持，将进一步推动云手机从 “云端设备” 升级为 “智能生产力工具”，为云计算产业开辟新的增长路径。